Veri kazıma yazılımı ve size özel web scraping API’si

Ne tür işler için kuruyoruz?

İhtiyaç çoğu zaman tek cümleyle anlatılır: “Rakiplerin fiyatlarını her sabah görmek istiyorum.” Arkasındaki iş ise düzenli çalışan, bozulduğunda haber veren bir yazılımdır.

• Fiyat ve stok takibi: belirlediğiniz sitelerdeki ürünlerin fiyatını ve stok durumunu düzenli aralıkla kaydeder.
• Katalog toplama: tedarikçi sitelerindeki ürün adı, özellik ve görsel bilgisini tek tabloda birleştirir.
• İlan ve duyuru takibi: ihale, iş ilanı ya da resmî duyuru sayfalarında yeni kayıt çıkınca bildirir.
• Belge okuma: PDF ve benzeri dosyalardaki tabloları ve metni yapılandırılmış veriye çevirir.
• Yorum ve haber derleme: erişime açık yorumları ve haberleri konuya göre gruplar.

Toplama nasıl çalışır?

Yazılım belirlenen sayfaları sırayla ziyaret eder, gerekli alanları ayıklar ve kaydeder. Siteyi yormamak için istekleri aralıklı gönderir. Her çalışmada yalnız değişen kayıtları günceller.

Siteler tasarım değiştirir. Bu olduğunda kazıyıcı boş ya da yanlış veri getirmeye başlar. Bu yüzden her kaynağa kontrol kuralları koyarız: fiyat alanı boş geldiyse ya da kayıt sayısı birden düştüyse sistem uyarı verir.

Yapay zekâ veriyi nasıl temizler?

Ham veri dağınıktır. Aynı ürün bir sitede “1 lt”, diğerinde “1000 ml” diye yazılır. Kategori adları tutmaz, adresler farklı biçimde girilmiştir. Yapay zekâyı burada kullanırız: birimleri eşitler, aynı ürünü farklı sitelerde eşleştirir, metni sizin kategorilerinize göre sınıflandırır.

Model yanılabilir. Fiyat gibi kesin olması gereken alanları modele bırakmaz, kuralla ayıklarız. Modelin karar verdiği alanlarda düzenli örnek kontrolü yaparız ve emin olmadığı kayıtları işaretleriz.

Neyi toplamayız?

Yalnız erişime açık verilerle çalışırız. Şifreyle korunan alanlara girmeyiz, güvenlik önlemlerini aşmayız. Sitenin kullanım koşullarına ve robots kurallarına bakarız. Kaynak toplamaya izin vermiyorsa bunu size söyleriz ve resmî API ya da izinli bir veri kaynağı gibi seçeneklere bakarız.

Kişisel veri ayrı bir konudur. Bir bilginin herkese açık olması onu serbestçe işleyebileceğiniz anlamına gelmez. KVKK ve GDPR kapsamına giren verilerde amacı ve hukuki dayanağı baştan konuşuruz. Gerekirse o alanı hiç toplamayız.

Veri size nasıl ulaşır?

Tercihinize göre Excel ya da CSV dosyası, kendi veritabanınıza doğrudan yazım ya da bir API olarak teslim ederiz. API seçeneğinde mevcut yazılımınız veriyi istediği an çeker. Küçük ekipler için basit bir izleme ekranı da kurabiliriz.

Sistem sizin sunucunuzda, bilgisayarınızda ya da bulutta çalışır. Toplanan veri sizde kalır.

Süreç

Önce ihtiyacı dinler, kaynakları ve alanları birlikte yazarız. Sonra akışı tasarlarız. Tasarımı onaylamadan kod yazmayız. Geliştirme bitince sistemi çalışır hâlde teslim ederiz. Teslimden sonra 7/24 teknik destek veririz. Bu işte destek önemlidir, çünkü kaynak siteler zamanla değişir.