İçeriğe geç
Bukalemun Studio

Yapay Zeka Sitenizi Görüyor mu? Sunucu Günlüğünden Ölçme Rehberi

ChatGPT, Perplexity ve Claude botları sitenize geliyor mu? Sunucu günlüğünden hangi botun ne okuduğunu ölçme, sahte bot trafiğini ayırma ve sonuca göre ne yapılacağı.

Ekranda sunucu günlüğü ve kod analizi

Yapay zeka aramalarında görünmek için yapılan çalışmaların çoğu ölçülmeden yapılıyor. llms.txt ekleniyor, şema yazılıyor, robots.txt’de izin veriliyor; sonra kimse bunların işe yarayıp yaramadığına bakmıyor. Oysa cevap sunucunuzda duruyor.

Her ziyaret, insan ya da bot, sunucu günlüğüne bir satır yazıyor. O satırlar ChatGPT’nin, Perplexity’nin, Claude’un ve Apple’ın botlarının sitenize gelip gelmediğini, hangi sayfaları okuduğunu ve hata alıp almadığını kesin olarak gösteriyor. Bu yazıda bunu nasıl okuyacağınızı anlatıyoruz.

Özet: bu yazıdan ne çıkarmalısınız?

  • Yapay zeka botlarının sitenize gelip gelmediği Analytics’te değil, sunucu günlüğünde görünüyor.
  • Günlükteki “GPTBot” yazan her satır gerçek değil; user-agent taklit eden saldırı taramaları çoğunlukta.
  • Bot bütçesinin büyük kısmı besleme ve arşiv adreslerine gidebiliyor, bunu yalnızca günlük gösteriyor.
  • Her yapay zeka motorunun ayrı botu var ve biri gelirken diğeri hiç gelmeyebiliyor.
  • Ölçüm olmadan yapılan GEO çalışması, sonucu bilinmeyen bir çalışmadır.

Hangi botlar var, hangisi ne iş yapıyor?

Bot Kime ait Ne yapar
GPTBot OpenAI Model eğitimi için içerik toplar
OAI-SearchBot OpenAI ChatGPT’nin arama dizinini besler
ChatGPT-User OpenAI Kullanıcı soru sorduğunda sayfayı o anda açar
ClaudeBot / Claude-User Anthropic Eğitim ve anlık sayfa okuma
PerplexityBot Perplexity Kendi arama dizinini oluşturur
Applebot Apple Siri ve Apple Intelligence için tarar
Google-Extended Google Gemini eğitimi için izin kontrolü
Bingbot Microsoft Bing dizini; ChatGPT aramasının altyapısı

Ayrım önemli: ChatGPT-User satırları, gerçek bir kullanıcının o anda ChatGPT’ye soru sorduğunu ve ChatGPT’nin sizin sayfanızı açtığını gösteriyor. Bu, yapay zeka görünürlüğünün en doğrudan kanıtı.

Sunucu ağ kabloları ve veri merkezi bağlantıları
Her istek sunucu günlüğüne yazılıyor; yapay zeka botlarının izi burada.

Günlüğe nasıl ulaşılır?

Paylaşımlı barındırma kullanıyorsanız cPanel’de Metrics bölümünde Raw Access başlığı altında duruyor. Aylık arşivler sıkıştırılmış dosyalar halinde indiriliyor. Sunucu yönetiyorsanız genellikle /var/log/nginx/ veya /var/log/apache2/ altındalar.

Dosya formatı her satırda şunları içeriyor: istek yapan IP, tarih, istenen adres, sunucunun verdiği yanıt kodu ve user-agent. Analiz için bu beşi yeterli.

Dört soru, dört kontrol

1. Hangi bot kaç kez geldi?

User-agent alanında bot adını arayıp saydırmak yeterli. Beklenen tablo şu: Applebot ve Googlebot en çok, OpenAI botları orta, diğerleri az. Bir bot hiç görünmüyorsa o motorun dizininde yoksunuz demektir.

2. Hangi sayfaları okudu?

Burada sürpriz çıkıyor. Kendi sitemizde yaptığımız 17 günlük bir ölçümde yapay zeka botlarının okuduğu sayfaların yüzde kırkı etiket beslemeleri, kategori beslemeleri ve yorum beslemesiydi. Yani botlar sitede geziyordu ama içerik taşımayan adresleri okuyordu.

Bu tespitten sonra robots.txt’ye besleme engellemeleri eklendi. Aynı tarama bütçesi artık hizmet ve rehber sayfalarına gidiyor.

3. Hata alan var mı?

403 ve 404 kodlarına bakın. Gerçek bir botun içerik sayfasında 403 alması, güvenlik duvarınızın onu engellediğini gösterir ve ciddi bir sorundur.

Ama burada dikkatli olun: bu yazının en önemli uyarısı aşağıda.

4. Gelen bot gerçek mi?

User-agent alanı herkesin yazabileceği bir metin. Saldırganlar tarama yaparken kendilerini GPTBot ya da Bingbot olarak tanıtıyor, çünkü böyle istekler daha az şüphe çekiyor.

Kendi ölçümümüzde yapay zeka botlarına ait görünen 180 adet 403 hatasının tamamı sahteydi. Hepsi .env, wp-config ve benzeri dosyaları arayan saldırı taramasıydı. Gerçek içerik sayfasında 403 alan tek bir istek yoktu. Bu ayrım yapılmasaydı “botlar engelleniyor” diye var olmayan bir sorunun peşine düşülecekti.

Sahteyi ayırmanın iki yolu var:

  • İstenen adrese bakın. Gerçek bir arama botu .env dosyası aramaz.
  • IP’yi doğrulayın. Her sağlayıcı bot IP aralıklarını yayınlıyor. Ters DNS sorgusu da işe yarıyor: gerçek Googlebot googlebot.com, gerçek Bingbot search.msn.com alan adına çözümleniyor.
Günlük analizi için dizüstü bilgisayarda çalışma
Analizde asıl iş, sahte bot trafiğini gerçeğinden ayırmak.

Analytics neden yetmiyor?

Google Analytics JavaScript ile çalışıyor; botların çoğu JavaScript çalıştırmıyor. Bu yüzden bot taramaları Analytics’te hiç görünmüyor.

Analytics’te görebileceğiniz tek şey, yapay zeka asistanından size gelen insan trafiği. GA4 bunu “AI Assistant” kanalı olarak ayırıyor; kaynak alanında chatgpt.com, perplexity.ai gibi adresler çıkıyor. İkisi farklı sorulara cevap veriyor:

Kaynak Cevapladığı soru
Sunucu günlüğü Yapay zeka sitemi okuyor mu, neyi okuyor?
GA4 AI Assistant kanalı Yapay zeka bana ziyaretçi gönderiyor mu?

İkincisi birinciye bağlı: okunmayan site önerilmiyor, önerilmeyen siteye ziyaretçi gelmiyor.

Ölçtükten sonra ne yapmalı?

  1. Bir bot hiç gelmiyorsa o motorun web yöneticisi aracına kaydolun ve site haritanızı gönderin. ChatGPT’nin aramasında görünmek için Bing tarafı özellikle önemli.
  2. Botlar değersiz adresleri okuyorsa robots.txt ile besleme ve arşiv adreslerini kapatın.
  3. Gerçek sayfalarda hata varsa güvenlik duvarı kurallarını gözden geçirin.
  4. Her şey düzgünse içeriğe geçin: net tanımlar, tablolar, soru-cevap blokları. Dil modelleri bu biçimdeki içeriği daha kolay alıntılıyor.
  5. llms.txt ve llms-full.txt ekleyin. Sitenin özetini ve tam metnini tek adreste sunmak, modelin sayfaları tek tek çekmesini gereksiz kılıyor.

Hangi içerik düzenlemelerinin işe yaradığını yapay zeka aramalarında görünmek yazımızda anlattık.

Sıkça sorulan sorular

Sitenizin yapay zeka motorları tarafından görülüp görülmediğini ölçüp raporluyoruz: hangi botlar geliyor, hangi sayfaları okuyor, nerede hata alıyor. Teknik kurulumu web tasarım ve geliştirme, ölçüm ve raporlamayı performans pazarlama kapsamında yürütüyoruz. Site adresinizi bize iletin, ilk değerlendirmeyi ücretsiz çıkaralım.

Paylaş:

Bu konuyu markanız için konuşalım mı?

Yazıyı okumak bir şey, bunu kendi markanıza uyarlamak başka bir şey. 30 dakikalık ücretsiz bir görüşmede mevcut durumunuza bakıp size özel önerileri konuşalım. Sonrasında birlikte çalışmasak bile elinizde uygulanabilir bir plan kalsın.

Markanızın bir sonraki rengini birlikte seçelim.

Kısa bir tanışma görüşmesinde mevcut dijital varlığınızı ücretsiz analiz edip, size özel bir yol haritası çıkarıyoruz. Taahhüt yok, satış baskısı yok.

Genellikle aynı iş günü içinde dönüş yapıyoruz.

0532 790 91 16 WhatsApp'tan yazın