Yapay Zeka Sitenizi Görüyor mu? Sunucu Günlüğünden Ölçme Rehberi
ChatGPT, Perplexity ve Claude botları sitenize geliyor mu? Sunucu günlüğünden hangi botun ne okuduğunu ölçme, sahte bot trafiğini ayırma ve sonuca göre ne yapılacağı.
Yapay zeka aramalarında görünmek için yapılan çalışmaların çoğu ölçülmeden yapılıyor. llms.txt ekleniyor, şema yazılıyor, robots.txt’de izin veriliyor; sonra kimse bunların işe yarayıp yaramadığına bakmıyor. Oysa cevap sunucunuzda duruyor.
Her ziyaret, insan ya da bot, sunucu günlüğüne bir satır yazıyor. O satırlar ChatGPT’nin, Perplexity’nin, Claude’un ve Apple’ın botlarının sitenize gelip gelmediğini, hangi sayfaları okuduğunu ve hata alıp almadığını kesin olarak gösteriyor. Bu yazıda bunu nasıl okuyacağınızı anlatıyoruz.
Özet: bu yazıdan ne çıkarmalısınız?
- Yapay zeka botlarının sitenize gelip gelmediği Analytics’te değil, sunucu günlüğünde görünüyor.
- Günlükteki “GPTBot” yazan her satır gerçek değil; user-agent taklit eden saldırı taramaları çoğunlukta.
- Bot bütçesinin büyük kısmı besleme ve arşiv adreslerine gidebiliyor, bunu yalnızca günlük gösteriyor.
- Her yapay zeka motorunun ayrı botu var ve biri gelirken diğeri hiç gelmeyebiliyor.
- Ölçüm olmadan yapılan GEO çalışması, sonucu bilinmeyen bir çalışmadır.
Hangi botlar var, hangisi ne iş yapıyor?
| Bot | Kime ait | Ne yapar |
|---|---|---|
| GPTBot | OpenAI | Model eğitimi için içerik toplar |
| OAI-SearchBot | OpenAI | ChatGPT’nin arama dizinini besler |
| ChatGPT-User | OpenAI | Kullanıcı soru sorduğunda sayfayı o anda açar |
| ClaudeBot / Claude-User | Anthropic | Eğitim ve anlık sayfa okuma |
| PerplexityBot | Perplexity | Kendi arama dizinini oluşturur |
| Applebot | Apple | Siri ve Apple Intelligence için tarar |
| Google-Extended | Gemini eğitimi için izin kontrolü | |
| Bingbot | Microsoft | Bing dizini; ChatGPT aramasının altyapısı |
Ayrım önemli: ChatGPT-User satırları, gerçek bir kullanıcının o anda ChatGPT’ye soru sorduğunu ve ChatGPT’nin sizin sayfanızı açtığını gösteriyor. Bu, yapay zeka görünürlüğünün en doğrudan kanıtı.

Günlüğe nasıl ulaşılır?
Paylaşımlı barındırma kullanıyorsanız cPanel’de Metrics bölümünde Raw Access başlığı altında duruyor. Aylık arşivler sıkıştırılmış dosyalar halinde indiriliyor. Sunucu yönetiyorsanız genellikle /var/log/nginx/ veya /var/log/apache2/ altındalar.
Dosya formatı her satırda şunları içeriyor: istek yapan IP, tarih, istenen adres, sunucunun verdiği yanıt kodu ve user-agent. Analiz için bu beşi yeterli.
Dört soru, dört kontrol
1. Hangi bot kaç kez geldi?
User-agent alanında bot adını arayıp saydırmak yeterli. Beklenen tablo şu: Applebot ve Googlebot en çok, OpenAI botları orta, diğerleri az. Bir bot hiç görünmüyorsa o motorun dizininde yoksunuz demektir.
2. Hangi sayfaları okudu?
Burada sürpriz çıkıyor. Kendi sitemizde yaptığımız 17 günlük bir ölçümde yapay zeka botlarının okuduğu sayfaların yüzde kırkı etiket beslemeleri, kategori beslemeleri ve yorum beslemesiydi. Yani botlar sitede geziyordu ama içerik taşımayan adresleri okuyordu.
Bu tespitten sonra robots.txt’ye besleme engellemeleri eklendi. Aynı tarama bütçesi artık hizmet ve rehber sayfalarına gidiyor.
3. Hata alan var mı?
403 ve 404 kodlarına bakın. Gerçek bir botun içerik sayfasında 403 alması, güvenlik duvarınızın onu engellediğini gösterir ve ciddi bir sorundur.
Ama burada dikkatli olun: bu yazının en önemli uyarısı aşağıda.
4. Gelen bot gerçek mi?
User-agent alanı herkesin yazabileceği bir metin. Saldırganlar tarama yaparken kendilerini GPTBot ya da Bingbot olarak tanıtıyor, çünkü böyle istekler daha az şüphe çekiyor.
Kendi ölçümümüzde yapay zeka botlarına ait görünen 180 adet 403 hatasının tamamı sahteydi. Hepsi .env, wp-config ve benzeri dosyaları arayan saldırı taramasıydı. Gerçek içerik sayfasında 403 alan tek bir istek yoktu. Bu ayrım yapılmasaydı “botlar engelleniyor” diye var olmayan bir sorunun peşine düşülecekti.
Sahteyi ayırmanın iki yolu var:
- İstenen adrese bakın. Gerçek bir arama botu
.envdosyası aramaz. - IP’yi doğrulayın. Her sağlayıcı bot IP aralıklarını yayınlıyor. Ters DNS sorgusu da işe yarıyor: gerçek Googlebot
googlebot.com, gerçek Bingbotsearch.msn.comalan adına çözümleniyor.

Analytics neden yetmiyor?
Google Analytics JavaScript ile çalışıyor; botların çoğu JavaScript çalıştırmıyor. Bu yüzden bot taramaları Analytics’te hiç görünmüyor.
Analytics’te görebileceğiniz tek şey, yapay zeka asistanından size gelen insan trafiği. GA4 bunu “AI Assistant” kanalı olarak ayırıyor; kaynak alanında chatgpt.com, perplexity.ai gibi adresler çıkıyor. İkisi farklı sorulara cevap veriyor:
| Kaynak | Cevapladığı soru |
|---|---|
| Sunucu günlüğü | Yapay zeka sitemi okuyor mu, neyi okuyor? |
| GA4 AI Assistant kanalı | Yapay zeka bana ziyaretçi gönderiyor mu? |
İkincisi birinciye bağlı: okunmayan site önerilmiyor, önerilmeyen siteye ziyaretçi gelmiyor.
Ölçtükten sonra ne yapmalı?
- Bir bot hiç gelmiyorsa o motorun web yöneticisi aracına kaydolun ve site haritanızı gönderin. ChatGPT’nin aramasında görünmek için Bing tarafı özellikle önemli.
- Botlar değersiz adresleri okuyorsa robots.txt ile besleme ve arşiv adreslerini kapatın.
- Gerçek sayfalarda hata varsa güvenlik duvarı kurallarını gözden geçirin.
- Her şey düzgünse içeriğe geçin: net tanımlar, tablolar, soru-cevap blokları. Dil modelleri bu biçimdeki içeriği daha kolay alıntılıyor.
- llms.txt ve llms-full.txt ekleyin. Sitenin özetini ve tam metnini tek adreste sunmak, modelin sayfaları tek tek çekmesini gereksiz kılıyor.
Hangi içerik düzenlemelerinin işe yaradığını yapay zeka aramalarında görünmek yazımızda anlattık.
Sıkça sorulan sorular
Sitenizin yapay zeka motorları tarafından görülüp görülmediğini ölçüp raporluyoruz: hangi botlar geliyor, hangi sayfaları okuyor, nerede hata alıyor. Teknik kurulumu web tasarım ve geliştirme, ölçüm ve raporlamayı performans pazarlama kapsamında yürütüyoruz. Site adresinizi bize iletin, ilk değerlendirmeyi ücretsiz çıkaralım.
Bu konuyu markanız için konuşalım mı?
Yazıyı okumak bir şey, bunu kendi markanıza uyarlamak başka bir şey. 30 dakikalık ücretsiz bir görüşmede mevcut durumunuza bakıp size özel önerileri konuşalım. Sonrasında birlikte çalışmasak bile elinizde uygulanabilir bir plan kalsın.
