“Google App Engine” aslında bir hosting / platform servisi. Normal şartlarda sen AppEngine kullanmadıysan, “AppEngine siteme geliyor” dediğinde kastettiğin şey büyük ihtimalle Google AppEngine üzerinde çalışan botlar veya servisler siteni ziyaret ediyor.
Neden geliyor olabilir?
- Google servisleri adına yapılan istekler
- Google App Engine üzerinde çalışan üçüncü taraf uygulamalar sitene HTTP isteği atabilir.
- Örneğin: bir SEO aracı, uptime monitor, proxy ya da scraper AppEngine üzerinde barındırılıyor olabilir.
- Googlebot / Indexleme farkı
- Normal Googlebot taraması genellikle googlebot.com domaininden gelir.
- Ama bazı üçüncü taraf servisler (örneğin içerik analizi, site test araçları) AppEngine üstünde çalışıp senin siteni tarıyor olabilir.
- Spam / kötüye kullanım ihtimali
- AppEngine kötü niyetli kişiler tarafından botnet, spam veya içerik kopyalama için de kullanılabilir.
- Bu durumda ziyaretçi IP adresi *.googleusercontent.com gibi görünebilir.
Nasıl anlayabilirsin?
- Sunucu loglarını kontrol et:
Gelen isteklerde User-Agent kısmında ne yazıyor? “Googlebot” mu, yoksa farklı bir bot / uygulama mı? - Reverse DNS kontrolü yap:
Gelen IP’nin gerçekten Google’a mı, yoksa sadece Google AppEngine kullanılarak çalışan bir uygulamaya mı ait olduğunu görebilirsin.
Ne yapabilirsin?
- Eğer Googlebot ise engellememelisin, çünkü bu indexleme içindir.
- Eğer AppEngine tabanlı bir bot sitene gereksiz yük bindiriyorsa:
- .htaccess veya firewall üzerinden User-Agent / IP engeli koyabilirsin.
- Google Cloud Abuse formu ile kötüye kullanım bildirebilirsin.