Tarama, Render ve Dizine Ekleme Süreci
Tarama
Googlebot ve diğer arama motoru botları yeni URL'leri çoğunlukla bağlantılar üzerinden keşfeder. XML site haritaları da bu sürece yardımcı olur. Bu aşamada iç bağlantılar, site mimarisi, robots.txt kuralları, yönlendirmeler ve HTTP durum kodları doğrudan önem taşır.
Örneğin önemli bir kategori sayfasına site içerisinden hiçbir bağlantı verilmiyorsa ve URL sitemap içerisinde de yer almıyorsa sayfanın keşfedilmesi gereksiz yere zorlaşır. Daha ciddi bir örnek, yanlış yazılmış bir robots.txt kuralının bütün bir ürün veya kategori grubunu taramaya kapatmasıdır.
Teknik bir kontrolde ilk sorulardan biri bu yüzden oldukça basittir: İndekslenmesini istediğimiz sayfalara arama motorları gerçekten ulaşabiliyor mu?
Render ve İçeriğin İşlenmesi
Modern web sitelerinde kaynak HTML ile kullanıcının tarayıcıda gördüğü sayfa her zaman aynı değildir. JavaScript ağırlıklı yapılarda ana içerik, bağlantılar veya bazı metadata alanları sayfa yüklendikten sonra oluşturulabilir. Google JavaScript çalıştırabilir; buna rağmen kritik içeriklerin tamamen client-side rendering'e bağlı olması bazı projelerde süreci gereksiz yere karmaşıklaştırabilir.
Bu tür sitelerde yalnızca tarayıcıda sayfanın düzgün görünmesi yeterli bir kontrol değildir. Render edilmiş çıktıda şu noktalara bakılmalıdır:
- Ana içerik gerçekten oluşuyor mu?
- H1 ve diğer önemli metinler görülebiliyor mu?
- Dahili linkler gerçek bağlantılar olarak render ediliyor mu?
- Canonical doğru URL'yi mi gösteriyor?
- Meta robots direktifleri doğru mu?
- API veya JavaScript hataları içeriğin oluşmasını engelliyor mu?
Dizine Ekleme
Bir URL'nin Googlebot tarafından taranması, o sayfanın mutlaka Google dizinine gireceği anlamına gelmez. Bir sayfa farklı nedenlerle indeks dışında bırakılabilir. Örneğin sayfada noindex bulunabilir, başka bir URL canonical olarak gösterilmiş olabilir veya içerik Google tarafından başka bir sayfanın tekrarı olarak değerlendirilebilir.
Soft 404, hatalı durum kodları ve düşük değer taşıyan URL'ler de indeksleme tarafında sorun oluşturabilir. Asıl soru şudur:
Google bu URL'yi indeksledi mi; indekslemediyse neden?