Bir SEO optimize edicinin işi çok büyük ölçeklidir. Yeni başlayanlara, herhangi bir adımı kaçırmamak için optimizasyon algoritmasını yazmaları önerilir. Aksi takdirde, site sürekli olarak uzun süre düzeltilmesi gerekecek hatalar ve hatalar yaşayacağından promosyonun başarılı olarak adlandırılması zor olacaktır.
Optimizasyon adımlarından biri robots.txt dosyasıyla çalışmaktır. Her kaynak bu belgeye sahip olmalıdır, çünkü onsuz optimizasyonla başa çıkmak daha zor olacaktır. Anlamak zorunda kalacağınız birçok işlevi yerine getirir.
Robot Asistanı
Robots.txt dosyası, sistemin standart Not Defteri'nde görüntülenebilen düz metin bir belgedir. Oluştururken, doğru okunabilmesi için kodlamayı UTF-8 olarak ayarlamalısınız. Dosya http, https ve FTP protokolleri ile çalışır.
Bu belge, robotları aramak için bir yardımcıdır. Bilmiyorsanız, her sistem, sorgular için ilgili siteleri döndürmek için World Wide Web'i hızla tarayan "örümcekler" kullanır.kullanıcılar. Bu robotların kaynak verilere erişimi olmalıdır, robots.txt bunun için çalışır.
Örümceklerin yolunu bulabilmesi için robots.txt dosyasını kök dizine göndermeniz gerekiyor. Sitede bu dosyanın olup olmadığını kontrol etmek için tarayıcının adres çubuğuna “https://site.com.ua/robots.txt” girin. "site.com.ua" yerine ihtiyacınız olan kaynağı girmeniz gerekiyor.
Belge işlevleri
Robots.txt dosyası, tarayıcılara çeşitli bilgi türleri sağlar. Kısmi erişim sağlayabilir, böylece "örümcek" kaynağın belirli öğelerini tarar. Tam erişim, mevcut tüm sayfaları kontrol etmenizi sağlar. Tam bir yasak, robotların kontrol etmeye başlamasını bile engeller ve siteden ayrılırlar.
Kaynağı ziyaret ettikten sonra "örümcekler" isteğe uygun bir yanıt alır. Birkaç tane olabilir, hepsi robots.txt'deki bilgilere bağlıdır. Örneğin, tarama başarılı olursa robot 2xx kodunu alır.
Belki de site bir sayfadan diğerine yönlendirilmiştir. Bu durumda robot 3xx kodunu alır. Bu kod birden çok kez ortaya çıkarsa, örümcek başka bir yanıt alana kadar onu takip edecektir. Kural olarak, sadece 5 deneme kullanmasına rağmen. Aksi takdirde, popüler 404 hatası görünür.
Cevap 4xx ise, robotun sitenin tüm içeriğini taramasına izin verilir. Ancak 5xx kodu durumunda, bu genellikle geçici sunucu hatalarını gösterdiğinden kontrol tamamen durabilir.
Ne içinrobots.txt'e mi ihtiyacınız var?
Tahmin edebileceğiniz gibi, bu dosya sitenin kök dizinine yönelik robotların kılavuzudur. Artık uygunsuz içeriğe erişimi kısmen kısıtlamak için kullanılıyor:
- kullanıcıların kişisel bilgilerini içeren sayfalar;
- yansıtma siteleri;
- arama sonuçları;
- veri gönderme formları, vb.
Site kökünde robots.txt dosyası yoksa, robot kesinlikle tüm içeriği tarar. Buna göre, arama sonuçlarında istenmeyen veriler görünebilir, bu da hem sizin hem de sitenin zarar göreceği anlamına gelir. robots.txt belgesinde özel talimatlar varsa, "örümcek" bunları takip edecek ve kaynağın sahibinin istediği bilgileri verecektir.
Bir dosyayla çalışma
Sitenin dizine eklenmesini engellemek üzere robots.txt dosyasını kullanmak için bu dosyayı nasıl oluşturacağınızı bulmanız gerekir. Bunu yapmak için talimatları izleyin:
- Not Defteri'nde veya Not Defteri'nde bir belge oluşturun++.
- ".txt" dosya uzantısını ayarlayın.
- Gerekli verileri ve komutları girin.
- Belgeyi kaydedin ve site köküne yükleyin.
Gördüğünüz gibi, aşamalardan birinde robotlar için komutlar ayarlamak gerekiyor. İki türdür: izin vermek (İzin Ver) ve yasaklamak (İzin verme). Ayrıca, bazı optimize ediciler tarama hızını, ana bilgisayarı ve kaynağın sayfa haritasına bağlantıyı belirtebilir.
Robots.txt ile çalışmaya başlamak ve sitenin dizine eklenmesini tamamen engellemek için kullanılan sembolleri de anlamalısınız. Örneğin, bir belgedetüm sitenin seçildiğini gösteren "/" kullanın. "" kullanılıyorsa, bir karakter dizisi gereklidir. Bu şekilde, taranabilecek veya taranamayacak belirli bir klasör belirtmek mümkün olacaktır.
Botların özelliği
Arama motorları için "Örümcekler" farklıdır, bu nedenle aynı anda birkaç arama motoru için çalışıyorsanız, bu anı hesaba katmanız gerekir. Adları farklıdır, yani belirli bir robotla iletişim kurmak istiyorsanız adını belirtmeniz gerekir: “Kullanıcı Aracısı: Yandex” (tırnak işaretleri olmadan).
Tüm arama motorları için yönergeler ayarlamak istiyorsanız, "Kullanıcı Aracısı: " (tırnak işaretleri olmadan) komutunu kullanmanız gerekir. Sitenin robots.txt kullanılarak dizine eklenmesini düzgün şekilde engellemek için popüler arama motorlarının özelliklerini bilmeniz gerekir.
Gerçek şu ki, en popüler arama motorları Yandex ve Google'ın birkaç botu var. Her birinin kendi görevleri vardır. Örneğin, Yandex Bot ve Googlebot, siteyi tarayan ana "örümcekler" dir. Tüm botları bilerek, kaynağınızın indekslenmesinde ince ayar yapmak daha kolay olacaktır.
Örnekler
Yani robots.txt yardımı ile basit komutlarla siteyi indekslemeden kapatabilirsiniz, asıl mesele özel olarak neye ihtiyacınız olduğunu anlamaktır. Örneğin, Googlebot'un kaynağınıza yaklaşmamasını istiyorsanız, ona uygun komutu vermeniz gerekir. Şu şekilde görünecektir: "User-agent: Googlebot Disallow: /" (tırnak işaretleri olmadan).
Şimdi bu komutta ne olduğunu ve nasıl çalıştığını anlamamız gerekiyor. Yani "Kullanıcı aracısı"botlardan birine doğrudan çağrı yapmak için kullanılır. Ardından, hangisinin bizim durumumuzda Google olduğunu belirtiyoruz. "İzin Verme" komutu yeni bir satırda başlamalı ve robotun siteye girmesini engellemelidir. Bu durumda eğik çizgi simgesi, komutun yürütülmesi için kaynağın tüm sayfalarının seçildiğini gösterir.
robots.txt dosyasında, tüm arama motorları için dizine eklemeyi basit bir komutla devre dışı bırakabilirsiniz: "User-agent:Disallow: /" (tırnak işaretleri olmadan). Bu durumda yıldız işareti, tüm arama robotlarını belirtir. Tipik olarak, sitenin dizine eklenmesini duraklatmak ve site üzerinde esaslı çalışmaya başlamak için böyle bir komut gerekir; aksi takdirde optimizasyonu etkileyebilir.
Kaynak büyükse ve çok sayıda sayfası varsa, genellikle ifşa edilmesi istenmeyen veya tanıtımı olumsuz etkileyebilecek özel bilgiler içerir. Bu durumda, robots.txt'de sayfanın dizine eklenmesinin nasıl kapatılacağını anlamanız gerekir.
Bir klasörü veya bir dosyayı gizleyebilirsiniz. İlk durumda, belirli bir botla veya herkesle iletişime geçerek yeniden başlamanız gerekiyor, bu yüzden “User-agent” komutunu kullanıyoruz ve aşağıda belirli bir klasör için “Disallow” komutunu belirtiyoruz. Şu şekilde görünecektir: "İzin verme: / klasör /" (tırnak işaretleri olmadan). Bu şekilde tüm klasörü gizlersiniz. Göstermek istediğiniz önemli bir dosya içeriyorsa, aşağıdaki komutu yazmanız gerekir: “Allow: /folder/file.php” (tırnak işaretleri olmadan).
Dosyayı kontrol edin
Siteyi kapatmak için robots.txt kullanılıyorsaİndekslemeyi başardınız ama tüm direktiflerinizin doğru çalışıp çalışmadığını bilmiyorsunuz, işin doğruluğunu kontrol edebilirsiniz.
Önce, belgenin yerleşimini tekrar kontrol etmeniz gerekiyor. Yalnızca kök klasörde olması gerektiğini unutmayın. Kök klasördeyse, çalışmaz. Ardından, tarayıcıyı açın ve şu adresi oraya girin: “https://siteniz. com/robots.txt (tırnak işaretleri olmadan). Web tarayıcınızda bir hata alırsanız, dosya olması gereken yerde değildir.
Yönergeler, neredeyse tüm web yöneticileri tarafından kullanılan özel araçlarda kontrol edilebilir. Google ve Yandex ürünlerinden bahsediyoruz. Örneğin, Google Arama Konsolunda "Tarama"yı açmanız ve ardından "Robots.txt Dosya Denetleme Aracı"nı çalıştırmanız gereken bir araç çubuğu vardır. Belgedeki tüm verileri pencereye kopyalamanız ve taramaya başlamanız gerekir. Aynı kontrol Yandex. Webmaster'da da yapılabilir.
