Kaynak ikonu

xF Güvenlik xenForo için %100 Optimize Edilmiş robots.txt dosyası! 2018-03-05

indirmek için izniniz yok
2018-03-05_11-45-58-png.134


Merhaba değerli xFDestek.com üyeleri!
Bu makalede xenForo için en iyi, optimize edilmiş robots.txt dosyasını düzenliyoruz.

Robots.txt nedir?

robots.txt dosyası, arama motoru tarayıcılarının sitenizde erişmesini istemediğiniz yerleri gösteren ve sitenizin kök dizininde bulunan bir dosyadır. Dosya, küçük bir komut setine sahip bir protokol olan Robotları Engelleme Standardı'nı kullanır. Bu komutlar, sitenize erişimi bölüm bazında ve belirli web tarayıcısı türüne göre (örneğin mobil tarayıcılar ve masaüstü tarayıcılar gibi) göstermek için kullanılabilir.

robots.txt ne için kullanılır?

Resim olmayan dosyalar
Genellikle Google tarayıcısının sunucunuzu çok fazla meşgul etmesini veya tarama bütçesinin, sitenizdeki önemsiz ya da birbirine benzeyen sayfaları taramak için harcanması istemezsiniz. Bu yüzden, resim olmayan dosyalar (yani web sayfaları) için robots.txt yalnızca tarama trafiğini kontrol etmek amacıyla kullanılmalıdır. robots.txt dosyasını, web sayfalarınızı Google Arama sonuçlarından gizlemenizi sağlayan bir araç olarak kullanmamalısınız. Çünkü sayfanıza bağlantı veren başka sayfalar olabilir. Bu durumda sayfanız, robots.txt dosyasına rağmen dizine eklenebilir. Sayfanızın arama sonuçlarında görünmesini engellemek isterseniz şifre koruması veya no index etiketleri ya da yönergeler gibi başka bir yöntem kullanın.

Resim dosyaları
robots.txt, resim dosyalarının Google arama sonuçlarında görünmesini engeller. (Ancak, bu yöntem, diğer sayfaların veya kullanıcıların resminize bağlantı vermesini engellemez.)

Kaynak dosyaları
Önemli olmayan resim, komut dosyası veya stil dosyaları gibi kaynakları engellemek için robots.txt dosyasını kullanabilirsiniz. Bu yöntemi, engellenen kaynaklar olmadan yüklenen sayfaların bu kayıptan önemli ölçüde etkilenmeyeceğini düşünüyorsanız uygulayın. Ancak, bu kaynakların eksikliği Google tarayıcısının sayfayı anlamasını zorlaştıracaksa bunları engellememelisiniz. Aksi halde Google, bu kaynaklara dayanan sayfalarınızı iyi bir şekilde analiz edemez.

robots.txt ile ilgili sınırlamaları anlama
robots.txt dosyanızı oluşturmadan önce, bu URL engelleme yönteminin risklerini bilmeniz gerekir. Bazı zamanlarda URL'lerinizin web üzerinde bulunmasını önlemek için başka mekanizmaları değerlendirmek isteyebilirsiniz.

  • robots.txt talimatları yalnızca yönergelerdir
    robots.txt dosyasındaki talimatlar, tarayıcının web sitenizde nasıl davranacağına ilişkin zorunluluk getiremez. Bunun yerine, bu talimatlar, tarayıcının sitenize erişmesine ilişkin yönergeler olarak görev yapar. Googlebot ve diğer tanınmış web tarayıcıları bir robots.txt dosyasındaki talimatlara uysalar da diğer tarayıcılar uymayabilir. Bu nedenle, bilgileri web tarayıcılarının erişemeyeceği şekilde güvende tutmak istiyorsanız sunucunuzdaki gizli dosyaları şifreyle koruma gibi farklı yöntemlerin kullanılması daha iyidir.
  • Farklı tarayıcılar sözdizimini farklı yorumlayabilir
    Tanınmış web tarayıcıları bir robots.txt dosyasındaki yönergeleri uygulasalar da her bir tarayıcı, yönergeleri farklı şekilde yorumlayabilir. Bazıları belirli talimatları anlayamayabileceğinden, farklı web tarayıcılarına hitap etmek üzere doğru söz dizimini bilmeniz gerekir.
  • Robot ile engellenen bir sayfa başka sitelerden bağlantı verildiği takdirde yine de dizine eklenebilir
    Google, robots.txt tarafından engellenen içeriği taramayacak veya dizine eklemeyecek olsa da, izin verilmeyen bir URL'yi web'de başka yerlerde bulup dizine ekleyebiliriz. Bunun sonucunda URL adresi ve muhtemelen sayfaya verilen bağlantılardaki metinler gibi genel kullanıma açık diğer bilgiler Google arama sonuçlarında çıkmaya devam edebilir. URL'nizin Google Arama sonuçlarında görünmesini doğru bir şekilde engellemek için sunucunuzdaki dosyaları şifreyle korumanız veya noindex meta etiketi ya da yanıt üst bilgisi kullanmanız (veya sayfayı tamamen kaldırmanız) gerekir.
Önemli
Not: Birden fazla tarama ve dizine ekleme yönergesinin birlikte kullanılması, bazı yönergelerin diğerlerini etkisiz kılmasına yol açabilir. Bu yönergeleri düzgün bir şekilde nasıl yapılandıracağınızı öğrenmek için Google Developers dokümanlarının Dizine ekleyerek tarama / sunma yönergelerini birleştirme bölümünü okuyabilirsiniz.


Kurulum;
  1. xFDestek-Optimize-Robots.txt.zip 'li dosyayı zipten çıkartın
  2. zip şifresi: xFDestek.com 'dur.
  3. robots.txt dosasını açın.
  4. En aşağıda bulunan site haritası yolunu kendi site adresinizi girerek kaydedin.
  5. Sunucunuzun anadizinine yükleyin.
Hepsi bu kadar!
Yazar
Emre
İndirilme
12
İlk yayınlama
Son güncelleme
Değerlendirme
5.00 yıldız(lar) 5 değerlendirme

Emre ait diğer kaynakar

Son incelemeler

tşklr
Mükemmel
Üst