robots.txt dosyasında bir klasörün içindeki (aslında iki klasör ama mantığı aynıdır) her şeyi arama motorları tarafından taranmasını ve listelenmesini engellemek istiyorum. Örnek robots.txt dosyası nasıl olmalı?
RainingCodes
25.07.2019 10:42
robots.txt mantığını anlamak için örnekler üzerinden gidelim.
Her şeye izin vermek için robots.txt örneği:
User-agent: * Disallow:
Burada * tüm anlamına geliyor, dolayısıyla bu robots.txt'yi gören tüm botlar bu dosyayı kullanabilirler anlamına geliyor.
Sadece bir sayfayı engellemek için robots.txt örneği:
Disallow: /iletisim.php
disallow yanına yazılan sayfa ya da sayfalar listedeki user-agent'lar tarafından listelenmemiş olacaklar. Gelelim sorunuzun yanıtına.
Belirli bir klasör altındaki tüm dosyaları engelleyen robots.txt örneği
Disallow: /temp/* Disallow: /admin/*
Ancak kötü niyetli kişilerin sayfanızda bulunan robots.txt dosyasına bakarak listelenmesini istemediğiniz sayfaların listesini çıkarabileceklerini unutmayın. Bunun için login sistemi eklenebilir ya da robots.txt dosyası için alternatif bir dosya adı kullanarak arama motorlarına bu dosyanızı robots.txt görevi görmesi için ekleyebilirsiniz.
Bu soruya sadece kayıtlı kullanıcılar yanıt yazabilirler. Yanıt yazmak için lütfen giriş yapınız.
utku33 0
kaanbey 0
VitaDemy 0
mbologlu 0
mbologlu 1
İnternet sitemizdeki deneyiminizi iyileştirmek için çerezler kullanıyoruz. Bu siteye giriş yaparak çerez kullanımını kabul etmiş sayılıyorsunuz. Daha fazla bilgi.