Robots.txt Oluşturucu

Default - All Robots are:	Allowed Refused
Crawl-Delay:	Default - No Delay 5 Seconds 10 Seconds 20 Seconds 60 seconds 120 Seconds
Sitemap: (leave blank if you don't have)
Search Robots:	Google	Same as Default Allowed Refused
	Google Image	Same as Default Allowed Refused
	Google Mobile	Same as Default Allowed Refused
	MSN Search	Same as Default Allowed Refused
	Yahoo	Same as Default Allowed Refused
	Yahoo MM	Same as Default Allowed Refused
	Yahoo Blogs	Same as Default Allowed Refused
	Ask/Teoma	Same as Default Allowed Refused
	GigaBlast	Same as Default Allowed Refused
	DMOZ Checker	Same as Default Allowed Refused
	Nutch	Same as Default Allowed Refused
	Alexa/Wayback	Same as Default Allowed Refused
	Baidu	Same as Default Allowed Refused
	Naver	Same as Default Allowed Refused
	MSN PicSearch	Same as Default Allowed Refused
Restricted Directories:	The path is relative to root and must contain a trailing slash "/"

Now, Create 'robots.txt' file at your root directory. Copy above text and paste into the text file.

About Robots.txt Oluşturucu

Robots.txt Oluşturucu (Generator) Nedir?

 

Robots.txt Oluşturucu (Generator) Aracı, web sitelerini Googlebot ile daha uyumlu hale getirebilmeleri konusunda webmasterlar için son derece yararlı bir araçtır. Tamamiyle ücretsiz olan aracımız bu yardımı robot.txt dosyası oluşturarak yapıyor.

Bilgineferi'nin Robots.txt Generator Aracı, sadece birkaç tıklama ile Googlebot dostu olan robots.txt dosyası oluşturuyor ve webmasterların hayatlarını kolaylaştırıyor.

Aracımızda ayrıca kullanıcı dostu bir arayüz bulunuyor. Bu arayüzde neyin yer alıp neyin yer almayacağını seçme seçeneğine de sahipsiniz. Aracı nasıl kullanacağınıza gelecek olursak:

• Tüm arama botlarının mı yoksa sadece belli başlı botların mı web sitenize erişebileceğini seçin. Bu konuda seçme şansını araca bırakırsanız, varsayılan olarak tüm robotlara izin verilir.
• Geciktirme komutlarının ne kadar olması gerektiğini seçin. Seçeceğiniz değer 5 saniye ile 120 saniye arasında olabilir. Eğer bir seçim yapmazsanız varsayılan olarak 'gecikme yok' seçeneği seçilir.
• Eğer sitenizde bir sitemap mevcut ise bu adımda onu yapıştırmalısınız. Eğer sitemap yoksa bu adımı geçiniz.
• Hangi arama botlarının web sitenizi taramasını istediğinizi seçin, seçmediğiniz botlar sitenizde tarama yapamayacaklar.
• Son olarak da, dizinleri kısıtlama aşaması var. İlgili dizinin sonuna konulacak olan eğik çizgi "/" işareti o dizini kısıtlayacaktır.
• Bu adımları izleyerek Robots.txt Oluşturucu aracımız ile Googlebot dostu bir robots.txt dosyası oluşturmuş oldunuz. Artık tek yapmanız gereken sitenizin kök dizinine bu dosyayı yüklemek.

Webmasterlar, Bilgineferi Ücretsiz Seo Araçları'ndan biri olan Robots.txt Oluşturucusunu kullanarak, herhangi bir arama botunun web sitelerinin kök dizinlerinde yer alan hangi kayıtları ya da dosyaları tarayabileceğini belirleyebilirler. Ayrıca dilerseniz sitenizin dizinine hangi robotların erişebileceğini seçebilir ve seçtikleriniz dışında kalan robotları sınırlayabilirsiniz. Hatta bu seçtiğiniz robotlardan hangisinin kök dizindeki bir dosyaya ya da hangisinin bir başka dosyaya erişebileceğini bile belirleyebilirsiniz

Robot.txt aracı site sahipleri için harikulade bir araçtır ve şüphesiz ki site sahiplerinin hayatları bu araçla tanıştıktan sonra çok daha kolay bir hal alacaktır.