Robot.Txt Dosyası Nedir? Bu dosya arama motorlarından gelen robotlara yol gösterici metinler içeren bir dosyadır. Söz konusu dosya içerisinde yer alan bilgilere göre arama motorları bir site içerisinde index alacak ve index almayacak alanları öğrenebilir. Doğru şekilde ayarlanmadığı zaman sitenin Google ve benzeri arama motorlarında çıkması tamamen engellenebilir.
Arama motoru optimizasyonu konusunda Robot.Txt dosyalarının oldukça büyük önemi bulunmaktadır. Söz konusu dosyalar her ne kadar gereksiz dosyalar gibi gözüküyor olsa da arama motorlarının siteniz hakkında doğru bilgileri alabilmesi için oldukça gereklidir.
Daha doğru bilgilerin insanlara ulaştırılması için her dakika internet robotları gezintiye çıkar. Doğru bilginin yer aldığı sayfalar her zaman daha üst sıralara çıkartılır.
Dev internet ağında arama yapan Robotlar, internet sitelerinde yer alan bilgileri üst sırala çıkartmadan önce Robot.Txt dosyasının var olup olmadığını kontrol eder. Kontrol sonucunda aldıkları cevap evet ise bir sonraki adım olan içindeki bilgileri kontrol ederler.
Ne Gibi Bilgilerin İndekslenmesi Önlenebilir?
Robot.Txt doğru şekilde düzenlendiği zaman hayatınızı ciddi anlamda kurtarabilecek boyutta bir güce sahip. Her ne kadar siteler kendilerini hızlı bir şekilde İndex aldırmak için uğraştırıyor olsa da bazı durumlarda hızlı gelen indexler sorunlara neden olabilmektedir.
Bu aşamada Robot.Txt dosyaları devreye giriyor. Ne gibi bilgilerin indekslenmesi önlenebilir? Şifrelerin yer aldığı, fotoğrafların yer aldığı. Hiçbir şekilde site içerisinden linkler ile erişimi olmayan özel sayfaların arama motorlarında indekslenmesini Robot.Txt dosyası
Gizli bir Admin paneli kullanıyor ve başkaları tarafından bulunmasını istemiyorsanız Robot.Txt dosyalarında da düzenlemeler yaparak sayfanın tamamen arama motorlarından kaldırılmasını sağlamanız gerekir.
Robot.Txt Nasıl Kullanılır? Robot.Txt Örnek Kullanımlar
Robot.Txt nasıl kullanılır? Kullanım konusunda her ne kadar zor bir yöntemmiş gibi gözüküyor olsa da kullanımı için sadece ufak kodları bilmeniz yeterli olacaktır. Her sitede ve her panelde Robot.Txt için özel bir alan açılmıştır. Söz konusu ayarları ayrılan alana sizin girmeniz gerekir.
- Tüm alanların robotlar tarafından indekslenmesini sağlamak: User-agent:* Disallow:
- Robotların tüm alanları indekslemesini engellemek: User-agent: * Disallow: /
- Robotların belirlenen klasörleri indekslemesini engellemek: User-agent: * Disallow: / (Klasör İsmi)/(Klasör İsmi)…
Bu kullanımlar genel amaç ile kullanılan Robot.Txt komut dosyalarıdır. Kendi sitenize göre düzenlemeleri Robot.Txt oluşturma araçlarını kullanarak da oluşturma şansınız bulunmaktadır.
Bir yorum bırakınız...