Robots.txt Analizi

Robots.txt dosyası analizi ve hata kontrolü