Какой правильный файл robots.txt для блога?

9
Просмотров: 3 261

 Какой правильный файл robots.txt для блога?

В интернете можно найти не один пост про создание robots.txt. Кроме как описания всех его функций, почти каждый блоггер показывает свой пример создания файла robots.txt, и советует его всем.

Когда я только переехал на свой домен, то и у меня появилась надобность создания файла robots.txt для моего блога. Найдя в интернете среди сотен статей более не менее понятную, я на ее примере создал свой файл.


Но спустя некоторое время оказалось, что данный файл не очень хорош и тогда один из блоггеров предложил мне помощь в создании robots.txt. Вернее он прислал мне уже готовый файл. Залив его на хостинг, я больше к нему не прикасался. Выглядит он сейчас вот так.

Сегодня читая блог Google Adsense, наткнулся на пост, где советуют тем кто крутит рекламу от Adsense на блоге, прописать в файле robots.txt следующие две строки:

User-agent: Mediapartners-Google
Disallow:

Прежде чем прописать данные строки, я решил посмотреть на robots.txt других блоггеров. как раз читая блог Сергея Кокшарова — Devaka, набрал в адресной строке его файл роботс, вот, что увидел там:

Файл robots.txt

Я никогда не видел такого файла, поэтому скрин скинул в Твиттер, и спустя некоторое время Сергей ответил на этот твит написав следующее:

Твит о robots.txt

Я показал Сергею мой файл, на что он мне ответил следующее:

Еще твит о файле robots.txt


Понятно одно, что Сергей скорее всего проводит какой то эксперимент, и пока он не говорит об этом. Но мне сейчас это не очень помогает, так как пройдясь по блогам блоггеров которых я читаю, я у видел интересную ситуацию, у многих эти файлы идентичны, лишь у некоторых блоггеров robots.txt отличался. И это если честно, совсем поставило меня в тупик.

Получается, что каждый создает данный файл как ему хочется. Понятно, что нет единого файла для всех и кто то пишет несколько строк, а кто то расписывает от души строки robots.txt. Но увы ни где я так и не смог найти ответа что правильно, а что нет при составлении файла robots.txt. Миллион блогов, столько же блоггеров и каждый пишет и советуют свою версию данного файла, но так ни кто и не может сказать какой правильный из них.

Вернее сказать, какой robots.txt оптимальней подходит к вашему блогу, то, что советуют все или то который вы сами придумали для себя. Вопрос так и остался открытым:

Какой правильный файл robots.txt для блога?

Интересно так же узнать как вы создавали свой файл, использовали шаблоны с других сайтов или сами «сочиняли» файл robots.txt

 

9 КОММЕНТАРИИ

  1. Тут нет никакого таинства. Нужно разрешить индексировать все, кроме особых случаев, и это индивидуально для каждого сайта.
    Почему-то бытует такое мнение, что с помощью очень хитрого роботса, можно радикально улучшить сайт для поисковиков. Это бред.
    У меня годами стоят на многих проектах очень простой роботс http://neolot.com/robots.txt

    • Получается, что нет смысла прописывать для Google и Yandex все по отдельности. Достаточно только User-agent: * ?

      • Абсолютно достаточно.
        Закрыть админку и если есть отдельная папка с рекламными баннерами как у Devaka — короче всё персональное.
        В LiveJournal, например, они ещё автоматически блокирую все страницы архивов, что кстати и вы предлагаете в статье о дубликатах.
        Для продвижения в выдаче файл robots.txt никакой роли не играет.

  2. Первый вариант файла наверное создан не для движка WordPress а для обычного самописного сайта, возможно даже на голом html, там и нечего будет закрывать.

  3. А в чем смысл городить огород с каким-то особым шаманством для robots.txt? На мой взгляд, его главная задача равна той цели, с которой он создавался — закрыть от индексации то, что не должно попасть в индекс ПС и общий доступ.

    При этом я уже надцать раз наталкивался на поиски мифического «философского камня» — каких-то тайных шаманских записей в этом файле, которые сразу позволят попасть в ТОП-1 по всем ВЧ-запросам 🙂

    Да вот только нет таких 🙂

ОСТАВЬТЕ ОТВЕТ