Robots.txt для Вашего блога, или оптимизируемся для Google

Дата: 22.01.2008 | Рубрика: Статьи

Файл robots.txt может оказать огромное влияние на индексацию Вашего блога и продвижение в поисковиках. Будьте внимательны при написании Вашего файла robots.txt, заблокировав слишком много, поисковик перестанет Вас индексировать.

Далее мы рассмотрим, как легко и просто написать robots.txt для Вашего блога на WordPress.

Для начала мы установим плагин KB Robots.txt, далее заходим в «Панель администрирования» -> «Опции» -> «KB Robots.txt», теперь мы можем легко менять содержание файла robots.txt Вашего блога.

Содержание robots.txt оптимизированного под SEO и Google:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /tag
Disallow: /author
Disallow: /i/
Disallow: /f/
Disallow: /t/
Disallow: /wget/
Disallow: /httpd/
Disallow: /c/
Disallow: /j/
# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*
# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*
# Does anyone care I love Google Apache htaccess, not to mention robots.txt, wordpress and hacking code
# http://www.sitemaps.org/faq.php
# Add Nonstandard extensions
Sitemap: http://www.sitename.com/sitemap.xml

Жду Ваших идей и замечаний в коменты …

Мой блог находят по следующим фразам

Похожие записи:


19 комментариев

  • 2008-02-03 в 18:31 Troitsky написал:

    <b>Admin</b>,
    <blockquote>User-agent: *Disallow: /cgi-bin</blockquote>
    User-agent: *
    Disallow: /cgi-bin

  • 2008-02-04 в 09:16 Admin написал:

    Да, сейчас исправлю

  • 2008-05-28 в 08:15 Kolia Shlapak написал:

    я так понимаю многих папок может и не быть? например у меня нету
    /tag
    Disallow: /author

  • 2008-05-28 в 10:59 Admin написал:

    Верно, се зависит от настойки пермалинков (постоянных ссылок)

  • 2008-05-28 в 11:01 Kolia Shlapak написал:

    спасибо за ответ!)

  • 2008-09-28 в 13:49 ssve написал:

    Disallow:
    Allow: /*

    Это избыточная конструкция, во-первых * подразумевается в конце директивы по умолчанию, во-вторых Disallow: и Allow: / означают одно и тоже (разрешено всё)

  • 2008-09-28 в 15:56 Дедушка написал:

    Полезно, спасибо. Единственное что проверка целостности файлов блокирует обновление robots.txt, приходится отключать на время.

  • 2008-11-01 в 08:50 mohax написал:

    robot.txt может только запрещать (все что не запрещено соотв. разрешено), Allow в спецификации я не нашёл.

  • 2008-11-05 в 00:09 curt написал:

    вообще то это

    Disallow: /i/
    Disallow: /f/
    Disallow: /t/
    Disallow: /wget/
    Disallow: /httpd/
    Disallow: /c/
    Disallow: /j/

    относится к конкретному сайту http://www.askapache.com/
    и на остальных сайтах эти директории не обязательно должны быть...

  • 2009-01-31 в 23:20 Dima написал:

    А Mediapartners-Google это что за бот такой?

  • 2009-03-01 в 22:57 Богдан написал:

    Спасибо за отличные советы и рекомендации.

  • 2009-08-21 в 21:50 Дмитрий написал:

    А кто сказал, что есть Allow? Монах правильно говорит, robots.txt только запрещает

  • 2010-03-14 в 12:24 Serg написал:

    насколько я понял Disallow: означает:"все разрешено"? или нет?
    а что за зверь такой - Mediapartners-Google ?
    вроде к гуглю относится, но непонятно каким краем :)

  • 2010-03-14 в 13:01 semenov написал:

    Про Allow вообще-то Яндекс с Гуглом сказали ))

  • 2010-03-16 в 12:52 Admin написал:

    Disallow - запретить
    Mediapartners-Google - правила для поисковика Google

  • 2010-06-04 в 13:41 АГА написал:

    Mediapartners-Google это бот адсенса

  • 2010-07-05 в 21:05 Maramax написал:

    что-то не пойму..(

    Allow: /* - это озночает полностью индексация всех страниц или какое-то ограничение?)
    Есть ли смысл его ставить?

  • 2010-07-05 в 22:22 Admin написал:

    Allow: /* - можно и не писать, т.к. по умолчанию и так всё открыто.

  • 2010-07-06 в 14:31 Maramax написал:

    Admin спасибо!))

Вы должны войти, чтобы оставить комментарий!