Файл robots txt wordpress

файл robots txt wordpress

КАК НАПИСАТЬ ФАЙЛ ROBOTS TXT WORDPRESSRobots.txt одна из самых необходимых настроек, во внутренней оптимизации блога.
Зачем нужен файла robots.txt?
Robots Exclusion Protocol /файл robots.txt — протокол исключения / необходим для указания поисковым системам, какие страницы вашего ресурса индексировать не надо.
Как работает robots.txt?
Поисковые системы заходя на ваш сайт, проверяют существование файл robots.txt  адрес которого такой: http://адрес вашего сайта/robots.txt.

Создайте текстовый файл, сохранить его под именем robots и поместите в корневую директорию вашего блога.

Обозначения файла Robots.txt:

User-agent:*
Фраза означает каких роботов касаются последующие инструкции.
User-agent: Yandex 
Только для робота Yandex

Disallow:
фраза означает, что вы не хотите индексировать.

Примеры:

User-agent: *
Disallow: /
Запретили всем роботам индексировать весь сайт.

User-agent:*
Disallow:
Разрешили всем роботам индексировать весь сайт.

User-agent:*
Disallow: /images/
Запретили индексировать какой-либо каталог (например, папку images)в конце слеш /

User-agent:*
Disallow: /exz.html
Запретили индексировать отдельный файл (например, exz.html) без слеша

User-agent:*
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /example/
Запретили несколько каталогов и несколько файлов, для каждого пишем отдельную инструкцию.

Если вы хотите запретить все файлы, кроме одного тогда вынесите этот файл из этого каталога, а потом запретите каталог к индексации.

Sitemap
Укажите поисковым системам наличие и адрес карты вашего сайта  /sitemap/ в формате XML.
Sitemap: http://адрес вашего сайта/sitemap.xml

 

Как написать файла robots.txt

Предлагаю вашему вниманию уже готовый вариант файла robots.txt

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: /*/?replytocom=*
Disallow: /*/?replytocom
Disallow: /*?replytocom=*
Disallow: /*?replytocom
Disallow: */comment-page-*
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-content/cache
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Disallow: /y/
Disallow: /files/
Disallow: /orphus/
Disallow: /link/
Disallow: /daos/
Disallow: /op/
Disallow: /best/
Disallow: /friends/
Disallow: /i/
Disallow: /icons/
Disallow: /marafon/
Disallow: /tur/

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: /*/?replytocom=*
Disallow: /*/?replytocom
Disallow: /*?replytocom=*
Disallow: /*?replytocom
Disallow: */comment-page-*
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-content/cache
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Disallow: /y/
Disallow: /files/
Disallow: /orphus/
Disallow: /link/
Disallow: /daos/
Disallow: /op/
Disallow: /best/
Disallow: /friends/
Disallow: /i/
Disallow: /icons/
Disallow: /marafon/
Disallow: /tur/
Host: адрес вашего сайта

Sitemap: http://адрес вашего сайта/sitemap.xml
Sitemap: http://адрес вашего сайта/sitemap.xml.gz

файл robots txt wordpress

КАК СДЕЛАТЬ КАРТУ САЙТА НА WORDPRESS

КАК УСТАНОВИТЬ КАПЧУ НА WORDPRESS