Меню
logotype
image1 image1 image1

Как создать robots.txt для сайта

Как прописать robots.txt и установить на сайт.

Всем привет. Сегодня поговорим о том что такое роботс.тхт для чего он нужен и как его сделать. Пост будет очень полезен новичкам которые только создали свой сайт. robots txtRobots.txt -это текстовый файл который управляет индексированием вашего сайт. Он сообщает поисковым роботам, что можно индексировать, а что нет. И в виду большой конкуренции среди сайтов, особенно сайтов заработка. Вам нужно чтоб на вашем сайте все было идеально. Поэтому роботс обязательно нужен.  Для каждого поисковика можно прописать отдельный robots.txt. Но  не вижу смысла. Основной трафик идет с Яши и Гугл. Как начинается файл роботс.тхт для всех поисковых систем с директивы:

User-agent: Если вы хотите обратится к определенному роботу то пишем user-agent: yandex. Или имя робота к которому хотите обратиться. Имена некоторых роботов смотрите ниже:

name robots min

После того как вы обратились к роботу директива User-agent: Нужно сообщить ему что  нельзя индексировать. Это делается с помощью директивы Disallow: Если вы хотите чтоб ваш сайт не индексировался полностью то после директивы Disallow: ставим / и после этого символа ничего не пишем. Можно указать файлы которые вам не нужно показывать роботу. А так пример правильного robots.txt

robots min 

Создать роботс.тхт можно текстовом редакторе. Создав его,переходим на хостинг или ваш сервер заходим в файловый менеджер и в корневой папке сайта создаем файл с именем robots.txt, затем переносим ваш готовый файл роботса,сохраняем. Все робот при обходе поймет что можно индексировать, а что нет. Если вы хотите прописать один робост для всех поисковых ботов. То ваш robots.txt должен начинаться с директив:

User-Agent: * (со звездочки)

Disallow: тут уже файлы которые не надо индексировать.  Да, еще после создания robots.txt проверьте его в вебмастере яндекса.

 

 

 

Добавить комментарий


Защитный код
Обновить

Яндекс.Метрика

Copyright by © 2015-2018 Moneysochi.ru