Robots.txt. Для чего он нужен и как им пользоваться?
Вставка
- Опубліковано 5 лют 2025
- ✅ Бесплатный мастер-класс по SEO seoakadem.com/...
✅ Двухмесячный курс «Поисковик 2.0» seoakadem.com/3...
✅ Бесплатный аудит вашего сайта: seoakadem.com/...
________________________________________________________________
📌 Подписывайтесь на наш канал:
/ @seoakademiya1
📌 Мы в социальных сетях. Присоединяйтесь, чтобы узнавать обо всем первым:
/ seoakademiya
/ _pavel_shulga
seoakad...
________________________________________________________________
🔎 Наш сайт: seo-akademiya.com
🔎 Наш телеграм канал: t.me/seoakadem...
________________________________________________________________
Следите за нашими новыми видео!
#SEO #АкадемияSEO #ПавелШульга
Примите участие в бесплатном мастер-классе по SEO seoakadem.com/3adT0Ie
Видео как всегда годное и главное практичное! Без лишних слов, всё чётко, понятно и по делу!
Тяжело мне далась эта тема в свое время, где же вы раньше были))) всё четко и по делу. Спасибо!
Спасибо ,вы очень грамотно и без лишней информации объяснили , даже я всё поняла с первого раза
Супер! Пользовалась стандартным robots.txt от wordpress а теперь все можно делать самостоятельно после такого доступного объяснения!
Стандартные не всегда означают, что плохие. Но перепроверять точно нужно.
Спасибо!! Очень подробно🙏🏼
Мне не хватило информации для чайников: вашей рекомендации какие страницы лучше закрыть, а какие оставить.
Спасибо, Павел! Поставил лайк №248. Жду следующего видео.
Самое четко видео , коротко и ясно
Самое годное видео о ротот.тхт. Спасибо огромное !
крутая вещь,ранее никогда и не слышала о таком!Нужно обязательно попробовать!
Отличное видео,Robots txt.определенно необходим,и вы сумели полностью это доказать
интересно, я даже и не знал что это, а как пользоваться тем более .спасибо за науку
Всё крут, спасибо!
самое главное не закрыть вообще всё))), а так то спасибо я даже не знала что есть такая возможность
Павел, спасибо за полезную информацию
Спасибо! Sitamap порадовал ))
Спасибо! Буду пробовать!
Супер подсказка .Спасибо
20 лайков уже есть. Видос по сути и полезный)
Если страницы уже проиндексировались, а вы все-равно хотите их закрыть, нельзя их добавлять в роботс.тхт - будут висеть в индексе, а в сниппете будет писать о том, что доступ ограничен файлом роботс))
и что делать делать тогда? если есть страниц, которые хочется убрать и их много из индексации? постранично делать невозможно, но вы говорите в robots.txt их уже добавлять нельзя?
@@dreamersssdreams2129 именно так, если хотите убрать страницы из индекса, на требуемых страницах необходимо ставить тег meta robots c переменными noindex, nofollow
Подскажите, пожалуйста, так нужно ставить в самом начале Allow: / если потом идут несколько запретов на какие-то отдельные директории. Или же достаточно указать запреты и все, что означает индексацию всего остального. Вы лишь упомянули в видео про Allow:/ в случае одностраничного сайта. Хотя и там не очень понятен смысл, если нет запретов. Спасибо.
Robots txt рулит!.. ;)
Вопрос. в User-agent Googlebot и YandexBot - "Bot" большими и маленькими буквами для разных поисковиков. Это так и должно или опечатка? Или имено так названы боты этих поисковых систем? Есть разница если Googlebot или GoogleBot. 1 из вариантов не будет работать?
Регистр имеет значение в директивах, не так важен при обращении к боту, по крайней мере нам об этом не сообщают официально, вот список всех ботов Google, тут они указаны так как их указывает Google support.google.com/webmasters/answer/1061943
Ну это и так все понятно. А есть еще глубже? То есть что какие то там файлы CSS должны быть открыты и т.д.?
06:56 кажется опечатка, не Sitamap а Sitemap😐
Классно! Спасибо!
чтобы заработало мета-роботс надо открывать доступ к эти страницам в роботс.тхт?
можно ли продвигать сайт на шаблоне ?
5+....Паша-Мооозг
Здравствуйте, вы не могли л б помочь мне, недавно создал файл робот тхт, добавил директивы Allow: /*js/.js и после этого не работает на сайте слайд шоу, и другие картинки не открывается, я хочу просто отменить это действие, но ни знаю как. Помогите плииз
указанным Вами способом файл не открывается, но в корневой папке есть. сайт на WPress. это нормально или он находится не там где надо ? или другая\ проблема?
Подскажите пожалуйста, что значит команда в файле роботс.тхт вида Disallow: *page
Спасибо за видео
Уточните пожалуйста в каком формате сохранять файл: Robots.txt
немного не в тему, но все же...
Павел, почему вы говорите про важность того, чего сами не используете на своих проектах...?
к примеру, в одном из своих видео вы говорили что на сайте должен быть фильтр товаров, но этого почему то нет на вашем сайте glasses...тоже самое - стационарный телефон
Пи$%еть не мешки ворочать.
.
.
.
.
Ну конечно это стёб, но он же курсы по продвижению продаёт и говорит все как должно быть а на сайте и того хватает что сейчас есть.
Спасибо за вопрос. Структура, которую мы сделали и заточенные страницы под низкочастотные запросы дают нам возможность не пользоваться фильтром. Тем более для нашей тематики это не всегда нужно. У нас много сайтов и у нас есть возможность тестировать. К примеру, тут фильтр есть o4ki.ua и он не увеличил поведенческие факторы)) Все зависит от тематики и типа сайта.
Стационарный телефон нужен опять таки в зависимости от тематики. К примеру, юристам он нужен 100%, а в нашей молодежной тематике достаточно просто 3 телефона.
@@2013kanal Вы правы) Своим комментарием этот как раз подтверждаете. Может, поможете нам с мешками? А то мы устали их уже носить.
Спасибо за информацию! Еще подскажите как теперь правильно удалить из индекса проиндексированные страницы пагинации? nanocode.com.ua/face/page/2/ - пишу в robots.txt User-agent: * Disallow: */page/ - но по факту в GSearch Console такие страницы числятся как "в индексе" и в поиске их видно тоже. Спасибо!
И для Яндекса и для Googlebot и для User-agent я в robots.txt написала данную строчку - Disallow: */attachment/*, в google search console они терзают меня уже почти год требованием дать доступ к данным файлам, пишут - Проблемы категории "Покрытие" на сайте **pearl-story.ru/** ( сейчас уже 676 ошибок), советуют устранить ошибки, то есть я должна убрать данную директиву - Disallow: */attachment/* (запрещаем страницы вложений). Может оставить так - Disallow: */attachment/ ( убрать*)
Я активно использую медиафайлы, на сайте достаточно галерей... Что же делать?
Расскажите пожалуйста, как проверить файл robots.txt. Раньше это можно было сделать в Гугл Серч Консоле. Теперь такой возможности нет, т.к. в новой версии этот инструмент убрали. Так как проверить?
Можно в Яндекс Вебмастере
Именно об этом и есть видео) Посмотрите нет ли лишних страниц в поиске у вас. Если нету - значит все ок настроено.
@@Seoakademiya1 Видно я не совсем корректно задала вопрос. Вот например у меня в Гугл Серче несколько страниц с ошибками и написано Доступ к отправленному URL заблокирован в файле robots.txt. Раньше там же существовал инструмент проверки robots.txt, где можно было выяснить, что именно блокирует и затем исправить ошибку. Сейчас такие инструменты проверки файла есть? Про проверку через поисковую строку поисковика я услышала из ролика.
@@julia_moor Но там просто покажет есть ошибки в составлении самого файла или нет. Не более того.
@@Tatyana2404 я может не так вас понимаю, но в целом там в инструментах есть раздел "анализ robot.txt", где можно самой глазками просмотреть, что закрыто в Disallow, и при умении уже править, но не забыть обновить карту сайта
Доброго времени. Нет ссылки в верхнем правом углу.
Здравствуйте! В подсказке сверху есть ссылочка на видео о sitemap :)
спасибо
Не знал, было интересно.
главное зеркало тоже лучше указать
Ошибка в написании Sitamap: а должно быть Sitemap:
я тоже увидел ))
Жаль, что вы не выкладываете свои вебинары в свободный доступ. А так смотрю и применяю у себя на сайте. Пользуясь информацией, размещенной на нашем ресурсе, вы можете быть уверены, что мы поможем вам с выбором сервисного центра по ремонту. Ознакомиться с каталогом вы можете у нас на сайте allmaster.com.ua/companys
Я хочу просто отменить это действие, чтобы картинки и слайд шоу заново работали,
Спасибо за инфу, еще вариант воспользоваться модулем здесь neoseo.com.ua/generator-robotstxt-dlya-opencart-3-0
Тем более у них сейчас скидки!
Я все равно не понимаю зачем прятать информацию от поисковой системы?
В него нужно закрывать "бесполезные страницы" с точки зрения поисковых роботов, иначе они могут негативно сказаться на индексации. Ну например точки входов платных каналов, тк они формируют дубли, или результаты работы функционалов.
Для сайта и пользователя это ок, а вот для ПР некачественный контент.
5+