Robots.txt: как создать файл robots txt для сайта. Правильные закрытие страниц от индексации

Поділитися
Вставка
  • Опубліковано 29 січ 2025

КОМЕНТАРІ • 20

  • @ОлегБуряк-ч8б
    @ОлегБуряк-ч8б 3 роки тому +1

    Отличные ролики👍 Сегментация задач по сео! Ну и как вишня на тортике накрутка пф😂😂😂 внимательно следим за этой историей👍

    • @aozhgibesov
      @aozhgibesov  3 роки тому

      Рад обратной связи. Не мешало бы ещё подписаться на мой канал

  • @evgeniyvdovin7177
    @evgeniyvdovin7177 3 роки тому +3

    Интересна еще такая тема: как не передавать внутренний PR таким страница как "контакты", "доставка" и т.д.

    • @aozhgibesov
      @aozhgibesov  3 роки тому

      На вебинаре с перелинковкой вроде ж обсудили

  • @bazabon
    @bazabon 3 роки тому +1

    Давно так никто не делает, одну для яндекса, другую для фигандекса

    • @evgeniyvdovin7177
      @evgeniyvdovin7177 3 роки тому

      можешь не делать, ничего страшного в этом нет.

    • @bazabon
      @bazabon 3 роки тому

      @@evgeniyvdovin7177 есть статья у Yoast SEO, где они советуют вообще ничего в роботсе не писать, и аргументированно это доказывают со всеми плюсами, но это про гугл

    • @evgeniyvdovin7177
      @evgeniyvdovin7177 3 роки тому

      @@bazabon смотря какой сайт. на статичном самописном сайте действительно не нужен, можно обойтись тегами.

    • @aozhgibesov
      @aozhgibesov  3 роки тому

      А если мы посмотрим топов SEO и там так делают. То что?

    • @bazabon
      @bazabon 3 роки тому

      @@aozhgibesov то что топы с лохматых годов

  • @alexeyruban1962
    @alexeyruban1962 3 роки тому

    Есть ли аналог spider'а на облаке или MacOS?

    • @aozhgibesov
      @aozhgibesov  3 роки тому

      Не знаю, у меня винда, не искал никогда другого решения. Спроси у техподдержки нетпика

  • @ВладСветоносец
    @ВладСветоносец 3 роки тому +1

    Так каноникл - это рекомендация, а не правило. Тем более на WP у всех одни и те же дыры. Можно шаблонный robots показать ребятам и заставить их Clearfy ставить. А на запрет tag и author в роботсе Гугл будет ругаться 100%. Их лучше через мету закрывать, если есть такая нужда. Короче говоря, снова путаница, как в 95% статей на эту тему)

    • @aozhgibesov
      @aozhgibesov  3 роки тому

      Приходите к нам на канал, расскажите, как надо с вашей точки зрения

  • @СталькомплектЗавод

    Где мой комент ?

  • @kirillbelousov787
    @kirillbelousov787 3 роки тому

    Тема не раскрыта.
    Чувствуется поверхностное понимание проблемы управления процессом краулинга/индексирования, к которой относятся robots.txt, noindex, nofollow, редирект на странице, редирект в headers, 301, 302 редирект. Когда и для чего применять, а когда точно не применять.
    Закрывать от индексации страницу с тегом rel=canonical на каноничную страницу? 🤦‍♂️
    Не озвучены возможные подводные камни и последствия непродуманного применения noindex, nofollow.

    • @aozhgibesov
      @aozhgibesov  3 роки тому

      Приходите к нам на канал. Расскажите, как нужно

  • @evgeniyvdovin7177
    @evgeniyvdovin7177 3 роки тому

    тоже самое в лягушке делаю

    • @aozhgibesov
      @aozhgibesov  3 роки тому +1

      Рад за вас. А мне ближе нетпик