Тема: Все о robots.txt - Как правильно его составить  (Прочитано 19230 раз)

0 Пользователей и 1 Гость просматривают эту тему.

Оффлайн moto

  • Выше солнца
  • *****
  • Сообщений: 16977
  • Поблагодарили: 140 раз(а)
  • Уважение: +126/-0
    • Просмотр профиля
Все о robots.txt - Как правильно его составить
« Ответ #30 : 07 Июнь 2016, 15:50:09 »
Так попробуй

Disallow: /uploads*/images*$
« Последнее редактирование: 07 Июнь 2016, 15:54:48 от moto »
https://irongamers.ru - сообщество любителей компьютерных игр
 


Оффлайн jostik

  • Новичок
  • *
  • Сообщений: 15
  • Уважение: +0/-0
    • Просмотр профиля
Все о robots.txt - Как правильно его составить
« Ответ #31 : 07 Июнь 2016, 15:58:31 »
так самое интересное у меня на User-agent: * все общие правила, а на яндекс только хост..,я проверяю в янд.вебмастер закрытую ссылку на админку и пишет разрешен(((,вообще данные изменения привязаны к временному показателю или нет?все автоматом.. или некорретно..
 


Оффлайн moto

  • Выше солнца
  • *****
  • Сообщений: 16977
  • Поблагодарили: 140 раз(а)
  • Уважение: +126/-0
    • Просмотр профиля
Все о robots.txt - Как правильно его составить
« Ответ #32 : 07 Июнь 2016, 16:03:06 »
Скопируй все правила общие и для яндекса отдельно и проверь, изменения сразу должны быть, т.к. он перезагружает роботс сам
https://irongamers.ru - сообщество любителей компьютерных игр
 

Оффлайн jostik

  • Новичок
  • *
  • Сообщений: 15
  • Уважение: +0/-0
    • Просмотр профиля
Все о robots.txt - Как правильно его составить
« Ответ #33 : 07 Июнь 2016, 16:34:24 »
да,все заработало,спасибо)),а данное правило не работает Disallow: /uploads*/images*/$ и без последнего слеша тоже..
но я перестал париться и убрал данный запрет ,прислушавшись что за запрет к оформлению пессимизация))


но оно очень актуально ..надо закрыть кое какие tpl файлы но не все..
 

Оффлайн moto

  • Выше солнца
  • *****
  • Сообщений: 16977
  • Поблагодарили: 140 раз(а)
  • Уважение: +126/-0
    • Просмотр профиля
Все о robots.txt - Как правильно его составить
« Ответ #34 : 07 Июнь 2016, 16:58:38 »
Я тоже не понимаю, зачем изображения запрещать индексировать.

Если проект белый, файлы стилей и скриптов лучше открыть
« Последнее редактирование: 07 Июнь 2016, 17:01:10 от moto »
https://irongamers.ru - сообщество любителей компьютерных игр
 


Оффлайн jostik

  • Новичок
  • *
  • Сообщений: 15
  • Уважение: +0/-0
    • Просмотр профиля
Все о robots.txt - Как правильно его составить
« Ответ #35 : 07 Июнь 2016, 17:20:04 »
белый,но я закрыл только админку и lib системные
 

Оффлайн moto

  • Выше солнца
  • *****
  • Сообщений: 16977
  • Поблагодарили: 140 раз(а)
  • Уважение: +126/-0
    • Просмотр профиля
https://irongamers.ru - сообщество любителей компьютерных игр
 

Оффлайн jostik

  • Новичок
  • *
  • Сообщений: 15
  • Уважение: +0/-0
    • Просмотр профиля
Все о robots.txt - Как правильно его составить
« Ответ #37 : 07 Июнь 2016, 18:19:41 »
ссылки еще не смотрел настроил только 301 редирект...


мне кажется действенный инструмент прописать Sitemap,но я не знаю как составить карту сайту нет здесь инфо?
« Последнее редактирование: 07 Июнь 2016, 18:26:02 от jostik »
 

Оффлайн moto

  • Выше солнца
  • *****
  • Сообщений: 16977
  • Поблагодарили: 140 раз(а)
  • Уважение: +126/-0
    • Просмотр профиля
Все о robots.txt - Как правильно его составить
« Ответ #38 : 07 Июнь 2016, 18:34:10 »
Карта сайта уже особо не используется, роботы и так структуру сайта знают. Самый простой способ создать карту это средставми самой cms
https://irongamers.ru - сообщество любителей компьютерных игр
 

Оффлайн jostik

  • Новичок
  • *
  • Сообщений: 15
  • Уважение: +0/-0
    • Просмотр профиля
Все о robots.txt - Как правильно его составить
« Ответ #39 : 07 Июнь 2016, 18:43:58 »
а гроховский пишет  типа с помощью нее принуждаем робота заходить туда куда надо и везде,уже не актуально?)
 


Оффлайн moto

  • Выше солнца
  • *****
  • Сообщений: 16977
  • Поблагодарили: 140 раз(а)
  • Уважение: +126/-0
    • Просмотр профиля
Все о robots.txt - Как правильно его составить
« Ответ #40 : 07 Июнь 2016, 19:32:50 »
Неактуально, робот по ссылкам переходит, делаем внутреннюю перелинковку вот и структура сайта известна
https://irongamers.ru - сообщество любителей компьютерных игр
 

Оффлайн jostik

  • Новичок
  • *
  • Сообщений: 15
  • Уважение: +0/-0
    • Просмотр профиля
Все о robots.txt - Как правильно его составить
« Ответ #41 : 07 Июнь 2016, 19:39:55 »
полностью согласен но как это возможно если база 20000 id нереал...
 

Оффлайн moto

  • Выше солнца
  • *****
  • Сообщений: 16977
  • Поблагодарили: 140 раз(а)
  • Уважение: +126/-0
    • Просмотр профиля
Все о robots.txt - Как правильно его составить
« Ответ #42 : 07 Июнь 2016, 19:43:40 »
Как раз очень даже хорошо будет

http://knowpc.ru/seo-optimizacija/vnutrennjaja-perelinkovka-sajta/
https://irongamers.ru - сообщество любителей компьютерных игр
 

Оффлайн jostik

  • Новичок
  • *
  • Сообщений: 15
  • Уважение: +0/-0
    • Просмотр профиля
Все о robots.txt - Как правильно его составить
« Ответ #43 : 07 Июнь 2016, 19:51:39 »
спасибо за ответы,для себя я понял что здесь я буду ежедневный гость,еще предстоит освоить целую науку))
такой обратной связи не встречал негде!))) и самое главное качественной..
 

Оффлайн moto

  • Выше солнца
  • *****
  • Сообщений: 16977
  • Поблагодарили: 140 раз(а)
  • Уважение: +126/-0
    • Просмотр профиля
Все о robots.txt - Как правильно его составить
« Ответ #44 : 07 Июнь 2016, 19:56:29 »
Можно здесь вопросы спросить тематические http://knowpc.ru/seo-optimizacija/vashi-voprosy-po-prodvizheniju-sajtov/

Либо поиском пользоваться, ах да, еще надо о форуме рассказать друзьям :)
https://irongamers.ru - сообщество любителей компьютерных игр
 

 


Поиск

 
SimplePortal 2.3.6 © 2008-2014, SimplePortal