Сайт начал резко падать

[Jokerrcs]

Здравствуйте. Откуда могут браться страницы такого вида "cdn-cgi/l/chk_jschl?pass=1484292635.817-+fVjCmu4ii" Для просмотра ссылки Войди или Зарегистрируйся отображаются в панели управления Яндекс и нужно ли с ними что-то делать? Сайт начал резко падать в поиске, пытаюсь найти причину.

 

[MaxiSoft]

Могу сказать что скорее всего подключили cloudflare для DDOS защиты и тут начинается самое интересное что поисковый бот яндекса начинает индексировать ваш сайт но CF его направляет на страницу для определения бот или нет, так как большое кол-во запросов, бот ответить не может и получаем вот такую петрушку. CF говорит что не режет ботов но все это вранье и кол-во таких случаев растет и не зависит от системы на которой работает сайт.

По этой причине пришлось уйти от CF на ddos-guard

 

[Risenab]

1. Забей в robots.txt запрет на индексацию cdn-cgi. Ибо ссылки данного вида можно отнести к дублям, которые негативно влияют на сайт.
2. Есть вероятность возникновения такой дряни, если ты используешь некачественный CDN (до безобразия дешевый), который режет DDOS, или при использовании HTTPS при включенном на хосте CGI (но это уже нужно бомбить хостера, ибо такие проблемы еще в 7 году пофиксили).

 

[Jokerrcs]

Могу сказать что скорее всего подключили cloudflare для DDOS защиты и тут начинается самое интересное что поисковый бот яндекса начинает индексировать ваш сайт но CF его направляет на страницу для определения бот или нет, так как большое кол-во запросов, бот ответить не может и получаем вот такую петрушку. CF говорит что не режет ботов но все это вранье и кол-во таких случаев растет и не зависит от системы на которой работает сайт.

По этой причине пришлось уйти от CF на ddos-guard

1. Забей в robots.txt запрет на индексацию cdn-cgi. Ибо ссылки данного вида можно отнести к дублям, которые негативно влияют на сайт.
2. Есть вероятность возникновения такой дряни, если ты используешь некачественный CDN (до безобразия дешевый), который режет DDOS, или при использовании HTTPS при включенном на хосте CGI (но это уже нужно бомбить хостера, ибо такие проблемы еще в 7 году пофиксили).

На самом деле так и есть, и я уже как пару дней назад перенаправил ns сервера на сторону своего хостинга, до этого использовал cloudflare. По идее теперь ничего прописывать не нужно и сайт в поиске сможет вернуть свои позиции?

 

[Risenab]

На самом деле так и есть, и я уже как пару дней назад перенаправил ns сервера на сторону своего хостинга, до этого использовал cloudflare. По идее теперь ничего прописывать не нужно?

Если вернул все NS в начальное состояние и забил в noindex те ссылки, то все ок должно быть, главное подождать. Если будут появляться новые, тогда апай тему.

 

[Jokerrcs]

и забил в noindex те ссылки, то все ок должно быть, главное подождать.

Можете подробнее написать, как это лучше сделать? Там очень много таких ссылок

 

[Risenab]

Можете подробнее написать, как это лучше сделать? Там очень много таких ссылок

В Robots.txt впиши строчку:

Disallow: /cnd-cgi/

Теперь все ссылки, содержащие "cnd-cgi" будут запрещены для обхода ботами ПС. Соответственно, не будет и 404 ссылок. А то, что уже было проверено, со временем вылетит из поиска. По сути дела, с данным действием можно и на CF вернуться. Но я бы не стал . Там за нормальный CND нужно платить.

 

[makc.plan]

Апну старую тему и дам совет более действенный (касается в целом удаления ненужных страниц из индекса ПС)
1) Настройте 410 ответ сервера на страницы которые необходимо удалить
2) На страницах 404 и 410 пропишите в head тег meta robots с содержимым noindex nofollow
3) отправьте создайте страницу со списком ссылок на данные страницы и отправьте ее на переобход в ПС через вебмастера
4) немного подождите - 1-2 дня
5) Закройте данные страницы от индексации
6) удалите страницу со списком ссылок.