Глюки Google Webmaster Tools c картой сатйа

[strayman]

Недавно открыл для себя Google Webmaster Tool, очень удобный сервис, но вот проблема. Я добавил карту сайта в формате xml, проверил что бы там небыло ничего из запрещенного в robots.txt Но гугл все равно пишет что такие то линки из карты сайта не могут быть проиндексированны, потому как запрещены robots.txt
Я уже десять раз переправерил, нету в карте сайтов таких линков. Кто нибудь сталкивался?

 

[strayman]

Да пожалуй нужно уточнить. В качестве движка я использую Drupal 6.

Вот примеры ошибок

Для просмотра ссылки Войди или Зарегистрируйся
URL restricted by robots.txtHelp Sep 17, 2008
Для просмотра ссылки Войди или Зарегистрируйся
URL restricted by robots.txtHelp Sep 20, 2008

Естественно это запрещено в robots.txt Но в sitemap.xml таких линков точно нет, проверял.

Единственный вариант, это то что под Errors for URLs in Sitemaps он подразумевает ошибки в какой то своей локальной карте сайта, а не той которую я загрузил. Хотя у меня несколько сайтов и проблемма возникает только с одним из них. Этот глюк конечно не особо критичный, но просто интересно разобраться в чем проблемма.

 

[AntonR]

Так, а сам файл robots.txt?

 

[strayman]

Я особо не менял robots.txt, тот что идет с друпалом меня вполне устраивает

Вот содержание файла:

User-agent: *
# Crawl-delay: 10
# Directories
Disallow: /database/
Disallow: /includes/
Disallow: /misc/
Disallow: /modules/
Disallow: /sites/
Disallow: /themes/
Disallow: /scripts/
Disallow: /updates/
Disallow: /profiles/
# Files
Disallow: /xmlrpc.php
Disallow: /cron.php
Disallow: /update.php
Disallow: /install.php
Disallow: /INSTALL.txt
Disallow: /INSTALL.mysql.txt
Disallow: /INSTALL.pgsql.txt
Disallow: /CHANGELOG.txt
Disallow: /MAINTAINERS.txt
Disallow: /LICENSE.txt
Disallow: /UPGRADE.txt
# Paths (clean URLs)
Disallow: /admin/
Disallow: /comment/reply/
Disallow: /contact/
Disallow: /logout/
Disallow: /node/add/
Disallow: /search/
Disallow: /user/register/
Disallow: /user/password/
Disallow: /user/login/
# Paths (no clean URLs)
Disallow: /?q=admin/
Disallow: /?q=comment/reply/
Disallow: /?q=contact/
Disallow: /?q=logout/
Disallow: /?q=node/add/
Disallow: /?q=search/
Disallow: /?q=user/password/
Disallow: /?q=user/register/
Disallow: /?q=user/login/
Disallow: /node/add
Disallow: /admin
Disallow: /?q=node

Да и еще функция clean URLs включена

 

[joefast]

...такие то линки из карты сайта не могут быть проиндексированны, потому как запрещены robots.txt...

Там точно присутствуют слова "из карты сайта"? Может, он просто пишет, что не может проиндексировать такие-то страницы, потому что они запрещены в роботс.тхт?

 

[tdimons]

А у меня карта сайта только вред принесла!

Замутил на днях блог один. Прикупил домен свежий. Через 4 дня вылез в Гугль (35 страниц сразу проиндексировались!). Через 3 дня думаю прикручу карту сайта на блог (чтобы остальные страниц 20 добить в Гугль... ) Ну сделал все как положено! На утро все страницы в ауте! Одна заглавная висит! Пипец! Вот Вам и плюсы этой карты! Тут же **х убил ее! Дописал ручками еще статейку и опять гуглю скормил! Ну вот только так уже назад 6 страниц вытянул (через 2 дня!)
Что бы я еще раз на такие грабли наступил

 

[joefast]

Как-то уж очень быстро у вас все получилось (с исчезновение-возвращением). Может дело не в карте? Да и как карта ухучшит качество сайта? Разве что в ней были страницы с неуникальным/дублированным контентом...

 

[tdimons]

Как-то уж очень быстро у вас все получилось (с исчезновение-возвращением). Может дело не в карте? Да и как карта ухучшит качество сайта? Разве что в ней были страницы с неуникальным/дублированным контентом...

Ну не знаю. Но так экспериментировать мне больше не хочется. Ну понятно что контент перелопаченый. Я столько страниц и за неделю не напишу . Но ведь сейчас уже половина страниц вернулась в индекс гугля! Дауна сервера небыло! Я все логи просмотрел. Вот и пойми этого хитрого гугля...
Вообщем я считаю что и без карты можно легко в гугль попасть. Разница может быть в 2 дня.

 

[strayman]

Там точно присутствуют слова "из карты сайта"? Может, он просто пишет, что не может проиндексировать такие-то страницы, потому что они запрещены в роботс.тхт?

Web crawl errors в разделе Errors for URLs in Sitemaps, если мне не изменяет мой английский то ошибки именно в карте сайта. Кстати ошибок стало больше, с 25 до 77. И страницы которые уже были в индесе стали выподать за две недели из 600 осталось меньше 500. Я чесно говоря не понимаю, если попал под фильтр, то вроде более драмотичные последствия все должно иметь