Пишу новый пост, чтобы тема обновилась и люди пришли помочь.
Нашел откуда растут ноги на эту проблему.
Как и обсуждалось прописал в robots.txt - Disallow: //*
Обновил все до 10 версии еще в середине августа.
Сегодня захожу в панель вебмастера Гугла и смотрю файл sitemap.xml и вижу, что висит куча предупреждений о том что ссылки из sitemap.xml запрещены к индексации в роботс.
Полез в сам sitemap.xml и все ссылки на посты имеют двойной слеш т.е. site.ru//3435-hews.html
На всех стоит dle 10 версии. Причем такая проблема не у одного сайта, а на всех, у которых включено чпу с категорией site.ru/category/3435-hews.html
т.e. ссылки имеют вид site.ru//3435-hews.html что почему то сама категория теряется должно быть site.ru/category/3435-hews.html
Сама карта делается по крону cron.php?cronmode=sitemap каждые 3 часа. Сам файл cron.php тоже переименован на свой.
Сайты находятся на разных хостингах. Пара на своем сервере и пара на бегет.ру и еще пара на другом аккаунте на бегет.ру
Думал с файлами что не так. Проверил файл cron.php с тем что у меня. Все одинаково, есдинственно стоит $allow_cron = 1;
Потом проверил файл engine\ajax\sitemap.php он также идентичен с тем что в дистрибутиве.
Если делать sitemap.xml из админки, то делает правильно. Если делать по крону, то через раз почему то, то правильно, то нет.
Кто что подскажет?