Как правильно открыть доступ к .css и .js файлам в robots.txt
15 04 2016 admin 2 комментарияЕщё в прошлом году гугл и яндекс недвусмысленно дали понять, что файлы стилей, скриптов и изображения лучше оставлять открытыми для индексации. Обычно я открываю папки с файлами для индексации и всё работает, но сегодня решил сделать универсальное решение.
Советы профессионалов
Чтобы не изобретать велосипед сначала поискал решение у коллег. Поиски окончились вот таким очевидным вариантом, который первым и пришёл в голову (самый распространённый):
Allow: /*.js
Allow: /*.css
Allow: /*.jpg
Allow: /*.gif
Allow: /*.png
Например, авторитетные ребята из SeoProfy.ua дают такое универсальное решение. Но то ли за год алгоритм проверки Гугл бота изменился, то ли ребята не проверили решение через гугл бота (в чём я очень сомневаюсь), но сейчас этот вариант у меня не срабатывает.
Как видим, папка /catalog всё равно приоритетнее. По здравой логике robots.txt такой вариант должен работать, но нет. Возможно, что-то изменилось в хелпе гугла?
Вот официальный пример из хелпа для закрытия файлов определённого типа из индекса.
Пробуем аналогично с Allow, на этот раз обязано работать:
А вот и нет. Может я что-то упускаю из внимания, но кажется, что какая-то нетипичная логика заложена в проверку robots.txt
Решение для гугла
После недолгих раздумий был найден рабочий универсальный вариант для всех типов файлов:
Можно и короче — без $ на конце.
Мой итоговый вариант:
Allow: /*/*.js$
Allow: /*/*.css$
Allow: /*/*.jpg$
Allow: /*/*.png$
С яндексом аналогичная проблема, но универсального решения пока не удалось найти. Если кто знает — пишите.
Не помогает, все равно пишет, что недоступен.
Не работает так тоже. Пока только папками в Allow добавляю — муторно и долго, но работает.