Как правильно открыть доступ к .css и .js файлам в robots.txt

15 04 2016      admin       1 комментарий

Ещё в прошлом году гугл и яндекс недвусмысленно дали понять, что файлы стилей, скриптов и изображения лучше оставлять открытыми для индексации. Обычно я открываю папки с файлами для индексации и всё работает, но сегодня решил сделать универсальное решение.

Советы профессионалов

Чтобы не изобретать велосипед сначала поискал решение у коллег. Поиски окончились вот таким очевидным вариантом, который первым и пришёл в голову (самый распространённый):

Allow: /*.js
Allow: /*.css
Allow: /*.jpg
Allow: /*.gif
Allow: /*.png


Например, авторитетные ребята из SeoProfy.ua дают такое универсальное решение. Но то ли за год алгоритм проверки Гугл бота изменился, то ли ребята не проверили решение через гугл бота (в чём я очень сомневаюсь), но сейчас этот вариант у меня не срабатывает.

Как видим, папка /catalog всё равно приоритетнее. По здравой логике robots.txt такой вариант должен работать, но нет. Возможно, что-то изменилось в хелпе гугла?

Вот официальный пример из хелпа для закрытия файлов определённого типа из индекса.

Пробуем аналогично с Allow, на этот раз обязано работать:

А вот и нет. Может я что-то упускаю из внимания, но кажется, что какая-то нетипичная логика заложена в проверку robots.txt

Решение для гугла

После недолгих раздумий был найден рабочий универсальный вариант для всех типов файлов:

Можно и короче — без $ на конце.

Мой итоговый вариант:

Allow: /*/*.js$
Allow: /*/*.css$
Allow: /*/*.jpg$
Allow: /*/*.png$

С яндексом аналогичная проблема, но универсального решения пока не удалось найти. Если кто знает — пишите.