Открыть меню

Как правильно открыть доступ к .css и .js файлам в robots.txt

Ещё в прошлом году гугл и яндекс недвусмысленно дали понять, что файлы стилей, скриптов и изображения лучше оставлять открытыми для индексации. Обычно я открываю папки с файлами для индексации и всё работает, но сегодня решил сделать универсальное решение.

Советы профессионалов

Чтобы не изобретать велосипед сначала поискал решение у коллег. Поиски окончились вот таким очевидным вариантом, который первым и пришёл в голову (самый распространённый):

Allow: /*.js
Allow: /*.css
Allow: /*.jpg
Allow: /*.gif
Allow: /*.png

Например, авторитетные ребята из SeoProfy.ua дают такое универсальное решение. Но то ли за год алгоритм проверки Гугл бота изменился, то ли ребята не проверили решение через гугл бота (в чём я очень сомневаюсь), но сейчас этот вариант у меня не срабатывает.

google-failКак видим, папка /catalog всё равно приоритетнее. По здравой логике robots.txt такой вариант должен работать, но нет. Возможно, что-то изменилось в хелпе гугла?

Вот официальный пример из хелпа для закрытия файлов определённого типа из индекса.

disallow-google

Пробуем аналогично с Allow, на этот раз обязано работать:

google-fail-2

А вот и нет. Может я что-то упускаю из внимания, но кажется, что какая-то нетипичная логика заложена в проверку robots.txt

Решение для гугла

После недолгих раздумий был найден рабочий универсальный вариант для всех типов файлов:

google-fail-issue

Можно и короче — без $ на конце.

Мой итоговый вариант:

Allow: /*/*.js$
Allow: /*/*.css$
Allow: /*/*.jpg$
Allow: /*/*.png$

С яндексом аналогичная проблема, но универсального решения пока не удалось найти. Если кто знает — пишите.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

© 2017 Продвижение сайтов в Санкт-Петербурге · Копирование материалов сайта без разрешения запрещено