Кеш-warmer’ы

Создавайте, запускайте и настраивайте вебwarmer’ы, которые обходят ваши страницы и держат их в кеше.

11 min read

кеш warmer сканирует ваш сайт через HTTP и сохраняет его страницы в кеше. На этой странице рассказывается о его создании, запуске и чтении результатов. Подробное объяснение каждого параметра формы см. в разделе Warmer настройки.

Warmers живут под Аккаунт → Warmers.

Прежде чем начать

Вам нужен подтвержденный hostname. Входные URL-адреса в непроверенном домене отклоняются. См. Hostname проверка.

Создание warmer

Нажмите Добавить warmer. Форма сгруппирована по разделам, и действительно необходимы только два поля: имя и один URL-адрес входа.

  1. 1

    Оставьте Активный выключенным во время настройки.

    Включите его намеренно, как только вы будете довольны настройками. Неактивный warmer никогда не запускается и ничего вам не стоит.

  2. 2

    Назовите это для себя в будущем

    «Основной сайт», «Магазин — категории», «Документация». Имя отображается только вам и вашим товарищам по команде.

  3. 3

    Добавить URL-адреса записей

    Полные абсолютные URL-адреса, включая https://. Ваша домашняя страница — это обычный выбор.

  4. 4

    Включите параметр Включать файлы Sitemap, если он доступен.

    Самый ценный вариант для большинства сайтов. В вашей CMS уже есть список страниц, которые стоит прогреть.

  5. 5

    Установите исключения, если они вам нужны

    Не допускайте попадания в очередь путей администратора, корзин и бесконечных URL-адресов фильтров.

  6. 6

    Здравомыслие – проверьте пределы

    Глубина и максимальное количество URL-адресов в минуту определяют, насколько велик и агрессивен этот warmer. Значения по умолчанию подходят для большинства сайтов.

  7. 7

    Сохранить, затем активировать

    Создайте warmer, запустите его один раз вручную, проверьте результаты и только затем оставьте его работать по расписанию.

Выбор URL-адресов входа

URL-адрес входа — это место, с которого начинается прогон. Большинству сайтов нужна только одна — домашняя страница — потому что карты сайта и обнаружение ссылок находят все остальное.

Добавьте дополнительные URL-адреса записей, если раздел недоступен в пределах вашей глубины с главной страницы:

  • Целевая страница кампании, на которую есть ссылки только из рекламы.
  • Глубокая категория, которая находится в четырех кликах от главной страницы.
  • Второй подтвержденный субдомен, например blog.example.com.
  • Индекс карты сайта, если вы предпочитаете указывать непосредственно на него.

Сопоставьте URL-адрес, который фактически обслуживает ваш сайт.

Если https://example.com перенаправляется на https://www.example.com, используйте форму www. В противном случае каждый запрос будет тратить свое время на перенаправление вместо того, чтобы нагревать реальную страницу, и ваши результаты будут полны 301 строк.

Использование карт сайта

Карты сайта — это наиболее надежный способ полностью охватить сайт, поскольку ваша CMS или плагин SEO автоматически обновляют их. Когда новая страница публикуется, она появляется в карте сайта, и следующий «теплый» запуск подхватывает ее, ничего не трогая.

Включите параметр Включать файлы Sitemap и при необходимости добавьте сам URL-адрес карты сайта в качестве URL-адреса записи:

text
https://www.example.com/sitemap.xml
https://www.example.com/sitemap_index.xml
https://www.example.com/post-sitemap.xml

Соблюдаются индексы карты сайта, которые указывают на другие карты сайта. Это имеет значение для крупных сайтов WordPress и WooCommerce, где индекс обычно разделяется на отдельные карты сайта, страницы и продукты.

Tip

Если включены карты сайта, вы обычно можете *уменьшить* настройку глубины. В карте сайта напрямую перечислены глубокие страницы, поэтому нет необходимости сканировать их по ссылке.

Исключение URL-адресов

Некоторые URL-адреса никогда не следует нагревать. Добавьте их в Исключенные URL:

ИсключитьПочему
/cart, /checkout, /my-accountПерсонализировано для каждого посетителя. Греть их бессмысленно и рискует кешировать сессию одного человека.
/wp-admin, /admin, /loginАдминистративные области. Никогда не кешируются, и их разогрев — это пустая трата запросов.
Фильтрация и сортировка строк запросаФасетные URL-адреса, такие как ?color=red&sort=price, бесконечно объединяются и заполнят вашу очередь.
/searchБесконечное пространство URL. Страницы результатов поиска редко стоит кешировать.
Фиды и конечные точки, которые вы не обслуживаете для людейОбычно не стоит запрошенного бюджета.

В планах, которые его включают, параметр Использовать регулярное выражение позволяет использовать исключения в виде шаблонов, а не буквальных строк, что гораздо более практично для семейств строк запроса.

Запуск warmer

Если Активно, warmer запускает новый запуск каждые интервал автозапуска секунд. Вы также можете сразу запустить его из списка warmers, что вам нужно при тестировании изменения конфигурации.

Запуски также могут быть инициированы извне — после развертывания или в рамках очистки CDN. См. Триггеры развертывания и Интеграция CDN.

Чтение результатов

Откройте warmer, чтобы увидеть, что он сделал. Сводные цифры вверху охватывают весь тираж:

РисунокЗначение
Всего URLСколько URL-адресов затронуло запуск.
Полный успехСколько вернуло успешный код состояния.
Всего не удалосьСколько ошибок. Небольшое количество — это нормально для большого сайта; многое означает, что что-то не так.
Средняя первая загрузкаСреднее время холодного ответа, в секундах.
Средняя вторая загрузкаСреднее время теплого ответа. Должно быть существенно ниже.
Общая продолжительностьНастенные часы пора бежать.
Скорость (страниц/минуту)Фактическая достигнутая пропускная способность может быть ниже настроенного вами потолка.

Ниже находится строка для каждого URL-адреса, показывающая hostname, URL-адрес, глубину, код состояния, пользовательский агент, тип контента, длину контента, время последнего сканирования и оба времени загрузки.

Как выглядит добро

  • Коды состояния в большинстве случаев 200.
  • Время второй загрузки составляет часть времени первой загрузки.
  • Количество URL-адресов примерно соответствует ожидаемому количеству страниц.
  • Неудачи редки и объяснимы.

Что исследовать

СимптомВероятная причина
Много 403 или 429Фильтр ботов, WAF или ограничитель скорости блокируют сканер. Снизьте предел скорости и рассмотрите возможность внесения в белый список.
Много 301 / 302Ваши URL-адреса входа или внутренние ссылки указывают на адреса перенаправления.
Много 404Неработающие внутренние ссылки или исключения, которые не распознают неправильное семейство URL-адресов.
5xx ошибкиВаше происхождение борется. Немедленно снизьте максимальное количество URL-адресов в минуту.
Оба времени загрузки одинаково медленныеСтраницы вообще не кешируются. Это проблема конфигурации кеширования, а не потепления.
Гораздо меньше URL-адресов, чем ожидалосьСлишком низкая глубина, файлы Sitemap отключены или слишком широкие исключения.
Гораздо больше URL-адресов, чем ожидалосьГлубина слишком велика или обнаружены URL-адреса фасетной строки запроса. Добавьте исключения.

Сколько warmers у вас должно быть?

Обычной отправной точкой является один warmer на сайт. Разделите на несколько частей, если разные части вашего сайта заслуживают совершенно разного подхода:

  • По приоритету — маленький, часто встречающийся символ warmer для главной страницы и верхних целевых страниц, а также более крупный и медленный для длинного хвоста.
  • По разделам — магазин warmer с жёсткими исключениями и отдельный блог warmer с картами сайта и более глубоким сканированием.
  • По hostname — отдельные поддомены обычно понятнее, чем отдельные warmers.
  • По клиенту – агентствам следует использовать одно рабочее пространство для каждого клиента, а не смешивать все вместе.

Высокочастотный/низкочастотный шаблон

Очень эффективная настройка: один warmer, охватывающий десять наиболее важных URL-адресов на глубине 0, запускающийся каждые несколько минут; и второй, охватывающий все остальное через карты сайта, работающий каждый час. Ваши критические страницы никогда не будут холодными, без постоянного нагрева всего каталога.

Редактирование и удаление

Редактирование warmer вступит в силу при следующем запуске; уже текущий прогон завершается с предыдущими настройками. При удалении удаляется конфигурация и ее история, и это действие нельзя отменить — если вы хотите только временно остановить его, вместо этого выключите Активный.