Googlebot переходит на протокол HTTP/2

Это следующая основная версия HTTP-протокола для передачи данных в сети Интернет. Благодаря своей архитектуре и функциям, которые он реализует для клиентов (например, для пользовательского браузера) и серверов, HTTP/2 намного надежнее, эффективнее и быстрее, чем его предшественник HTTP/1.1. Ещё больше полезной информации по теме HTTP/2 представлено на сайте developers.google.com.

 

 

Google ожидает, что после внесения изменений процесс сканирования сайтов будет более эффективным в плане затраты ресурсов сервера. С помощью h2 робот Googlebot может открыть одно TCP-соединение с сервером вместо нескольких подключений, чтобы параллельно передавать по нему несколько файлов. Чем меньше соединений открывается при сканировании веб-сайта, тем меньше нагрузка на сервер и более экономно расходуются ресурсы робота Googlebot.

 

 

На первом этапе по h2 будет просканировано небольшое количество сайтов. Далее постепенно увеличится количество веб-ресурсов, которые смогут извлечь выгоду из изначально поддерживаемых функций. Например, таких, как мультиплексирование запросов.

 

Какой сайт сканировать по h2 — робот Googlebot решает по двум критериям: 

• Наличие поддержки h2 на интернет-сайте.
• Возможные преимущества для веб-ресурса и Googlebot от сканирования по HTTP/2.

 

Варианты работы сервера:

• Сервер поддерживает HTTP/2 и Googlebot уже много сканирует с вашего сайта — в этом случае ничего делать ненужно.
• Сервер использует только HTTP/1.1 — это тоже нормальная ситуация. При использовании этого протокола сканирование останется прежним как по качеству, так и по количеству.

 

 

Предварительные тесты показали отсутствие проблем или отрицательного влияния на индексацию. Но по разным причинам владельцы сайтов могут запретить сканирование собственных веб-ресурсов по HTTP/2. Для этого предусмотрено два варианта:

1. Постоянное решение — когда робот Googlebot попытается просканировать сайт через протокол HTTP/2, необходимо указать ответ сервера кодом состояния 421 HTTP.
2. Временное решение — при невозможности выполнения первого варианта отправить сообщение команде Googlebot.

 

Появились дополнительные вопросы о Googlebot и HTTP/2 — ознакомьтесь с ответами ниже. Не нашли ответ на свой вопрос? Напишите в социальную сеть или на справочном форуме.

 

 

Почему Googlebot обновляется сейчас?

Программное обеспечение для робота Google достаточно развито и теперь позволяет сканировать сайты по протоколу HTTP/2.

 

 

Нужно ли обновить свой сервер как можно скорее?

Это личное дело. Google переключается на сканирование только тех интернет-ресурсов, которые поддерживают h2 и явно выиграют от этого. Если нет явной выгоды для сканирования по HTTP/2, робот Googlebot продолжит сканирование по HTTP/1.1.

 

 

Как проверить, что мой сайт поддерживает HTTP/2?

В блоге Cloudflare представлено множество различных методов, чтобы проверить поддержку по h2.

 

 

Как обновить сайт до HTTP/2?

Это зависит от вашего сервера. Google рекомендует поговорить с администратором вашего сервера или хостинг-провайдером.

 

 

Как убедить Googlebot сканировать мой сайт по HTTP/2?

Это невозможно. Если сайт поддерживает протокол h2, он может сканироваться по h2. Но только если это будет полезно для ресурса и робота Googlebot. Если сканирование через h2 не приведет к заметной экономии ресурсов, Google продолжит сканирование через HTTP/1.1.

 

 

Почему Google не просматривает каждый сайт с поддержкой h2 по h2?

В проведённых оценках Гугл обнаружил незначительную или нулевую пользу для определенных сайтов. Например, с очень низким значением QPS (queries per second или количество запросов в секунду) при сканировании через h2. Поэтому решение переключать сканирование на h2 принимается только в том случае, когда для сайта есть явная выгода. В дальнейшем Google продолжит оценивать прирост производительности и может в будущем изменить критерии перехода к сканированию по HTTP/2.

 

 

Как узнать, что сайт сканируется через h2?

Когда сайт получает право на сканирование через h2, его владельцы после регистрации в Search Console получат сообщение о том, что часть сканирующего трафика будет больше по h2. Также можно проверить журналы своего сервера (например, в файле access.log для сайтов на Apache).

 

 

Какие функции h2 поддерживаются роботом Googlebot?

Робот Googlebot поддерживает большинство функций, представленных h2. Некоторые функции находятся на стадии оценки. Например, функция отправка на сервер может быть полезна для рендеринга.

 

 

Поддерживает ли Googlebot открытый текст HTTP/2 (h2c)?

Нет. Чтобы получить возможность сканирования по HTTP/2, веб-сайт должен использовать HTTPS и поддерживать HTTP/2.

 

 

Будет ли робот Googlebot использовать расширение ALPN, чтобы определять версию протокола для сканирования?

Согласование протокола прикладного уровня (ALPN) будет использоваться только для сайтов, на которых разрешено сканирование по h2, и единственным принятым протоколом для ответов будет h2. Если при создании защищенного интернет-соединения по TLS сервер отвечает версией протокола, отличной от HTTP/2, робот Googlebot прекратит сканирование и вернется на сайт позднее по HTTP/1.1.

 

 

Каким образом различные функции HTTP/2 помогут при сканировании сайта?

Наиболее заметные преимущества:

• Мультиплексирование и параллелизм — меньшее количество открытых TCP-соединений позволяет использовать меньше ресурсов.
• Сжатие заголовков — уменьшенные размеры заголовков HTTP помогают экономить ресурсы при сканировании.
• Server push — полезна для рендеринга. В 2020 года данная функция находится на стадии оценки и ещё не включена.

 

Будет ли робот Google сканировать больше или быстрее через HTTP/2?

Основное преимущество протокола h2 — это экономия ресурсов, как на стороне сервера, так и на стороне робота Googlebot. Сканирование с использованием h1 или h2 не влияет на индексирование конкретного сайта. Следовательно, не влияет на объём и скорость сканирования отдельного взятого сайта.

 

 

Есть ли какое-либо преимущество для ранжирования сайта при сканировании через h2?

Такого преимущества нет.