Google анонсує два нових веб-сканери, призначені для копіювання зображень і відео для дослідницьких цілей
Google оприлюднив подробиці двох нових сканерів, оптимізованих для збирання зображень і відеовмісту для “досліджень і розробки” цілей. Хоча в документації цього прямо не зазначено, передбачається, що видавці не вплинуть на рейтинг, якщо вирішать заблокувати нові сканери.
Слід зазначити, що дані, зібрані цими веб-сканерами, не призначені виключно для даних навчання штучного інтелекту, для цього призначений сканер Google Extended.
GoogleOther Crawlers
Два нові веб-сканери є версіями веб-сканера Google’GoogleOther, який було запущено в квітні 2023 року. Оригінальний веб-сканер GoogleOther також був призначений для використання командами продуктів Google для досліджень і розробок, що описується як одноразові сканування, опис яких пропонує підказки про те, для чого будуть використовуватися нові варіанти GoogleOther.
Призначення оригінального сканера GoogleOther офіційно описано як:
“GoogleOther — це загальний сканер, який може використовуватися різними командами продуктів для отримання загальнодоступного вмісту із сайтів. Наприклад, його можна використовувати для одноразових сканувань для внутрішніх досліджень і розробок.”
Два варіанти GoogleOther
Є два нові сканери GoogleOther:
- GoogleOther-Image
- GoogleOther-Video
Нові варіанти призначені для сканування двійкових даних, тобто даних, які не є текстом. Дані HTML зазвичай називаються текстовими файлами, файлами ASCII або Unicode. Якщо його можна переглянути в текстовому файлі, це текстовий файл/файл ASCII/Unicode. Двійкові файли – це файли, які не можна відкрити в програмі перегляду тексту, такі як зображення, аудіо та відео.
Нові варіанти GoogleOther призначені для зображень і відеовмісту. Google перераховує маркери агента користувача для обох нових сканерів, які можна використовувати в robots.txt для блокування нових сканерів.
1. GoogleOther-Image
Маркети агента користувача:
- GoogleOther-Image
- GoogleOther
Повний рядок агента користувача:
GoogleOther-Image/1.0
2. GoogleOther-Video
Маркети агента користувача:
- GoogleOther-Video
- GoogleOther
Повний рядок агента користувача:
GoogleOther-Video/1.0
Нещодавно оновлені рядки GoogleOther User Agent
Google також оновив рядки агента користувача GoogleOther для звичайного сканера GoogleOther. З метою блокування ви можете продовжувати використовувати той самий маркер агента користувача, що й раніше (GoogleOther). Нові рядки агента користувача — це лише дані, які надсилаються на сервери для ідентифікації повного опису сканерів, зокрема використовуваної технології. У цьому випадку використовується технологія Chrome, номер моделі періодично оновлюється відповідно до використовуваної версії (W.X.Y.Z — це номер версії Chrome у наведеному нижче прикладі)
Повний список рядків агента користувача GoogleOther:
- Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, як Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (сумісний; GoogleOther)
- Mozilla/5.0 AppleWebKit/537.36 (KHTML, як Gecko; сумісний; GoogleOther) Chrome/W.X.Y.Z Safari/537.36
GoogleOther Family of Bots
Ці нові боти можуть час від часу з’являтися в журналах вашого сервера, і ця інформація допоможе ідентифікувати їх як справжні сканери Google і допоможе видавцям, які можуть відмовитися від збирання їхніх зображень і відео для науково-дослідних цілей.