Качество поиска Google: глобально и локально

[ewg777]

Дафни Дембо, Директор по разработкам

Цель Google – сделать поисковый сервис эффективным для каждого пользователя, и неважо, где он живет и на каком языке говорит. Многие из тех алгоритмов, которые мы обычно используем, могут быть применены ко всем языкам, но в ряде случаев уникальные характеристики требуют особого подхода.
Сегодня Google ищет более чем на ста языках. Сначала разработкой и улучшением системы поиска на каждом из них занимались инженеры отдела по улучшению качества обработки поисковых запросов. Каждый специалист увлечённо работал над решением конкретных задач для своего языка. По мере роста объема иноязычного поиска мы обращались за помощью к сотрудникам компании по всему миру. Сейчас над проблемами улучшения поиска работает большая команда специалистов, которые помогают нам понять уникальные особенности языков.
Для наложения поисковой модели на определённый язык первым делом мы тестируем поиск на множестве документов на этом языке. Таким образом мы можем убедиться, что языковая модель точна и универсальна, — например, что она включает имена, идиомы, просторечия и неологизмы, еще не вошедшие в словари. После общей настройки, проиндексировав документы, мы получаем возможность их категоризировать и разобрать в соответствии с запросом пользователя. После завершения этого этапа локализованный поиск запускается в работу.
Кроме языковых особенностей для предоставления наиболее релевантных результатов поисковая система должна учитывать местоположение пользователя, хотя бы с точностью до страны. Запрос [Côte d'Or] во Франции должен давать информацию об этом регионе, а в Бельгии – о производителе шоколада. Информация также должна соответствовать стандартам данной страны. Например, по запросу норвежского пользователя [Для просмотра ссылки Войди или Зарегистрируйся] температура будет показана в градусах Цельсия, а для американского [Для просмотра ссылки Войди или Зарегистрируйся] – в градусах Фагенгейта.
Что умеет поиск Google
Если пользователь забывает переключить язык ввода и запрос теряет смысл, Google исправляет ошибку. Например, кириллический запрос [Для просмотра ссылки Войди или Зарегистрируйся] будет исправлен на [Для просмотра ссылки Войди или Зарегистрируйся].
Поиск Google «понимает» транслитерированные слова. Например, по запросу на латинице [Для просмотра ссылки Войди или Зарегистрируйся] пользователь получает результаты на транслитерированный [Для просмотра ссылки Войди или Зарегистрируйся].
Поиск Google старается экономить ваше время. Служба Google Suggest предлагает вам варианты запроса, допечатывая слово в режиме онлайн.
Google может перевести запрос на английский, затем найти в сети документы и перевести полученные результаты на исходный язык запроса. Например, корейские пользователи могут искать новинки по Гарри Поттеру по запросу [Для просмотра ссылки Войди или Зарегистрируйся], а арабские пользователи – новости о Сиднейском оперном театре по запросу [Для просмотра ссылки Войди или Зарегистрируйся].
Google исправит грамматические ошибки. Например, если вы не помните, как точно написать на эстонском «детектор дыма», система предложит исправленный вариант для слова [Для просмотра ссылки Войди или Зарегистрируйся].
Google учтёт диакритические значки: поисковик выдаст одинаково хорошие результаты, если запрос будет введен с диакритическими знаками [Для просмотра ссылки Войди или Зарегистрируйся] или без них [Для просмотра ссылки Войди или Зарегистрируйся].
Google может распознать синонимы на разных языках. «Самсунг» — это синоним корейского "삼성", поэтому пользователи, запрашивающие [Для просмотра ссылки Войди или Зарегистрируйся], получают результаты, содержащие имя компании на корейском.
Распознаёт сложные слова: документы, посвященные Университету города Упсала в Швеции, будут выданы и на запрос по слову [Для просмотра ссылки Войди или Зарегистрируйся], и по раздельному словосочетанию [Для просмотра ссылки Войди или Зарегистрируйся].
Google ищет производные от одного корня. Польский пользователь может искать ответ на запрос по слову «фильм» [Для просмотра ссылки Войди или Зарегистрируйся] и получать результаты, которые содержат корень этого слова, в частности — «filmów», «filmu», «filmie», «filmy».

Сегодня Поиск Google разрабатывается более чем для ста языков в ста пятидесяти странах мира, причем каждый месяц запускается множество улучшений. Перечисленные выше возможности – лишь малая часть того, над чем мы работаем каждый день, чтобы сделать поиск еще лучше. Удобство пользования, внешний вид стартовой страницы и страницы результатов поиска, понимание культурных особенностей конкретной страны также крайне важно для создания поисковой системы, которая будет близка и понятна людям из разных стран.

По материалу блога Google.​