Яндекс не стоит на месте и постоянно развивается о чем и сообщает в своем блоге. Последней новостью было введение нового алгоритма под название «Палех» который позволяет ему точнее понимать о чем спрашивают люди. Алгоритм создан на основе нейронных сетей, давайте попробуем разобраться что это такое.
Некоторые популярные запросы пользователи вводят в поисковых системах каждую секунду, но есть и такие запросы которые могут быть заданы только один раз. Причем редких вопросов от пользователей чрезвычайно много. Вообще все запросы можно рассмотреть схематично и Яндекс изобразил их в виде птицы, которая имеет:
- клюв (этих запросов немного, но они высокочастотные),
- туловище (среднечастотные запросы) и
- хвост (это как раз те редкие и уникальные вопросы).
Вопросы из длинного хвоста можно также разделить на несколько групп. Среди них, например
- Запросы от детей, которые только учатся работе за компьютером и порой задают смешные вопросы.
- Запросы о названии книги или фильма.
Если запросы редкие, то поисковым алгоритмам трудно определить какой сайт имеет подробный ответ на вопрос пользователя (ввиду отсутствия статистики по запросам). В этом случае приходят на помощь нейронные сети.
Использование нейросетей — это способ машинного обучения. Он позволяет распознавать, например, что изображено на картинке или какие ответы содержаться в тексте. Алгоритм анализирует запрос и заголовок страницы и выдает наиболее релевантный результат.
Но на этом Яндекс останавливается не собирается и от анализа запрос заголовок хочет прийти к анализу полного текста на странице. В будущем это позволит Яндексу понимать что находится на странице, примерно так как это делает человек.