BERT: новейший алгоритм поиска Google, который понимает естественный язык

Цифры говорят сами за себя: BERT, новейший алгоритм поиска Google, будет влиять на все поисковые запросы 1 из 10. В эти часы Google вносит самые большие изменения в свою поисковую систему с тех пор, как компания внедрила RankBrain почти пять лет назад. В компании заявили, что это окажет исключительное влияние на все запросы, повлияет на все результаты, которые классифицируются по этим запросам.

BERT работает с прошлой недели и в скором времени будет полностью введен в эксплуатацию. Хотя пока она работает только на английском языке, в будущем она распространится и на другие языки. На данный момент мы можем сказать, что первые воздействия на фрагменты уже записаны, а так как компания Google заявила, что BERT будет использоваться во всем мире, на всех языках, даже в Италии, то скоро мы увидим первые изменения, начиная с фрагментов.

Как мы уже говорили, BERT является самым большим изменением в поиске с тех пор, как Google выпустила RankBrain и, по сути, это нейросетевая технология Google для обработки естественного языка (NLP) до обучения. Официально BERT родился в прошлом году, настолько, что широко описывается в блоге Google AI. Короче говоря, BERT поможет компьютерам понимать язык немного больше, чем люди.

BERT означает двунаправленное представление кодирующего устройства от трансформаторов. Так как основная задача BERT — помочь лучше понять нюансы и контекст слов при поиске, то в первую очередь она будет работать над тем, чтобы лучше сопоставлять запросы с более релевантными результатами. Вот почему он уже работает над популярными фрагментами.

Google привел пример: в поиске «2019 бразильскому путешественнику в США нужна виза» слово «TO» и его связь с другими словами в запросе важны для понимания значения. Еще несколько месяцев назад Google не понимал бы важности этой связи и вернул бы результаты по американским гражданам, путешествующим в Бразилию. Как объясняет Google: «С BERT Поиск в состоянии уловить этот нюанс и знать, что очень распространенное слово «TO» здесь очень важно, и мы можем предоставить гораздо более релевантный результат для этого вопроса».

Следующие примеры приведены для иллюстрации и могут не работать в результатах поиска в реальном времени. В другом примере, при поиске «делать эстетики стоят много на работе», Google сказал, что ранее он бы объединил термин «автономный» со словом «стенд», используемым в запросе, также добавив, что Google BERT модели могут понять, что «стенд» связан с «понятием физических запросов на работу, и показывает более полезный ответ».

Пример с изображением фрагмента. Вот пример Google, показывающий более релевантный фрагмент для запроса «Парковка на холме без бордюра». В прошлом такой поиск запутал бы системы Google. Компания Google сказала: «Мы придали слишком большое значение слову «обуздать» и проигнорировали слово «нет», не понимая, насколько важно это слово, чтобы адекватно ответить на этот вопрос». Так что мы вернем результаты за парковку на холме с тротуаром».

Всем тем, кто говорит или будет говорить, что RankBrain мертв, Google говорит нет! RankBrain был первым методом искусственного интеллекта Google для понимания запросов в 2015 году. Он изучает как запросы, так и содержание индексных веб-страниц Google, чтобы лучше понять значение слов.

BERT не заменяет RankBrain, это дополнительный метод понимания содержания и запросов. Это добавляет в систему ранжирования Google. RankBrain может быть и будет использоваться для некоторых запросов. Но когда Google думает, что запрос можно лучше понять с помощью BERT, Google будет использовать его. Фактически, один запрос может использовать несколько методов, включая BERT, чтобы лучше понять запрос.

Компания Google объяснила, что существует множество способов понять смысл запроса, и, конечно, каждый язык может иметь одно или несколько склонений. Например, если вы что-то неправильно написали, системы орфографии Google помогут вам найти правильное слово, чтобы получить то, что вам нужно. И / или если вы используете слово, которое является синонимом фактического слова, которое находится в соответствующих документах, Google может обнаружить их. BERT — это еще один сигнал, используемый Google для понимания языка. В зависимости от того, что вы ищете, любой сигнал или комбинация этих сигналов может быть использован, чтобы понять запрос и обеспечить соответствующий результат.