Сервис «Балабоба» от «Яндекса» дописывает любой текст

«Яндекс» 17 июня открыл доступ к генератору текстов «Балабоба». Сервис работает на основе языковой модели YaLM, сообщила компания.

 https://yandex.ru/lab/yalm

У такой модели одна задача — генерировать каждое последующее слово в предложении. Нейросеть обучена на базе 3 млрд параметров. Чтобы тексты были грамматически правильными и лексически разнообразными, YaLM обучали на части страниц «Википедии», новостных статьях, книгах и на открытых записях пользователей социальных сетей и форумов.

Теперь технологии YaLM используются для формирования ответов для «Поиска» и «Алисы».

Как работает Балабоба

Внутри Балабобы — разработанная командой Яндекса языковая модель YaLM (Yet another Language Model), вдохновленная GPT-3 от компании OpenAI и другими языковыми моделями на архитектуре Transformer. У такой модели ровно одна задача — генерировать каждое последующее слово в предложении. Чтобы текст получился связным и грамматически правильным, во время обучения модель оценивает каждое предсказанное слово: например, решает может ли после «Мама мыла...» идти слово «бегать» или слово «раму».

Запоминать все правила языка и подбирать подходящие слова Балабобе помогают заложенные внутри языковой модели YaLM параметры, которые меняются в зависимости от того, правильно или неправильно предсказывается слово. Сравнить их можно с маленькими рычажками, каждый из которых нужно повернуть в разные стороны, чтобы запустить механизм. В семействе языковых моделей YaLM таких рычажков — от 1 до 13 миллиардов, а в Балабобе используется модель с 3 миллиардами.

Чтобы написанные Балабобой тексты были не только грамматически правильными, но и лексически разнообразными, мы использовали терабайты данных. YaLM обучена на части индексируемых Яндексом страниц рунета, включая не только Википедию, новостные статьи и книги, но и открытые записи пользователей социальных сетей и форумов. Чтобы не перегружать модель, из выборки вычистили повторяющиеся, незаконченные и неестественные тексты.

Но главная особенность YaLM — умение учиться новому всего на нескольких примерах: чтобы языковая модель написала осмысленные отзывы на фильмы, тосты для застолья или теории заговора, ей хватит от пяти до нескольких десятков примеров того, как такие тексты надо писать. Именно это вы можете наблюдать при выборе стилизации: например, чтобы научить Балабобу генерировать простые рекламные слоганы для любых объектов, мы «скормили» ему несколько известных примеров, среди которых, конечно, — наше знаменитое «Найдется всё».

Можно выбрать стиль текста:

https://yandex.ru/lab/yalm-howto