воскресенье, 14 января 2024 г.

GigaChat: что умеет нейросеть

 GigaChat (https://developers.sber.ru/gigachat/login)— мультимодальная модель, которую Сбер анонсировал в конце апреля 2023 года. Она может отвечать на вопросы, вести диалог, писать код, придумывать планы презентаций, сочинять стихи, писать школьные эссе и выполнять другие текстовые задачи. Нейросеть отвечает как на русском, так и на английском языках.

На сайте Сбера говорится, что сильная сторона GigaChat — креатив. И интереснее всего использовать нейросеть, чтобы писать рекламные тексты, письма коллегам и рецепты блюд. При этом в ответах на вопросы, где требуются факты, она может ошибаться и галлюцинировать: разработчики называют такие ответы «творческими».

Текстовая часть GigaChat работает на языковых моделях ruGPT-3 и FRED-TP, основанной на архитектуре исследователей из Google. Первая вышла в 2021, а вторая — в 2023 году. По словам разработчиков, GigaChat обучена на 18 миллиардах параметров.

GigaChat также умеет генерировать картинки по текстовому описанию с помощью нейросетей ruCLIP и Kandinsky 2.1. Сервис создает изображения преимущественно по коротким запросам.

GigaChat находится в стадии бета-тестирования, причем доступ пока ограничен. Новости о раздаче инвайтов периодически публикуются в закрытом Телеграм-канале. С момента анонса приглашения протестировать бота получили около 40 тысяч пользователей. Авторы обещали дать доступ к нейросети всем подписчикам до 28 мая.

Я получила ссылку для регистрации 18 мая, когда ее разослали подписчикам Телеграм-бота @GigaChat_Test_bot. Если вы получили ссылку, то сможете воспользоваться GigaChat из любого браузера в личном пространстве на сайте developers.sber.ru. Чтобы туда попасть, требуется регистрация через Sber ID или Google-почту. Приложения для смартфонов у GigaChat нет.

Интерфейс у GigaChat похож на ChatGPT — это текстовый чат с возможностью создавать несколько диалогов. Во время разговора нейросеть может использовать информацию из предыдущих запросов, чтобы делать уточнения и корректировать ответы.

Как пользоваться GigaChat

Мы протестировали нейросеть в разных сценариях.

Простые поисковые запросы. Текстовые нейросети часто используют вместо поисковика, чтобы получить быстрый ответ на несложный вопрос, а не переходить по разным ссылкам. GigaChat с этим справляется далеко не во всех случаях.

Нейросеть может хорошо объяснить базовые концепции и понятия, которые никак не привязаны к актуальным событиям. Например, растолковать какое-нибудь физическое явление. Но GigaChat непостоянна — по одному и тому же запросу может расписать как огромный текст на несколько абзацев, так и короткую фразу в одно предложение.

К тому же с GigaChat нужно проверять факты. Но это касается любой языковой нейросети, включая ChatGPT. На этом этапе развития они время от времени галлюцинируют — уверенно выдают абсолютно неверную информацию.

Судя по всему, у нейросети нет доступа к актуальной информации — как и у ChatGPT, база данных которой ограничена 2021 годом. Но какой датой ограничена GigaChat, мы не знаем. Хотя на некоторые вопросы о событиях 2022 года она ответила верно и без искажений.

Если попытаться спросить, какой сегодня день, GigaChat каждый раз выдумывает новую дату, причем дни недели ей не соответствуют.

Генерация картинок. Преимущество GigaChat, которого нет у ChatGPT — в чат-боте можно сгенерировать картинки. В этом случае используется нейросеть Kandinsky 2.1, ее тоже сделал Сбер.

Картинки получаются хорошие, их можно на ходу править уточняющими запросами. Кроме того, Kandinsky лучше других нейросетей понимает запросы на русском языке. Ближайшим конкурентом, Midjourney, придется пользоваться на английском.

Школьные задачи. Домашнюю работу с помощью GigaChat пока сделать не получится: нейросеть плохо ведет подсчеты и приходит к неправильным ответам. Она неверно учитывает логику действий и часто отвечает совсем не на тот вопрос, который был задан.

Причем во время наших тестов мы попытались исправить нейросеть и указать ей на уход от ответа. Но она все равно настаивала на своем. Бесплатная ChatGPT такие же задачи решила правильно.

Выводы

✅ Качественная работа с русским языком. Нейросеть обучалась на русскоязычных материалах, поэтому ответы выглядят более естественными, чем у ChatGPT. Результаты последней чаще всего похожи на автоматический перевод с английского.

✅ Есть «память». GigaChat запоминает детали разговора и может строить ответы, основываясь на информации, которую ей уже сообщил пользователь. Хотя нейросеть запоминает ответы, она плохо реагирует на исправления. Если усомниться в словах GigaChat, нейросеть либо отказывается исправлять ответы, либо меняет их на другие галлюцинации.

✅ Доступна генерация картинок. Запросы можно делать на русском языке, а изображения получаются хорошего качества. Аналогичных бесплатных сервисов не существует.

✅ Просто пользоваться в России. Не нужно регистрироваться с иностранного номера, искать иностранную карту для оплаты подписки и пользоваться VPN.

⛔️ Нет данных об актуальной информации. Неизвестно на базе данных каких лет нейросеть обучалась. Когда GigaChat пытается ответить на вопрос о недавних событиях, она перемешивает реальные факты с галлюцинациями.

⛔️ Непредсказуемый формат ответов. Может написать как короткое сообщение в два предложения, так и огромный текст на пять абзацев. Причем нейросеть по-разному реагирует на одинаковые запросы.

⛔️ Креатив достаточно посредственный. Нейросеть не всегда может сгенерировать творческие тексты с нуля или изобразить популярного персонажа. Судя по всему, в датасете не было многих популярных стилистик.

⛔️ Текстовая генерация ощущается устаревшей. Практически во всех задачах бесплатная ChatGPT, работающая на версии GPT-3.5, превосходит GigaChat. Ответы нейросети больше напоминают результаты генерации GPT-3.
Даша Лейзаренко https://journal.tinkoff.ru
https://developers.sber.ru/gigachat/login
https://developers.sber.ru/help/gigachat
https://vk.com/gigachat

Комментариев нет:

Отправить комментарий