Cabin AI от вьетнамского разработчика обеспечивает перевод на мероприятиях практически в реальном времени с предварительным обучением

Cabin AI, созданный вьетнамским разработчиком Чан Ву Ань, выполняет перевод за три-пять секунд, «предварительно изучая» контекст события.

На международном инновационном форуме в Хошимине в конце октября организаторы попросили сотни посетителей отсканировать QR-код на входе. Появилась веб‑страница с надписью "выберите язык, выберите аудио или субтитры на экране. Никаких гарнитур. Кабин переводчика нет".

Люди просто следили за происходящим на своих телефонах. Это была демонстрация Cabin AI - системы, разработанной Аньом и его командой для упрощения устного перевода на конференциях, семинарах и совещаниях.

Решение проблемы "переводи, пока они говорят" Cabin AI решает сложную задачу: переводить, пока говорящий еще говорит, а не после каждого предложения. "Нам нужен был инструмент, который реагировал бы как человек, слушая, понимая и переводя одновременно, но с использованием искусственного интеллекта", - говорит Ань.

После запуска платформы для перевода документов DocTranslate.io команда потратила более года на то, чтобы распространить свою работу на речь и видео. Перевод в режиме реального времени зависит от скорости и надежности распознавания речи.

Старые системы часто ожидают окончания предложения, что приводит к неловким задержкам, и часто натыкаются на имена, даты, цифры, иностранные термины, различные акценты и смешанные языки.

Cabin AI решает эту проблему с помощью специализированных моделей распознавания речи и перевода, отлаженных с использованием собранных данных. Его отличительной особенностью, по словам Анх, является возможность изучать контекст перед началом мероприятия: по слайдам, повесткам дня и запланированным темам.

Благодаря этому система более точно обрабатывает терминологию, относящуюся к конкретной предметной области, сохраняя при этом низкую задержку. В идеальных условиях она реагирует в течение трех-пяти секунд после включения громкоговорителя.

Он хорошо справляется с речью с акцентом и переключением кодов и в настоящее время поддерживает более 32 языков, включая вьетнамский, английский, китайский, японский, корейский, тайский, французский, немецкий, испанский, итальянский, русский и хинди.

В октябре искусственный интеллект Cabin был протестирован на крупных мероприятиях, включая форум Open Innovation Forum и семинар по квантовым технологиям. Он служил официальным переводчиком для полных программ и десятков незаписанных панелей.

"Субтитры появлялись почти одновременно с речью, создавалось ощущение, что оратор говорит на моем родном языке!" - сказал один из участников.

Цель состоит не в том, чтобы заменить профессионалов, а в том, чтобы расширить охват и упростить логистику. Организаторы могут использовать Cabin AI примерно за 500 000-1 000 000 донгов (около 19-38 долларов США) в час, в зависимости от масштаба мероприятия, количества языков и технической поддержки. Вместо того чтобы поддерживать сеть наушников или нанимать нескольких переводчиков для параллельных сеансов, аудитория использует свои собственные устройства.

После этого система может экспортировать стенограммы или сводные протоколы для экономии времени. Помимо конференц-залов, платформа также оптимизирована для онлайн-встреч и прямых бесед. "Это решение помогает многонациональным командам эффективно взаимодействовать без языковых барьеров", - говорит Ань.

Основатель компании был назван одним из 10 молодых технологических лидеров на саммите технических директоров 2022 года, организованном VnExpress. Его предыдущий проект DocTranslate вошел в топ-5 на Techfest, организованном Министерством науки и технологий, и был выбран для участия в акселераторе Google for Startups.

Источник: VnExpress

• ‘Все не так, как обычно": Вьетнам призвал ускорить внедрение инноваций

• ИИ найдет более быстрый и масштабируемый способ отслеживания загрязнения в заливе Халонг

• Qualcomm запускает новый центр исследований и разработок AI во Вьетнаме

• Вьетнам представил первого робота-гуманоида, совершившего смелый шаг в развитие мировых технологий

• Вьетнамский технологический гигант FPT открыл центр исследований и разработок в области полупроводников в центральном Вьетнаме