Работа над "самым умным ИИ на Земле" Элона Маска: Ранний опыт вьетнамского ученого

Вьетнамский ученый Фам Хай Хьеу, член команды разработчиков Grok 3 в xAI, получил задание еще до официального прихода в компанию.

«Несколько месяцев работы в xAI дали мне огромную ценность, возможности и эмоции», — сказал 33-летний мужчина на своей странице в Facebook 18 февраля после запуска Grok 3, который Илон Маск называет «самым умным искусственным интеллектом на Земле».

«Grok 3 — это результат месяцев исследований и разработок моих коллег и меня, а также месяцев жертв со стороны семей сотрудников xAI, у которых было мало времени со своими близкими», — говорит Хиеу.

Он подписал контракт с xAI в июле 2024 года и быстро понял, насколько быстро развивается компания. Несмотря на то, что он должен был приступить к работе на следующей неделе, его вызвали пораньше, чтобы он забрал свой ноутбук и настроил свою систему для подготовки. Вскоре после получения ноутбука старший коллега связался с ним по поводу критической проблемы, связанной с электромагнитными колебаниями в Colossus, суперкомпьютере xAI.

Проблема заключалась в том, что когда слишком много графических процессоров работали одновременно, их энергопотребление резонировало, что могло повредить силовые турбины. Коллега спросил, сможет ли он решить проблему этим утром. Позже Маск упомянул об этой проблеме в прямом эфире, представляя Grok 3, сравнив Colossus с симфоническим оркестром, а его 100 000 графических чипов — с музыкантами. Когда они все «играют или замолкают вместе», резонансный эффект становится огромным.

Чтобы смягчить проблему, Хиеу написал программу ядра графического процессора, которая уменьшала колебания, но требовала большего энергопотребления. «Суть этого ядра заключается в том, что когда система переходит в фазу низкого энергопотребления, я заставляю ее выполнять дополнительные задачи, тем самым потребляя больше электроэнергии», — объясняет он.

На следующий день Маск был проинформирован о повышенном энергопотреблении и пришел к выводу, что колебания неизбежны. Чтобы решить эту проблему, он развернул аккумуляторную систему Tesla Megapack в качестве энергетического буфера. Турбины заряжают аккумуляторы, которые, в свою очередь, питают процессоры, снижая прямую нагрузку на турбины.

«Это демонстрирует невероятную способность Маска решать проблемы», — восторженно говорит Хиеу. «Гениальная идея. Сколько миллиардеров все еще могут так глубоко задуматься над технической проблемой?»

Признавая противоречивую репутацию Маска, он считает, что его сильные стороны — широкое видение и нестандартное мышление — «чрезвычайно заслуживают того, чтобы поучиться у него».

Hieu хорошо известен в мировом сообществе искусственного интеллекта. В 2011 году он получил полные стипендии от пяти престижных университетов США. Он окончил Стэнфордский университет в 2015 году и получал предложения о работе от Microsoft, Facebook и Google. Он выбрал Google, хотя тот отклонил его первую заявку в 2012 году.

В Google Brain он работал над приложениями для нейронных сетей. В 2017 году Google в партнерстве с Университетом Карнеги-Меллона в США учредил совместную докторскую программу, позволяющую ему проводить исследования во время работы в Google. В свой первый год в качестве аспиранта он совершил значительные прорывы, но позже изо всех сил пытался добиться таких же успехов. Понимая, что сложные, непрактичные исследования не дают большого эффекта, он принял более простой подход к решению проблем, что привело к большим достижениям в последние годы его работы в Google.

В 2021 году, в возрасте 29 лет, он успешно защитил кандидатскую диссертацию в Карнеги-Меллоне и представил шесть научных работ на ведущих международных конференциях, добавив 5 000 цитирований в свой исследовательский портфель.

Его исследования по применению ИИ к дискретным математическим задачам помогли Google значительно снизить затраты на обучение ИИ, минимизировав зависимость от дорогих суперкомпьютеров с тысячами процессорных чипов и обширными требованиями к хранению данных.

Источник: VnExpress

• Состояние 6 вьетнамских миллиардеров сократилось на $5 млрд в 2023 году: Forbes

• Вьетнамцы ежедневно тратят $3,8 млн на онлайн-заказы еды

• Продолжительность жизни в Хошимине на три года выше, чем в среднем по стране

• Вьетнамский магнат выпал из списка миллиардеров в долларах США

• Работа в офисе становится неприятностью для вьетнамской молодежи