Поделиться
Стартап создал суперкомпьютер, умеющий переводить естественный язык и писать программный код
Суперкомпьютерный стартап представил систему, оптимизированную под ИИ на базе собственных процессоров, каждый из которых насчитывает 850 тыс. ядер и 2,6 трлн транзисторов.
Большим данным — большие процессоры
Стартап Cerebras Systems представил новый суперкомпьютер Andromeda на базе собственных процессоров WSE-2. По утверждению разработчика, эти процессоры специально созданы для запуска приложений, связанных с искусственным интеллектом (ИИ).
Основу Andromeda составляют 13,5 млн процессорных ядер, и, как утверждают в Cerebras, производительность компьютера при запуске ИИ-приложений может превосходить один экзафлоп в секунду. На сегодняшний день наиболее производительным считается система Frontier, построенная в Окриджской национальной лаборатории в США. Ее официальная топовая производительность — 1,102 экзафлопа в секунду при выполнении любых операций. Экзафлоп (или экзафлопс) — это квинтиллион (10^18) операций с плавающей запятой в секунду.
По утверждению Cerebras, Andromeda позволит обучать макромасштабные языковые модели, способные в будущем переводить натуральную речь или генерировать программный код.
Каждый процессор WSE-2 насчитывает 850 тыс. ядер и 2,6 трлн транзисторов, что на 2,5 трлн больше, чем у любого, даже самого производительного графического процессора на рынке. Cerebras утверждает, что их разработка — самый продвинутый и производительный ИИ-процессор на рынке, а также самый крупный, в 56 раз больше самого большого GPU.
Каждый процессор оснащен 40 гигабайтами встроенной высокоскоростной памяти. Всего Andromeda насчитывает 16 таких процессоров, а кроме них — 18 176 процессоров AMD Ryzen.
Линейное масштабирование
В Cerebras Systems утверждают, что Andromeda поддается почти идеальному линейному масштабированию и, соответственно, продемонстрирует большую эффективность в некоторых аспектах работы с ИИ-приложениями, чем инфраструктурные системы для работы с ИИ других типов.
Продвинутые языковые модели, например, слишком сложны для запуска на одном процессоре, даже очень мощном. Как правило, задачи, связанные с ними, запускаются на множестве процессоров (обычно GPU) параллельно. Работу этих процессоров необходимо координировать, чтобы обеспечить точность вычислений.
Но это само по себе крайне непростая задача, требующая интенсивных вычислительных ресурсов. Чем больше GPU задействованы одновременно, тем выше требования к ресурсам, расходуемым на синхронизацию. То есть, значительная часть вычислительных возможностей суперкомпьютера уходит именно на синхронизацию, и добавление новых процессоров с определенного момента перестает приводить к существенному росту общей производительности системы.
Суперкомпьютеры Andromeda уже поставлены в три исследовательские организации в США. Примечательно, что Cerebras считается стартапом. Основу финансирования его деятельности составляют венчурные инвестиции на общую сумму около $720 млн.
«Именно то, что в Andromeda используются только 16 макропроцессоров, снижает требования к ресурсам, расходуемым на их синхронизацию, — поясняет Алексей Водясов, технический директор компании SEQ. — А значит, возможным становится почти полностью линейное масштабирование: то есть, можно добавить еще столько же процессоров, и топовая производительность достигнет почти 2 экзафлопсов. Можно предположить, что линейным будет и рост расхода энергии на охлаждение».
Короткая ссылка
