Поделиться
Google рассекретил подробности о своем главном процессоре для ИИ, который лучше устаревших чипов Nvidia
Google опубликовал подробности о своем суперкомпьютере для ИИ. Компания утверждает, что ее система быстрее и экономичнее конкурирующих, хотя для сравнения приводятся аналогичные процессоры Nvidia предпоследнего поколения. В публикации Google указано, что именно на ее системе обучали ИИ Midjourney.
90% работы с ИИ
Google раскрыл подробности о своем процессоре, используемом в суперкомпьютерных системах для обучения искусственного интеллекта: Tensor Processing Unit (TPU, процессор для обработки многомерных массивов данных). Так, 4 апреля 2023 г. Google опубликовал научную работу, в которой описывается процесс использования TPU на практике.
На системы, построенные на базе этих процессоров, приходится более 90% работы компании, связанной с обучением искусственного интеллекта. Процесс заключается в пропускании данных через обучающиеся модели, чтобы их можно было использовать на практике — для ответов на вопросы или генерацию изображений.
На данном этапе используется уже четвертое поколение TPU. В Google построена собственная суперкомпьютерная система, насчитывающая более 4 тыс. таких процессоров, а также включающая оптические переключатели собственной разработки, обеспечивающие скоростные соединения между компонентами комплекса.
Как отмечается в материале агентства Reuters, совершенствование данных соединений — это фокусная точка в конкуренции между разработчиками ИИ-суперкомпьютеров. Языковые модели, лежащие в основе Google Bard или OpenAI ChatGPT, стали настолько большими, что их обработка требует большого количества высокопроизводительных процессоров, а те должны работать как одно целое: задержка в передаче данных должна быть абсолютно минимальной.
Оптические переключатели Google позволяют не только обеспечить высокую скорость передачи данных, но и быстро перенастраивать соединения, если какие-то компоненты выходят из строя, и менять топологию всей системы, чтобы ускорить производительность той или иной модели машинного обучения.
Корректные или некорректные сопоставления
Суперкомпьютерная система Google активна с 2020 г. Интересно, что стартап Midjourney, разработчик одноименного генеративного ИИ для создания изображений, использовал эту систему для обучения своего детища.
В публикации Google отмечается, что по сравнению с сопоставимыми по размерам системами, TPU в 1,7 раза производительнее и в 1,9 раза экономичнее в плане потребления энергии, нежели суперкомпьютеры, построенные на базе процессоров Nvidia A100, выпущенные на рынок одновременно с GoogleTPU.
Между тем, флагманом Nvidia сейчас является более новый процессор H100, которые использует уже другую технологию.
В Google сейчас разрабатывают новый процессор, который составит конкуренцию Nvidia H100.
«По всей видимости, в обозримом будущем конкуренция между производителями суперкомпьютеров для обучения ИИ как раз и будет сводиться к наращиванию производительности специализированных процессоров, скоростных соединений и количества процессорных единиц внутри одной системы, — полагает Алексей Водясов, технический директор компании SEQ. — Пока это выглядит как наиболее вероятный вариант дальнейшей эволюции. Но не исключено, что практическая реализация квантовых процессоров поменяет картину радикально».
Короткая ссылка
