Microsoft создала суперкомпьютер для OpenAI
Новое устройство вошло в пятерку самых мощных в мире компьютеров.
Microsoft разработала новый суперкомпьютер на базе облака Azure для OpenAI — организации, основателями которой являются Илон Маск и Сэм Альтман. Новый компьютер одним из 5 самых мощных суперкомпьютеров в мире по версии top500.org. Об этом компания сообщила в рамках своей крупнейшей технологической конференции Microsoft Build 2020.
Суперкомпьютер создан специально для тренировки следующего поколения массивных ИИ-моделей, способных выполнять более широкий спектр функций и требующих больших вычислительных ресурсов.
Суперкомпьютер, разработанный для OpenAI — это единая система с более чем 285 000 процессорных ядер (CPU core), 10 000 графических процессоров (GPU) и скоростью сетевого подключения 400 гигабит в секунду для каждого сервера. Благодаря размещению в облаке Azure суперкомпьютер обладает преимуществами современной облачной инфраструктуры, включая быстрое развертывание, надежность дата-центров и доступ к сервисам Azure.
Такая мощь нужна для обработки больших ИИ-моделей. Исторически эксперты по машинному обучению разрабатывали, наоборот, небольшие ИИ-модели, которые использовали наборы размеченных данных, чтобы научиться выполнять какую-то одну отдельную задачу — распознать объект, перевести текст. Однако некоторые из этих задач лучше выполняются одной большой моделью, обученной, к примеру, на миллиардах страниц публично доступных текстов. В результате она настолько тонко понимает нюансы речи, грамматику и контекст, что способна отлично выполнять несколько задач: подводить итоги длинных выступлений, модерировать чат в онлайн-играх и даже генерировать программный код по результатам поиска на GitHub.
Microsoft разработала собственное семейство подобных моделей — Microsoft Turing models — и самую крупную из существующих на данный момент языковую модель с 17 миллиардами параметров Turing Natural Language Generation (T-NLG). Код Тьюринговых моделей, а также методы их обучения в Azure Machine Learning скоро станут открытыми.
Читайте также:
Читайте нас в социальных сетях