Microsoft создала суперкомпьютер для OpenAI

Microsoft разработала новый суперкомпьютер на базе облака Azure для OpenAI — организации, основателями которой являются Илон Маск и Сэм Альтман. Новый компьютер одним из 5 самых мощных суперкомпьютеров в мире по версии top500.org. Об этом компания сообщила в рамках своей крупнейшей технологической конференции Microsoft Build 2020.

Суперкомпьютер создан специально для тренировки следующего поколения массивных ИИ-моделей, способных выполнять более широкий спектр функций и требующих больших вычислительных ресурсов.

Суперкомпьютер, разработанный для OpenAI – это единая система с более чем 285 000 процессорных ядер (CPU core), 10 000 графических процессоров (GPU) и скоростью сетевого подключения 400 гигабит в секунду для каждого сервера. Благодаря размещению в облаке Azure суперкомпьютер обладает преимуществами современной облачной инфраструктуры, включая быстрое развертывание, надежность дата-центров и доступ к сервисам Azure.

Такая мощь нужна для обработки больших ИИ-моделей. Исторически эксперты по машинному обучению разрабатывали, наоборот, небольшие ИИ-модели, которые использовали наборы размеченных данных, чтобы научиться выполнять какую-то одну отдельную задачу – распознать объект, перевести текст. Однако некоторые из этих задач лучше выполняются одной большой моделью, обученной, к примеру, на миллиардах страниц публично доступных текстов. В результате она настолько тонко понимает нюансы речи, грамматику и контекст, что способна отлично выполнять несколько задач: подводить итоги длинных выступлений, модерировать чат в онлайн-играх и даже генерировать программный код по результатам поиска на GitHub.

Microsoft разработала собственное семейство подобных моделей – Microsoft Turing models – и самую крупную из существующих на данный момент языковую модель с 17 миллиардами параметров Turing Natural Language Generation (T-NLG). Код Тьюринговых моделей, а также методы их обучения в Azure Machine Learning скоро станут открытыми.

Читайте также:

• Xiaomi научит вашу дверь открываться шестью разными способами
• Представлен первый в мире AMD-ноутбук на базе Linux