Tiiny AI показала карманный суперкомпьютер для ИИ, который тянет миллиарды языковых моделей локально

Американский стартап Tiiny AI представил Pocket Lab — миниатюрный персональный суперкомпьютер, который помещается в ладони, весит около 300 г и способен локально запускать языковые модели до 120 млрд параметров. Устройство уже попало в Книгу рекордов Гиннесса как самый маленький мини-ПК, способный работать с LLM-моделями уровня 100B без обращения к облаку.

Pocket Lab построен на 12-ядерном процессоре ARMv9.2 и собственном NPU с производительностью до 190 TOPS. Внутри — 80 ГБ оперативной памяти LPDDR5X и SSD-накопитель на 1 ТБ, что позволяет устройству тянуть тяжёлые модели, сложные цепочки рассуждений, генерацию контента и автономных ИИ-агентов. При TDP в 30 Вт и потреблении около 65 Вт это полноценная оффлайн-машина для инференса, рассчитанная на работу без облака и с максимальной защитой данных.