Вот это да! Ученые создали аналог «МРТ для ИИ», чтобы понять, о чем он думает

Специалисты по искусственному интеллекту начинают изучать модели ИИ, как если бы они были новыми биологическими организмами. Цель — понять их внутреннюю работу.

Новая стратегия включает методы, аналогичные биологическим. Например, в Anthropic разработали инструменты для отслеживания процессов внутри модели при выполнении задачи — подход, называемый «механистической интерпретируемостью». Это напоминает использование МРТ для изучения активности мозга.

«Это очень похоже на биологический анализ. Это не математика или физика», — отмечает Джош Бэтсон из Anthropic.

Другой эксперимент имитирует работу биологов с органоидами: создана упрощенная нейросеть (разреженный автокодировщик), чью внутреннюю структуру анализировать проще, чем у обычных больших языковых моделей. Также используется мониторинг «цепочки мыслей», когда модель объясняет свои рассуждения — подобно внутреннему монологу человека. Это помогает выявлять нежелательное поведение.

Однако опасность в том, что будущие модели, особенно созданные самим ИИ, могут стать настолько сложными, что понять их будет невозможно. 

Другие новости:

• Представлен Lenovo Legion Pro 27Q-10 — киберспортивный монитор с QD-OLED и 280 Гц 
• Sharge готовит тонкий магнитный пауэрбанк с поддержкой Qi2, но он не похож на все остальные продукты бренда 

Источник: Futurism