Какими будут манипуляторы и интерфейсы будущего

Какие методы управления виртуальной реальностью ждут нас в будущем? Удобство — это субъективное ощущение или его можно предугадать? Ответы на эти вопросы можно получить уже сейчас, если взглянуть на задачу с точки зрения науки.

Кадр из фильма «Матрица:Революция». Лана и Эндрю Вачовски. Warner Brothers. 2003 год* С самых древних времен для взаимодействия с окружающим миром человек использовал собственное тело. Однако все существенно усложнилось с появлением процессов, управлять которыми необходимо дистанционно. Между человеком и процессом встала машина, а вместе с этим возникли и новые органы управления — всевозможные манипуляторы, приводящие машину в действие. Так, садясь в автомобиль, вы управляете его движением не непосредственно, как если бы это были ваши собственные части тела, а с помощью руля и педалей. Однако если в автомобилях средства управления максимально унифицированы, то садясь, к примеру, в самолет, вы можете обнаружить в кабине штурвал, ручку управления или даже джойстик, которые довольно сильно различаются по своей конструкции и удобству использования. Максимально же остро проблема манипуляции встала с появлением виртуальной реальности. Так как внутриэкранное пространство предоставляет нам огромную свободу действий, то и манипуляторы, и интерфейсы для взаимодействия с ним могут быть самыми разнообразными. И, конечно, удобство этих устройств может кардинально различаться.

Что стоит по ту сторону машины

Чтобы понять, как работает тот или иной манипулятор и в чем заключаются его преимущества и недостатки, а заодно оценить перспективы самых современных технологий, необходимо взглянуть на обратную сторону этого взаимодействия, а именно человека. Ведь устройство человеческого организма, безусловно, накладывает ряд ограничений на его возможности.

Например, неудобное положение руки, форма кнопок и прочие элементы, требующие привлечения дополнительного внимания, вызывают у нас ощущение дискомфорта. Это первая из составляющих эргономики — удобство формы и положения устройства управления. В общем случае, чтобы получить близкую к идеальной форму манипулятора, необходимо сделать так, чтобы тело человека при взаимодействии с ним производило минимальные отклонения от состояния покоя. Аналогичным образом влияет на ощущение комфорта при использовании и сама форма элемента, за который приходится держаться: чем меньше он отклоняется от анатомической формы человека, тем удобнее будет устройство. В целом же, идеальный манипулятор — это тот, который человек не замечает вовсе, как если бы он был частью его тела.

Именно поэтому, например, для многих задач нам кажется удобным управление касанием сенсорного дисплея с высокой чувствительностью на современных мобильных устройствах (смартфонах и планшетах), ведь в таком случае взаимодействие происходит практически напрямую с виртуальными элементами. Некоторые, конечно, оспорят это утверждение, справедливо указав на то, что в различных ситуациях куда удобнее набирать цифры и текст на физической клавиатуре, нежели виртуальной. И это открывает еще одну большую проблему, связанную с ограничениями человеческого организма, — обратную связь.

Время отклика человека

Чтобы совершить такое простое действие, как перемещение руки в пространстве, мозгу нужно задействовать десятки разных мышц, часто соединенных между собой перекрестными связями нервных волокон. Эта задача сама по себе математически сложна. К тому же на нее накладываются физиологические процессы, такие как пульсация кровеносной системы, которые препятствуют однозначной трактовке управляющего сигнала. В отличие от робота, которому вы можете задать алгоритм «переместить манипулятор из точки X в точку Y», человек для выполнения подобной задачи пользуется каналами обратной связи. Если вы хотите дотронуться до точки на стене, то вы тянетесь к ней, позиционируя руку с помощью зрения, а факт касания фиксируете тактильными ощущениями.

В то же время, чтобы понять, что вы протянули руку в нужном направлении, нужна помощь глаз: информационный поток от сетчатки глаза поступает в мозг, где должны быть проведены сложнейшие вычисления по распознаванию образов, после чего будет сделан вывод о правильности или неправильности движения. И это при том, что «разрешение» глаза составляет примерно 140 мегапикселей при 30–60 условных кадрах в секунду. Такая задача вряд ли по силам даже самым современным компьютерам, и мозг также вынужден напрягаться для ее выполнения. А нервное напряжение провоцирует ощутимый дискомфорт. Отсюда следует и логичное развитие тач-интерфейсов — в будущем экраны смогут не только передавать зрительные образы, но и менять форму. Представьте себе, что на вашем смартфоне при переключении в режим набора номера на поверхности экрана формируются вполне осязаемые кнопки. И это не технологии далекого будущего — подобные экраны появятся уже в ближайшем десятилетии.

 

---

Что вы знаете о высшей математике?

Возвращаясь к объему вычислений, требуемому для выполнения той или иной задачи, мы обнаруживаем еще одно из ограничений нашего организма, которое необходимо учитывать при выборе манипулятора: нагрузка нервной системы при управлении виртуальной средой должна быть минимальной. Так, наш с вами мозг, даже не зная ничего о высшей математике, все же вынужден в повседневной жизни ею пользоваться. Хотя происходит это на подсознательном уровне, но нагрузка весьма ощутима. Чтобы проиллюстрировать это, вспомним о давнем споре геймеров консолей и ПК: что удобнее — клавиатура с мышью или геймпад? Представьте себе управление с помощью стиков геймпада в играх от первого лица. Отклоняя стик, мы управляем скоростью поворота камеры, а нам требуется произвести угловое перемещение. В математике скорость является производной функции перемещения. То есть, чтобы повернуть камеру в нужном направлении, мозг человека должен произвести интегрирование функции скорости. При этом, как известно, возникает неизвестный член, которым выступает калибровка чувствительности стика. Так как калибровка у разных игр разная, да к тому же может быть нелинейной, для ее учета мозг вынужден пользоваться сразу двумя каналами обратной связи — тактильным и зрительным. И тут уж неудивительно, что подобная задача оказывается достаточно трудной, особенно неподготовленному пользователю. Если же управлять направлением взгляда с помощью мыши, то никаких дополнительных вычислений не требуется, так как и на экране, и в жизни мы управляем одинаковой величиной — перемещением.

В то же время, если игровой процесс требует от нас управления скоростью (например, в гоночных симуляторах), использовать мышь практически невозможно, так как нам бы пришлось постоянно двигать манипулятор с нужной скоростью. В таком случае в играх на ПК все сводится к банальному нажатию кнопки и передачи управления процессом компьютеру. Без этой помощи педаль газа при нажатии на кнопку переходила бы в крайнее положение, и управлять машиной было бы задачей сродни укрощению быка на родео. Обе этих ситуации также не учитывают окружения, в котором находится пользователь. Управлять с клавиатуры и мыши, может быть, и удобно, но только если вы сидите за столом перед монитором. Тут и речи не идет о диване и телевизоре, не говоря уже о том, чтобы играть лежа. И тут проявляется еще один из факторов, который влияет на удобство управления, — напряжение.

Почему джойстики не так удобны?

Играть в авиасимуляторы на клавиатуре — удовольствие сомнительное. Однако, купив подходящий джойстик, многие могут обнаружить, что и им управлять не так удобно, как хотелось бы. Главной причиной неудобства является отличие усилия, которое требуется для отклонения джойстика. В реальном самолете или вертолете ручка управления имеет большое плечо (ось вращения находится под полом кабины). За счет этого для отклонения требуется потянуть ручку в нужную сторону. Когда вы попытаетесь проделать то же самое с джойстиком, он просто съедет вдоль стола. Проблему можно было бы решить, если заставить двигаться ручку джойстика по сферической опоре. В этом случае кривизной сферы можно было бы задать виртуальное плечо такого же размера, как в самолете.

Расслабьтесь и получайте удовольствие

На первый взгляд, фактор напряжения — один из самых простых и понятных. Если рычаг, который мы должны отклонять при управлении машиной, требует приложения больших усилий, нам становится неудобно. Однако это не единственная нагрузка, которой мы подвергаемся в повседневной жизни.

Вспомните хотя бы о гравитации. Нам кажется, что мы привыкли существовать в поле естественного притяжения Земли, и у нас в организме даже есть целая группа мышц, предназначенных для фонового парирования данной нагрузки. Однако этот фактор способен повлиять на удобство манипулирования. Например, при управлении с помощью жестов, набравшем популярность в уходящем поколении консолей, необходимо постоянно держать руки на весу. В отличие от привычной всем компьютерной мыши, перемещая курсор которой по экрану, мы напрягаем руку только в момент движения, такие контроллеры, как Wii Mote, PS Move или Kinect, требуют от нас непрерывного напряжения. Даже когда элемент на экране не нужно перемещать, руки продолжают бороться с гравитацией и курсор будет дрожать на экране вместе с вашими руками. В случае же с привычной классической мышью гравитация совместно с силой трения позволяют надежно фиксировать указатель в нужной позиции.

Устройства и интерфейсы будущего разрабатывают сегодня

Проекционная клавиатура

Пока ничего удобнее клавиатуры для ввода текста не придумали. Однако габариты стандартных моделей, даже без управляющих кнопок, весьма велики. В обычной жизни, чтобы написать сообщение со своего смартфона или планшета, нам приходится довольствоваться экранной клавиатурой. Набирающим популярность решением этой проблемы является проекционное устройство. Разместив на столе небольшой модуль, можно получить полноразмерную клавиатуру для своего мобильного гаджета.

Достоинства: Полноразмерная клавиатура, малые габариты при транспортировке Недостатки: Отсутствие тактильного ощущения кнопок, требуется дополнительное питание Образцы в продаже: Celluon Magic Cube. Цена: 6000 руб.

Бесконтактный сенсорный контроллер

Первые подобные устройства появились довольно давно. Например, для приставки PlayStation 2 продавался контроллер Eye Toy, который с помощью обычной камеры распознавал движения и позволял управлять происходящим в играх. Технологию подхватила Microsoft, выпустив для своей игровой консоли Xbox 360 сенсор Kinect. Это устройство научилось распознавать глубину за счет создания инфракрасной сетки и анализа ее искажений. Несмотря на свое ограниченное применение на текущий момент, технология дистанционного отслеживания объектов имеет большой потенциал развития. Так, с увеличением разрешающей способности камер и удешевлением инфракрасных сенсоров она позволит распознавать движение пальцев, что значительно расширит степень взаимодействия с виртуальными объектами.

Достоинства: Позволяет управлять собственным телом, возможно общение с машиной на языке жестов Недостатки: Отсутствие обратной связи кроме визуальной, зависимость от освещенности и одежды пользователя Образцы в продаже: Microsoft Kinect. Цена: 4000 руб.

Дополненная реальность

В начале этого года разработчикам ПО поступили анонсированные в 2011 году очки дополненной реальности Google Glass. Этот проект не единственный, и в скором времени свои аналоги представят все основные производители мобильных устройств. Вместе с тем изменения претерпят и методы взаимодействия с виртуальным миром. Принцип управления в данном случае схож с бесконтактными сенсорными контроллерами, с тем лишь отличием, что для того, чтобы увидеть результат взаимодействия, не нужно смотреть в экран.

Достоинства: Взаимодействие напрямую с виртуальным миром, можно использовать глаза для указания объектов Недостатки: Отсутствие обратной связи помимо визуальной Образцы в продаже: Google Glass (ожидаются в конце 2013 года). Цена: стоимость комплекта разработчиков составила $1500

Энцефалографическая «мышь»

Всем знакома такая медицинская процедура, как электроэнцефалография. Она построена на считывании электрической активности мозга через контакты, располагаемые на голове. Известно, что, проделывая определенные мысленные упражнения, можно изменять активность той или иной части мозга. К этим импульсам можно привязать значения, вроде нажатия клавиш или смещения курсора. По такому принципу создано и продается уже некоторое количество устройств. Однако для того, чтобы научиться управлять с помощью изменений активности головного мозга, человеку порой требуется не меньше усилий, чем чтобы выучить незнакомый язык.

  Достоинства: Позволяет управлять виртуальными объектами без помощи тела Недостатки: Длительное обучение, высокая утомляемость пользователя и значительный уровень помех Образцы в продаже: Emotive EPOC. Цена: от 9000 руб.

Mercedes-Benz: управление жестами

Компания Mercedes-Benz недавно представила свой взгляд на управление автомобилями будущего. Система Dynamic & Intuitive Control Experience (DICE) в новом концепт-каре использует серию датчиков обнаружения движения рук, которые контролируют все параметры работы автомобиля, начиная с систем безопасности и заканчивая навигационной системой с проекцией изображения. Место обычного лобового стекла занял сложный дисплей, который демонстрирует то, что водитель предпринимает в ходе управления транспортным средством, а заодно и участников дорожного движения. Как уверяют разработчики автомобиля будущего, уже через несколько лет все кнопки управления, используемые в автомобилях, исчезнут, а вместо этого автомобиль научится распознавать любые жесты водителя.

Интерфейсы будущего в профессиональной сфере

DisplAir: тачскрин без экрана

Если тачскрин уже стал привычным делом, то что делать, когда изображение выводится прямо в воздухе, без каких-либо экранов? Компания DisplAir, выпускающая одноименное устройство, проецирующее изображение на ламинарный поток холодного пара, нашла свое решение этой задачи. Камера, расположенная позади воздушного дисплея, распознает координаты вашей руки в плоскости экрана, а инфракрасный датчик фиксирует факт «касания». Таким образом, просто дотронувшись до видимого изображения в воздухе, можно управлять объектами, отображаемыми на воздушном экране. Этот метод пригодится и для пространственных голографических устройств — конечно, когда таковые появятся.

Виртуальное моделирование

Крупнейшие мировые автомобильные концерны уже много лет используют для проектирования и изучения автомобилей комнаты виртуальной реальности. Инженеру достаточно надеть очки дополненной реальности, взять в руки пульт — и абсолютно любую деталь автомобиля можно разобрать по слоям и сымитировать ее работу на 3D-модели. Для создания интерактивных сценариев производства используются особые проекторы и поляризаторы, а также специальная оптика, которая воспринимает движущиеся объекты. Действия, требующиеся от операторов реальной сборочной линии, моделируются при помощи виртуального сотрудника, что помогает специалистам оптимизировать процессы сборки.

Интерфейсы будущего в кино

Много интересного разработчики могут перенять из интерфейсов различных систем, которые появлялись в фантастических фильмах. В разные годы они отражали представления о дизайне  будущего, опережая появление прототипов схожих устройств на многие годы вперед. Мы подобрали кадры из популярных кинолент, которые покажут, как представляли себе компьютеры будущего режиссеры и фантасты.