Cовременные Big Data решения: где они используются и что еще им по силам?

Основным двигателем внедрения решений Big Data является осязаемая выгода для бизнеса. Веб-страницы, транзакции, клики, лайки и твиты — бизнес-ценность выжимается буквально из каждого бита доступной информации. Сейчас многие интернет-компании перешли на модель монетизации, в которой пользователь платит за услуги своими персональными данными. Они превращаются в персонализированную рекламу, реклама двигает продажи, и компания получает прибыль.

Кроме этой модели существуют и другие сценарии извлечения выгоды из больших данных. К примеру, банки борются за клиентов, соревнуясь в качестве алгоритмов по выявлению мошеннических транзакций. Еще один способ использования накопленных данных в пользу бизнеса — построение описательной аналитики, которая помогает компаниям понять своих клиентов, разделить их на категории и скорректировать стратегию своего развития.

Областью, в которой технологии Big Data только начинают раскрывать свой потенциал, можно назвать «Интернет вещей». Идея проста: хочется, чтобы повседневные предметы адаптировались под пользователя, взаимодействуя как с обычными домашними объектами, так и с другими умными устройствами в домашней сети.

Но чтобы с нуля научиться работать с произвольной домашней средой, такому девайсу потребуется собрать огромное количество информации о параметрах дома и его обитателях. Очевидное решение — использовать опыт уже благополучно живущих в других домах умных устройств.

Сдерживающий фактор

Ряд преград затрудняют использование данных, полученных от других пользователей, не нарушив их приватность, — умные устройства сильно связаны с частной жизнью своих владельцев. Кроме того, необходимо тщательно продумать вопрос безопасности. Использование умного обогревателя не должно привести к пожару, а плита не должна допустить утечки газа.

Из этого вытекает еще одна проблема — на кого ложится юридическая ответственность в несчастных случаях, связанных с использованием IoT? Неопределенность в отношении этих вопросов препятствует ведению бизнеса в области интернета вещей и, соответственно, внедрению промышленных решений Big Data.

Чем полезны Big Data быть полезна конечному пользователю

В первую очередь, речь идет о персональных, когда пользователь — субъект и инициатор использования Big Data. Часто на этот вопрос отвечают банальными фразами типа «каждый раз, когда вы пользуетесь поисковыми системами Google или Яндекс, вы работаете с большими данными».

Однако суровая правда заключается в том, что пока разговор о Big Data приложениях для массового пользователям (B2C big data, если хотите) больше похож на рекламные плакаты эпохи «атомного романтизма» 50-х, где домохозяйкам обещают атомные пылесосы, а детям — атомные игрушки. Трудно представить ситуацию, в которой массовый пользователь будет являться не просто источником информации или потребителем готовых приложений, а полноценным участником процесса.

Где Big Data лучше всего показали свои преимущества

Первыми технологии big data стали применять те отрасли, деятельность которых завязана на обработке больших потоков информации ежедневно, — банки, мобильные операторы, торговые сети. В основном работа с данными в этих сферах направлена на формирование портрета клиента, чтобы предложить ему наиболее подходящие для него услуги.

Каждая из них имеет свою специфику, например, операторы сотовой связи сейчас оперируют достаточно детальными данными об абонентах, чтобы извлекать из них серьезную прибыль.

Более того, некоторые мобильные операторы не просто используют эти данные для повышения эффективности, но и создают отдельные ветви бизнеса по разработке B2B-сервисов на основе собираемых данных.

Вместе с тем, Big Data очень медленно проникает в государственные структуры. Казалось бы, нужно радоваться, что государство не спешит превращать жизнь граждан в матрицу. На самом деле, часто устаревшие методы работы с данными, которые обусловлены как административными преградами, так и недостатком экспертизы в госструктурах, мешают использовать BD во благо населения.

Хотя, с точки зрения зрелости в области Big Data, российские госструктуры крайне неоднородны: например, почти все организации так или иначе касающиеся государственных финансов могут дать фору многим видным коммерческим банкам в части работы с данными.

Конечно, нам еще далеко до полного раскрытия потенциала технологии в повышении эффективности государственного управления. Помимо очевидных примеров вроде помощи в раскрытии преступлений и единого реестра документов, существуют несколько задач, которые BD помогла бы решить на качественно более высоком уровне.

Например, пока еще не раскрыт весь потенциал больших данных в медицине. Алгоритмы машинного обучения уже активно применяются в диагностике онкологических заболеваний, но этот подход не используется в других областях, например, в лечении гриппа и персонализированных советов по диете.

Было бы интересно посмотреть на связку больших данных и дополненной реальности. Городские и музейные гиды, инструкции ко всему, что попадает в объектив вашей мобильной камеры, советы по первой помощи — сейчас просто не хватает фантазии, чтобы представить эффект синергии двух этих технологий в будущем.

Что мешает дальнейшему развитию

Технические проблемы, связанные с использованием решений Big Data, в течение последних лет удалось полностью устранить. Задачи, для решения которых недостаточно текущего набора технологий, встречаются крайне редко. Тем не менее, есть несколько факторов, замедляющих развитие big data.

Часто бизнес-процессы в компании недостаточно отлажены для применения новых технологий. Разные отделы компаний создают аналитические хранилища для своих нужд, данные в этих хранилищах оказываются рассогласованными и в результате, когда появляется необходимость решать более масштабные аналитические задачи, интеграция данных из разных источников оказывается сильно затруднена — требуется переход на общий стек технологий и кропотливая совместная работа аналитиков. Таких ситуаций можно избежать, если изначально ответственно подходить к хранению данных — стремиться к централизации, так называемой «единой версии правды».

Психологической преградой к внедрению Big Data до сих пор является мнимая дороговизна таких решений. При словах большие данные в голове возникает картинка дата-центра со стройными рядами серверов астрономической стоимости. На самом деле, сейчас существует большое количество платформ, предоставляющих виртуальные вычислительные ресурсы. Самые масштабные из них — такие как Amazon Web Services и Microsoft Azure — берут на себя практически все управление кластерами клиентов.

С точки зрения разработки ПО для Big Data ситуация также очень изменилась за последние три года. Многие open source проекты перешли из стадии тестирования в стабильные релизные версии, технологии виртуализации и контейнеризации позволяют разворачивать приложения любой сложности на кластерах любых конфигураций. На рынке появляется все больше специалистов, готовых работать с этими технологиями.

Искусственный интеллект, нейронные сети и Big Data

Без этой связки нейронные сети и инструменты глубокого обучения теряет смысл. Дело в том, что для эффективной работы необходим значительный объем исходных данных для обучения модели. В такой ситуации без инструментов Big Data просто не обойтись.

Сейчас инструменты искусственного интеллекта рука об руку с Big Data шагают по миру просто устрашающими темпами.

О том, как применяются технологии Big Data в сфере аналитики мы попросили рассказать руководителя направления Data Science Teradata Россия Александра Смирнова

«Компания Teradata использовала технологии нейросетей и искусственного интеллекта задолго до того, как вокруг них поднялся шум.

Из последних новинок технологического характера — Teradata Analytical Platform — сплав высокопроизводительной базы данных и передовых аналитических инструментов, включая и алгоритмы искусственных нейронных сетей.

Кроме этого, мы реализовали множество проектов в области глубокого машинного обучения в разных отраслях, начиная с систем распознавания объектов на дороге для производителей автомобилей и заканчивая определением банковского мошенничества с использованием искусственного интеллекта.

Наиболее ярким, наверное, является кейс из банковской сферы — Teradata создала математическую модель, которая позволила сократить количество ложноположительных срабатываний системы обнаружения карточного мошенничества минимум в два раза. В этой ситуации Big Data и искусственный интеллект не только и не столько помогают крупным корпорациям заработать, но и делают жизнь простого человека лучше.»

Где можно увидеть big data в повседневности

Большинство людей уже используют Big Data, но чаще всего опосредованно — через веб-приложения, банкоматы, даже турникеты метро.

В дальнейшем большие данные могут стать более «личными» именно в таких областях, как «интернет вещей» — датчики умных объектов будут производить достаточное количество информации, например, для применения алгоритмов машинного обучения, чтобы учитывать предпочтения пользователя.

Тотальный контроль: как супермаркеты следят за покупателями

Фото: компании-производители, www.pexels.com