21-22 сентября 2017 в рамках Международной конференции «ФИЗТЕХБИОМЕД 2017» представители организаций, победивших в конкурсе «Развитие-НТИ» первой и второй очереди, а также конкурса «УМНИК-НТИ» по дорожной карте НТИ «Нейронет» провели презентации своих проектов и рассказали о ходе их реализации.

От компании Бизнес Бюро выступил технический директор, кандидат физ. мат. наук Арташес Сарафасланян, который представил слушателям проект системы обработки мультиканальной сенсорной информации («СОМСИ»), призванной помочь инвалидам с одновременным нарушением слуха и зрения максимально интегрировать в социальную жизнь общества, и расширить возможности по самостоятельному ориентированию и независимому проживанию.

Данную систему слепоглухие люди смогут использовать для решения целого ряда задач, например, для распознавания текста, людей, объектов (и дома, и на работе, и на улице), графики и изображений (получая текстовое описание). Система также позволит инвалидам с нарушенным слухом и зрением в ориентировании на улице и в помещениях, предупреждать и информировать их в условиях чрезвычайных ситуаций.

Функционал системы можно условно разделить на три основных группы:
- Навигация и ориентирование
- Распознавание объектов
- Распознавание звуков

Потенциальные пользователи также разделены на три группы в зависимости от основного канала коммуникации: СЛУХ, ЗРЕНИЕ и ТАКТИЛЬНЫЙ. Во всех случаях, поступающая информация перерабатывается и перекодируется в осмысленный текст.

— В случае, когда основной канал коммуникации — это СЛУХ, осмысленный текст переводится в ОЗВУЧИВАНИЕ и передается в наушники, слуховой аппарат или кохлеарный имплант.
— В случае, когда основной канал коммуникации это ТАКТИЛЬНЫЙ, информация переводиться в тактильные сообщения и/или «тревожные» вибрации.
— В случае со ЗРЕНИЕМ, осмысленный текст переводится в ВИЗУАЛЬНЫЕ ПРИМИТИВЫ и передается на зрительный (или РЕТИНАЛЬНЫЙ) имплант.

Система анализирует получаемую видео- и аудио- информацию, производит очистку сигнала с использованием цифровых алгоритмов устранения естественных помех, передает данные на вычислительную нейросетевую платформу для последующего перекодирования видео- и аудио-информации в символьную форму (осмысленный текст). В последующем данный текст представляется в одной из форм, доступных для слепоглухих – отображение визуальных примитивов, озвучивание текста или вывод в тактильной форме.

Если тактильные мониторы (типа дисплея Брайля или коммуникатора Морзе), слуховые аппараты и, даже, кохлеарные импланты уже давно и прочно вошли в нашу жизнь, то применение ЗРИТЕЛЬНЫХ ИМПЛАНТОВ можно отнести к новейшим вызовам современности.

Разработка проекта проходит с участием Фонда поддержки слепоглухиих «Со-единение», Центра развития социальных инноваций «Технологии возможностей» и Научно-производственной лаборатории «Сенсортех» и финансовой поддержке Фонда Содействия Инновациям.

Материалы по этому проекту компании Бизнес Бюро будут опубликованы в официальном иллюстрированном каталоге проектов Нейронет.