Компания Microsoft собрала лучшие студенческие команды в Сиэтле на международный финал своего технологического конкурса Imagine Cup. Для участия каждый проект проходил отбор в региональных соревнованиях.
Команды приехали из 33 стран и представили 49 разработок. В этом году особое внимание было посвящено когнитивным функциям машин — зрению, слуху и вкусу.
Благодаря новым технологиям искусственный интеллект понимает, как выглядит дым, как кричат младенцы, какой ананас на вкус, и знает, как на всё это реагировать.
Работы участников можно условно разделить на семь сфер:
Многие разработанные командами сервисы не требуют дополнительного оборудования и встраиваются в телефон, а другие представляют собой недорогие и масштабируемые решения.
Содержание
- 1 Призёры конкурса
- 1.1 Проект smartARM, Канада — первое место
- 1.2 Сервис iCry2Talk, Греция — второе место
- 1.3 Сервис Mediated Ear, Япония — третье место
- 1.4 Coffee Break, команда из России
- 2 Ещё несколько конкурсных проектов
- 2.1 Сервис Pengram, США — победитель в номинации «смешанная реальность»
- 2.2 Сканер Pine, Малайзия
- 2.3 Приложение Eddie, Венгрия
Призёры конкурса
На последнем этапе соревновались три команды. Судьи оценивали их выступления по четырём параметрам: задумка, новаторство, технологичность и осуществимость. Отличительная особенность всех трёх изобретений — сочетание когнитивной функции машины, самообучаемости и облачных вычислений.
Проект smartARM, Канада — первое место
Технологии: компьютерное зрение, облачная платформа Azure, машинное обучение.
Команда из Канады представила роботизированный протез руки со встроенной камерой. Когда перед ней что-то появляется, машина распознает этот предмет и вычисляет для него оптимальный захват.
Пальцы протеза приготовятся к обхвату, если камера распознает кофейную кружку. А если там связка ключей, то указательный палец станет «крючком» и подцепит кольцо, которым они скреплены.
Для того, чтобы рука активировалась только в подходящие моменты, на тело человека крепится дополнительный датчик. Протез начинает работать, когда сенсор фиксирует сокращение определённой мышцы.
Если машина не узнала предмет, она попробует составить его трёхмерную модель и вычислить оптимальный захват.
В механизированных протезах нет ничего нового, но этот вариант обладает низкой себестоимостью. «Умные» протезы стоят десятки тысяч долларов, а прогнозируемая стоимость smartARM составит $100. Прототип команда распечатала на 3D-принтере.
smartARM в действии
Точность распознавания и захвата предметов растёт с пополнением базы данных, которую формируют сами пользователи. Судьи поинтересовались, как это будет работать с плохим интернетом: рука подгрузит базу данных при первой возможности.
Тимур Бергалиев — генеральный директор BiTronics Lab
Сегодня есть тенденция поиска новых форматов взаимодействия протеза и человека. Идея этого проекта достаточно интересная, и её нужно проверить на практике. С точки зрения управления протезом, не думаю, что она заменит традиционное считывание мышечных сигналов, но может стать дополнением к нему.
Для команды основная работа только начинается — нужно довести образец до серии. Это кропотливая работа, включающая обучение специалистов, ознакомительные мероприятия для медицинских сотрудников и пользователей.
Сервис iCry2Talk, Греция — второе место
Технологии: компьютерный слух, облачная платформа Azure, машинное обучение.
Для грудного ребёнка плач — это возможность выразить свои потребности. Дети кричат, когда им одиноко, больно, хочется есть, и даже когда их нужно укачать перед сном. Родители не всегда способны определить причину.
Матерям нужно несколько месяцев, чтобы научиться понимать причину младенческого плача. Они могут пройти в стрессе как для самой матери, так и для ребёнка, на потребности которого неправильно реагируют. Мы решили собрать записанные крики двухсот детей и предложить машине найти в них закономерности.
Анастасия Нтраха команда iCry2Talk
Сервис греческой команды в режиме реального времени обрабатывает детский плач, чтобы понять, чем он вызван. Особое внимание разработчики уделили возможностям интеграции: приложение может работать, как Shazam на телефоне, а может быть встроено в «умную» колонку. Она включится, когда ребёнок заплачет и передаст родителю сообщение с причиной.
В основе iCry2Talk лежат четыре механизма:
- «Денойзинг» — сервис обратит внимание только на те звуковые частоты, которые соответствуют детскому плачу.
- Анализ плача — алгоритм определит его характеристики: продолжительность всхлипываний, тон, громкость.
- Сопоставление — в базе данных будут найдены похожие крики других детей.
- Динамическая оценка — сервис решит, подходит ли опыт других родителей, и предложит своё решение.
Идея сервиса также не нова, и у него есть конкуренты. На фотографии команда защищает главное отличие от них — высокую точность работы, растущую с пополнением базы данных:
Сервис выбирает из пяти причин плача, и делает это верно в 89% ситуаций
Сервис Mediated Ear, Япония — третье место
Технологии: компьютерный слух, облачная платформа Azure, машинное обучение.
Шум в общественных местах мешает любой коммуникации: приходится повышать голос, прислушиваться к собеседнику. Для человека с нарушением слуха это может стать ещё большей преградой в общении.
Сервис от японской команды способен выделить определённые голоса из окружающего шума. Механика работы следующая: нужно установить сервис на смартфон и «сэмплировать» голоса родных и друзей. Другими словами, приложение запишет их голоса и запомнит их характерные особенности.
В разговоре с людьми, голоса которых есть в базе, достаточно вставить наушники и «прибавить» собеседникам громкость. Обработка одной секунды разговора происходит практически в реальном времени — задержка составляет 0,6 секунды.
Mediated Ear в действии
Судьям конкурса удалось «ударить» по слабому месту сервиса — без продолжительного сэмпла, выделить голос будет невозможно.
Решения для понижения уровня постороннего шума нашли своё применение в устройствах для проведения конференций. К примеру, технология NoiseBlock от Polycom отсекает посторонние шумы по нехарактерным для голоса частотам и включает микрофон, когда распознаёт человеческую речь.
Mediated Ear работает наоборот и ищет частоты голоса. Здесь могут быть трудности, связанные с работой микрофона или плохой акустикой помещения.
Сэмплирование и машинное обучение — это интересные решения, которые лучше остальных справятся с необычной манерой речи. Но сервис может «запутаться» в похожих голосах близких родственников.
Сергей Хомяков вице-президент Polycom в России:
Coffee Break, команда из России
Технологии: колориметрический анализ, машинное обучение, компьютерное зрение, облачное хранение.
Россию в конкурсе представляла команда Coffee Break из МГУ. Участники придумали установку, которая определяет характеристики кофе без химического анализа. Для этого сквозь напиток пропускается пучок света и по его преломлению и отражению определяются свойства: кислотность, крепость, плотность. Химические сенсоры в модели тоже есть, по их показателям машина учится.
К международному финалу команда разработала конечный продукт — «умную» кружку. Внутри неё расположена «ванночка», в которой измеряются характеристики напитка. В Москве участники команды отметили, что их устройство работает не только с кофе, поэтому по приезду в Сиэтл купили пару бутылок вина.
Есть традиционный способ понять, какое вино на вкус: пригласить сомелье и дать ему попробовать. Идея проекта — определить вкус напитка без участия человека. Задача решена частично: мы научились измерять характеристики жидкостей и учим машину связывать их с субъективными человеческими ощущениями — сладость, оттенки вкуса и фруктов. С точки зрения бизнеса проект хорош тем, что нам под силу анализировать даже закрытые бутылки — определять контрафакт.
Для себя определили две причины, по которым не удалось занять призовое место: во-первых, многие проекты находятся на другом этапе жизненного пути, команды давно сформировались и успели сделать больше. Во-вторых, наш проект сильно выделялся на фоне остальных: он скорее «куражный» и не решает социальные проблемы, а судьям это важно.
Из других проектов понравился iCry2Talk, занявший второе место. У одного из участников нашей команды есть младшая сестра, и он на себе прочувствовал, насколько сложно понимать, чего хочет ребёнок.
Ещё запомнился проект, который помогает фермерам определить улей с заболевшими пчёлами. Камеры снимают, что происходит в ульях, а машина по поведению насекомых разбирается, здоровы ли они. На наш взгляд, этому проекту было под силу победить, но ему не хватило социальной составляющей, как и нашему.
В обоих этих проектах команды обращались к профессионалам: педиатрам и сиделкам, фермерам и биологам — исследовательская сторона работы вызывает уважение.
Команда Coffee Break — Игорь Балашов, Евгений Бобров и Руслан Габдуллин
Ещё несколько конкурсных проектов
Сервис Pengram, США — победитель в номинации «смешанная реальность»
Идея пришла, когда родители в очередной раз позвонили спросить, как настроить роутер, а я опять не смог им помочь.
Уилл Хуан — команда Pengram
Сервис работает с очками виртуальной реальности, в них обзор дополняется голограммой реального человека. Это может быть инженер или эксперт, который наглядно покажет сложные вещи.
Участники команды демонстрировали работу на примере починки квадрокоптера
В очках можно проигрывать записанную голограмму, это поможет в обучении специалистов разных отраслей. Но основной упор студенты сделали на трансляцию голограммы в реальном времени, когда компетентный инженер дистанционно показывает, как чинить оборудование.
Сканер Pine, Малайзия
Малазийские студенты взялись измерять сладость ананасов. Такие приборы уже есть, но для их работы нужно вырезать кусочек фрукта и несколько минут анализировать его химический состав. Команда Pine это делает без нарушения целостности фрукта и гораздо быстрее.
Изобретение команды схоже с российской разработкой — свет проходит сквозь ананас, и по его спектральному отпечатку определяется концентрация сахара.
Приложение Eddie, Венгрия
Приложение от венгерских студентов — пример законченного продукта, оно уже доступно в App Store и Google Play. Разработчики обозначили проблему: все школьники умеют пользоваться смартфоном, но в учебных программах это никто не использует.
С помощью камеры телефона, можно распознать иллюстрацию в школьном учебнике, и на экране появится её трёхмерная модель. Это вовлекает младшеклассников в обучение, а взрослым ученикам помогает детальнее рассматривать сложные объекты. К примеру, строение органов, если речь идёт о студентах медицинских вузов.
Дополненная реальность для школьных учебников
Источник: vc.ru
