Распознавание лиц уже не новинка и этим не удивишь современных пользователей, они умеют различать и эмоции человека, и интонацию. 55% информации человек передает жестами и это заинтересовало ученых из Института робототехники университета Карнеги — Меллон и они решили создать программу, которая смогла бы читать человеческие жесты.
Для разработки ученые задействовали 500 высокоточных видеокамер, которые установлены в куполе высотой в два этажа. Все камеры создают огромное количество материала, и чтобы обработать хотя бы один кадр нужны значительные вычислительные ресурсы. Система одновременно анализирует положение головы, туловища, ног и всех пальцев рук, а также выражение лица.
Лидер проекта Ясер Шейх считает, что до их разработки компьютеры были слепы к невербальным знакам, но их разработка все изменит. Сейчас они работают для того, чтобы использовать только одну камеру для анализа при этом, чтобы компьютер мог анализировать целую группу людей, которые взаимодействуют друг с другом.
Исходный код программы находится в свободном доступе, а более подробную информацию разработчики планируют предоставить на конференции Computer Vision and Pattern Recognition Conference (CVPR) 2017, которая проходит с 21 по 26 июля.
