Ученые научились распознавать звук на беззвучных видео

Наверняка многие знают о эхолокации, например, из школьного курса биологии. Это способ ориентирования в пространстве, при помощи которого положение объекта определяется по времени задержки возвращений отражённой волны. Его используют летучие мыши. При полете они издают ультразвук, звуковая волна которого отражается от того или иного объекта, ее то и улавливают мыши, тем самым ориентируясь на местности. На днях исследователи из Массачусетского технологического института вместе с компаниями Adobe и Microsoft показали алгоритм, способный распознать звуковые колебания, отраженные от предмета, снятого на видео. По принципу работы он напоминает как раз эхолокацию.

Алгоритм работает на основе распространения звуковых волн в пространстве от источника, которые передают энергию колебания другому телу. Он раскладывает видео на кадры и применяет специальные фильтры, которые могут точно восстановить звуковые колебания. С его помощью исследователи смогли распознать и воспроизвести звук на видео, записанном без звука. На нем был лишь запечатлен объект, принимающий звуковые колебания, в данном случае им стало комнатное растение.

При съемке видео на заднем фоне играла музыка, однако камера снимала видео в беззвучном режиме. Именно эту музыку ученые и смогли распознать при помощи своего уникального алгоритма. К сожалению, чтобы нормально использовать его исследователям пришлось использовать видеокамеру, которая может снимать видео с частотой 6000 кадров в секунду. Однако разработчики сообщают, что с помощью этого алгоритма можно распознать звук и с видеороликов, снятых с частотой 60 кадров в секунду, но из-за этого качество результата получится очень низким.