Извлечение звука по высокоскоростному видео объекта

Достижение звуком какого-нибудь объекта, приводит к небольшим колебаниям поверхности этого объекта.
В видео показано, использование только высокоскоростное видео объекта для извлечения этих мельчайших колебаний. По ним частично восстанавливается звук, вызвавший их.
Это позволяет нам превратить повседневные предметы-стакан воды, растение в горшке, коробка тканей, или пакетик чипсов-в визуальные микрофоны.

В видео восстановлены звуки из высокоскоростной съемки разнообразных объектов с различными свойствами.

Используются как реальные, так и смоделированные данные, для изучения некоторых из факторов, влияющих на нашу способность восстановить звук по изобращению.

Оценивается качество восстановленных звуков по критериям разборчивости и соотношения сигнал/шум (SNR) показатели.

Также показано, как использовать обычную потребительскую камеру, чтобы восстановить звук на стандартной частоте видео кадров, и использование пространственного разрешение этого метода для визуализации, как вибрации, связанных со звуком, изменяются на поверхности объекта, который используется, для восстановления вибрации объекта.