Ізраїльські вчені представили Lamphone - метод дистанційного підслуховування, який дозволяє в реальному часі розшифровувати промову по вібраціях поверхні звичайної стельової лампочки при попаданні на неї звукових хвиль. Для такого підслуховування використовується телескоп з підключеним до нього фотодіодом, який перетворює світло на нього в електричний сигнал, а сам сигнал потім конвертують в мовленнєву спектрограму за допомогою алгоритму, після чого з неї вже можна витягти сказане. За допомогою Lamphone дослідникам вдалося розпізнати і відновити промову і музику з кімнати на відстані 25 метрів з точки спостереження на мосту. Докладніше метод описано на присвяченому проекту сайті.
Коливання об'єктів, які з'являються, коли з їх поверхнею стикається звукова хвиля, спостерігачеві не помітні. Розпізнати їх, зрозуміло, все одно можна, але для цього потрібна камера з дуже високою кадровою частотою, а коливання навіть на уповільненому відео будуть ледь видно. У 2017 році розробникам з Массачусетського технологічного інституту, цього, однак, вистачило, щоб перетворити ледве помітні коливання об'єктів у звук, який програється поруч з ними: за змінами пікселів на зображенні рослини, знятої на камеру з частотою 2200 кадрів на секунду, їм вдалося відновити цілу мелодію.
У такого методу, нехай він і досить добре працює, є серйозні обмеження. По-перше, камери з великою кадровою частотою досить дорогі (втім, метод працює навіть на відео з 60 кадрами в секунду). По-друге, роздільна здатність зображень при зйомці з високою частотою зміни кадрів виходить високою і вимагає багато часу на обробку та аналіз, тому такий метод складно використовувати в реальному часі. Крім того, з ним також складніше працювати з далекої відстані, а технологія, яка конвертує вібрацію в звук, потрібна швидше для непомітного прослуховування, в тому числі - з далекої відстані.
Бен Нассі (Ben Nassi) з Університету імені Бен-Гуріона в Негеві і колеги вирішили позбутися всіх цих обмежень і розробили новий метод прослуховування по вібраціях, що коливаються об'єктом в якому служить звичайна звисаюча зі стелі лампочка. Замість камери з високою кадровою частотою для реєстрації коливань використовується фотодіод - світлочутливий напівпровідник, який перетворює опромінюючі його фотони в електричний струм. Світло від лампочки на фотодіод надходить через аматорський телескоп, який можна поставити досить далеко від самої лампочки.
Щоб переконатися, що такий метод буде працювати, вчені підвісили на стелю лампочку гіроскоп і програвали звук на відстані в один сантиметр з різною гучністю і частотою від 100 до 400 Герц. Коливання у вертикальній і горизонтальній площині були дуже маленькими (від 0,005 до 0,06 градуса), але змінювалися залежно від частоти і гучності звуку, що подається, що означає, що лампочка, нехай і ледь помітно (приблизно на 300-950 мікрон), але все ж коливається від звукових хвиль, що поширюються поруч, а її коливання залежать від їх характеристик.
За допомогою вимірювань фотодіоду вчені визначили зразкові зміни електричного струму при коливаннях лампочки на різних відстанях між телескопом і самою лампочкою: для цього використовували аналогово-цифровий перетворювач. Виявилося, що при використанні 24-бітного перетворювача мінімальні коливання лампочки (переміщення на 300 мікрон в площині) відповідають зміні електричного струму на 54 мікровольти - такої чутливості достатньо, щоб покрити весь використовуваний вченими звуковий спектр (100 до 400 Герц) і використовувати телескоп на великій відстані від самої лампочки.
Далі вчені почали реєструвати зміни світлового сигналу (і, відповідно, електричного струму) при використанні різних звуків: виявилося, наприклад, що, коли звуку немає, на спектрограмі перетвореного оптичного сигналу від лампочки в частоту є пік в 100 Герц (це відповідає частоті мерехтіння лампочки). При використанні поблизу лампочки гудка з частотою звуку в 518 Герц на спектрограмі з'являвся відповідний пік.
Для перетворення частоти електричного сигналу на звукову спектрограму, вчені розробили покроковий алгоритм: спочатку він фільтрує певні частоти (наприклад, 100-герцеве миготіння лампочки в тиші), нормалізує сигнал для виділення частот, відповідних людській промові, і видаляє шум. У результаті виходить звукова спектрограма, яку вже можна конвертувати в сам звук за допомогою сторонніх програм.
Нарешті, вчені перевірили роботу свого методу за допомогою аматорського телескопа з 20-сантиметровим об'єктивом: його встановили на мосту в 25 метрів від вікна в кімнату, в якій на стелі була підвішена лампочка. Поруч з лампочкою програвали дві пісні (The Beatles «Let It Be» і Coldplay «Clocks») і запис фрази «We will make America great again». Відновлені за спектрограмами записи виявилися добре розбірливими, причому не тільки на слух: обидві пісні дізналася програма Shazam, а промову розшифрувало відкрите API для конвертування мови в текст від Google.
Незважаючи на те, що вченим насправді вдалося обійти обмеження запропонованого раніше методу і розробити безконтактний метод далекого прослуховування, у Lamphone є і свої обмеження: наприклад, зрозуміло, що для його роботи необхідне рухоме джерело світла, і поки що незрозуміло, чи буде така система працювати з чимось крім лампочки - це, однак, дослідники планують вивчити надалі.
А ще ледь помітні коливання об'єктів можна використовувати для автентифікації: кілька років тому вчені, наприклад, запропонували визначати користувача розумних окулярів з провідності звуків його черепом.