Машинне навчання допоможе покращити роздільну здатність зображень

Компанія Google представила новий алгоритм RAISR, який використовує машинне навчання для поліпшення дозволу фотознімків. На відміну від більш традиційних методів він працює швидше, а деталі кінцевого зображення виходять менш розмитими. З подробицями роботи алгоритму можна ознайомитися в статті, викладеній на сервері препринтів ArXiv.


Методи підвищення роздільної здатності зображення часто використовуються для того, щоб розглянути подробиці невеликого фрагмента знімка. Їх суть полягає в збільшенні кількості пікселів на деяку одиницю довжини (наприклад, на сантиметр або на дюйм). На сьогоднішній день існує безліч підходів до вирішення цього завдання, проте найбільшою популярністю користуються алгоритми інтерполяції (зокрема, метод найближчого сусіда, білінійна та бікубічна інтерполяція). Принцип їх роботи досить простий: кожен новий піксель добудовується на основі певного набору навколишніх пікселів відповідно до обраного фільтра. Такі методи дозволяють збільшити роздільну здатність зображення досить швидко, однак вони мають істотний недолік - невеликі фрагменти виходять занадто гладкими і дрібні деталі картинки втрачаються.

Новий алгоритм RAISR на основі машинного навчання дозволяє обійти цю проблему. Він використовує технологію супердозволу, тобто покращує якість зображення при його розтягненні (збільшити справжню роздільну здатність відокремити, «дозволити» два об'єкти на картинці, алгоритм не дасть). RAISR зіставляє одні й ті самі зображення в хорошій і поганій роздільній здатності, і застосовує до неякісної картинки такі фільтри, які в підсумку дозволять домогтися дозволу, порівнянного з оригіналом. Тренувати алгоритм можна двома способами: в одному випадку алгоритм розучує нові фільтри з прямого зіставлення зображень високої і низької якості, а в іншому - картинку в поганій роздільній здатності спочатку покращують за допомогою іншого простого методу, і тільки потім RAISR зіставляє зображення і створює набір фільтрів. І там, і там RAISR отримує інформацію про фільтри на основі аналізу контуру об'єктів в зображеннях (його напрямки, сили і зв'язності).

За словами дослідників, «прямий» спосіб швидший, проте другий метод краще підходить для випадків, коли коефіцієнт масштабування неціличисельний. Нижче показана схема роботи двоступеневого методу:

У результаті деталі на зображенні виглядають чіткіше, і якість отриманої картинки можна порівняти з якістю оригіналу. Так виглядають знімки, оброблені RAISR, після того, як він був навчений другим способом за допомогою 10 тисяч пар картинок в хорошій і поганій якості:

Дослідники говорять про те, що RAISR може значно поліпшити метод лінійної, бікубічної інтерполяції, а також фільтр Ланцоша. Крім того, алгоритм можна натренувати таким чином, що він навчиться вирішувати проблему аліасингу і муара (зазвичай виникає, коли на знімки потрапляє одяг у часту смужку).

Розробники відзначають, що RAISR працює від 10 до 100 разів швидше, ніж сучасні «покращувачі» дозволу, що дозволяє його використовувати як в графічних редакторах, так і в смартфонах. У майбутньому, якщо роботу алгоритму вдасться вдосконалити, то він зможе працювати як архіватор, який «розпакує» файл, стиснутий перед відправкою.

Нещодавно дослідники запропонували використовувати машинне навчання для розмальовування чорно-білих зображень. Автори роботи використовували згорточну нейронну мережу (CNN), для навчання якої використовувалися готові класифіковані набори зображень. Їх програма визначає, до якого типу сцен належить зображення і орієнтується на схожі знімки при доборі кольорів.

COM_SPPAGEBUILDER_NO_ITEMS_FOUND