Підвищення якості зображення тепловізорів на основі матричних фотоприймальних пристроїв

І. І. Креміс
Наведено принципи та алгоритми обробки, що служать для підвищення якості тепловізійних зображень. Алгоритми служать до роботи із зображеннями, одержуваними від матричних фотоприймальних пристроїв (ФПУ) з урахуванням HgCdTe. Процедури поліпшення зображення включають корекцію неоднорідності чутливості елементів приймача і пошук, а потім усунення його дефектних елементів. Додатково для усунення артефактів зображення застосовано систему цифрових фільтрів. Алгоритми реалізовані на основі мікросхеми програмованої логіки Cyclone

Ключові слова: тепловізійне зображення, алгоритм обробки, дефективні елементи.

Вступ

Практично у кожному тепловизионном приладі є системи, котрі здійснюють коригування недоліків зображення, що з ФПУ. Одним із способів коригування, які застосовують у більшості приладів, є так звана двоточкова корекція, досить докладно описана в роботах [1, 2].
Дефектні елементи (ДЕ) приймача за умови виведення зображення в реальному часі в приладах подібного типу замінюють ліворуч елементом [3]. При невеликій кількості ДЕ (менше 5%) та при розмірі дефектних областей не більше одного пікселя візуально зображення не страждає (у даному випадку оцінка є суто суб'єктивною). Усунення дефектності пікселів зображення у разі представляється можливим здійснювати простим заміщенням сигналу ДЕ на сигнал сусіднього повноцінного елемента. Але при кількості ДЕ більше 5% та розмірі дефектних областей від одного пікселя і більше питання відновлення зображення до прийнятної якості є більш ніж актуальним, тим більше при роботі з широким спектром приймачів, що відрізняються як за розмірами матриці, так і характеристиками. Зокрема, у цій роботі йтиметься про такі особливості приймачів, що впливають на якість зображення, як розкид характеристик фоточутливих елементів та дефектність елементів ФПУ (вибиті пікселі).
Питання визначення дефектних елементів матричних ФПУ докладно описано у роботах [4, 5]. Застосовуваний цих роботах метод визначення ДЕ має ряд як переваг, і недоліків. Так, реєстрація "холодного" та "гарячого" кадрів у методиці використовується тільки для фіксованих значень температур у вузькому діапазоні, що не дозволяє досліджувати ФПУ у всьому діапазоні робочих температур. Крім того, спосіб відбракування елементів матриці за середньоквадратичною оцінкою, наведений у роботах [4, 5], є складним з позиції його реалізації як самостійної функції приладу (спосіб вимагає використання великого обсягу пам'яті для зберігання проміжних масивів даних). Однак зазначена методика враховує показники дрейфу сигналу елементів ФПУ, що дозволяє якісніше реєструвати ДЕ.
У цій статті ставилося завдання вироблення універсальних алгоритмів підвищення якості зображення, одержуваного тепловізійними приладами з ФПУ на основі матриць HgCdTe. В роботі досліджувалися матричні приймачі форматів 320x256, 256x256 та 384x288 (загалом 15 шт.).

Алгоритми виявлення дефектних елементів та коефіцієнтів корекції нерівномірності зображення

Попередній аналіз масивів даних з ФПУ, наведених вище, показав, що характер дефектних елементів та характеристики фоточутливих елементів різні для різних виробників ФПУ, а також для приймачів одного типу та виробника. Так, аналіз ДЕ дозволив поділити їх на три групи:

1. шумні елементи;
2. елементи із постійним рівнем сигналу;
3. елементи з чутливістю, яка виходить за межі встановлених порогів нерівномірності чутливості по всій матриці.

Категорія дрейфуючих ДЕ, наведена в [4, 5], у цій статті не розглядається, оскільки ці елементи є робітниками. При регулярному оновленні темнового кадру (кадра компенсації фонової складової) зазначені елементи як дефектні себе не виявляють, і їх відгук є адекватним сцені, що спостерігається.
Введена класифікація ДЕ дає можливість зробити спробу виробити алгоритм пошуку та усунення дефектних елементів, що підходить для більшості приймачів HgCdTe. Причому проміжні дані у вигляді коефіцієнтів корекції нерівномірності зображення, які будуть знайдені при пошуку дефектних елементів, є необхідними для двоточкового вирівнювання [1, 6, 7] зображення в робочому (від -50 до +50 град) діапазоні температур спостереження об'єкта і фону. Коефіцієнти корекції нерівномірності чутливості елементів ФПУ визначаються як різницю між відповідними пікселями гарячого та холодного кадрів. p align="justify"> Аналіз гістограми коефіцієнтів дозволяє однозначно визначити характер чутливості елемента ФПУ (друга або третя група). Наприклад розглянемо гістограму (рис. 1) різниці температурних кадрів на 30 і 20 град. приймача розмірністю 320×256. Тут по осі абсцис відкладаються значення коефіцієнта, а по осі ординат - кількість елементів, що мають відповідне значення коефіцієнта. Візуально можна виявити, що всі нормально чутливі елементи мають нормально розподіл щільності ймовірності різниці температур. Розрахувавши математичне очікування (МО) та середньоквадратичне відхилення (СКО) для даного масиву (для наведеної гістограми МО=190, СКО=17), можна припустити, що всі елементи гістограми, код яких не потрапляє в діапазон А-В, де кількість елементів більша порогу, що дорівнює 0,2, від кількості елементів зі значенням, рівним МО, є дефектними елементами. Крім того, можна припустити, що якщо значення коду елементів зображення не потрапляє в діапазон від МО - СКО до МО + СКО, такі елементи також є дефектними.
Таблиця ДЕ розраховується за різних температур опромінення ФПУ. При кожному опроміненні ФПУ потрібною температурою відбуваються накопичення 16 температурних кадрів та обчислення їхнього середнього арифметичного результуючого кадру. Необхідність дослідження ФПУ у великому діапазоні температур обумовлена можливістю появи в серії матриці, що використовуються ФПУ, з дуже великим розкидом нерівномірності чутливості елементів приймача в робочому діапазоні температур. Досвідченим шляхом для вимірювання характеристик ФПУ оптимальний крок опромінення приймача обрано 10 град, починаючи від -50 до +50.
Отже, виявлення елементів другої і третьої груп обчислюються коефіцієнти корекції нерівномірності приймача кожної температурної пари негативного і позитивного температурного діапазонів: к10=t10 -t0,
к21=t20 - t10, к32=t30 - t20, к43=t40 - t30, к54=t50 - t40. Далі кожного масиву коефіцієнтів розраховуються СКО і МО коефіцієнтів корекції нерівномірності чутливості елементів ФПУ.
Виявлення дефектних елементів другої та третьої груп відбувається за критерієм:
до< МО - СКО или к >МО+СКО,
де до - Значення коефіцієнта.
Отримані масиви коефіцієнтів коригуються з урахуванням наведеного вище критерію: якщо до< МО - СКО или к >МО + СКО, то елемент є ДЕ і к=МО.
Усі отримані скориговані коефіцієнти використовуються в приладі під час спостереження ним об'єктів у відповідних діапазонах температури. Отримані таблиці ДЕ логічно підсумовуються отримання остаточної таблиці дефектних елементів приймача.
Виявлення дефектних елементів першої групи виконується у циклі шляхом порівняння кожного елемента [7] приймача у кожному новому кадрі Dji з спочатку запам'ятаним кадром Drem. У цьому попередньо оцінюється СКО шуму у кадрі різниці поточного кадру і запам'ятаного.
Критерий обнаружения шумящих элементов выглядит следующим образом: СКО < Dp - Drem, т. е элемент, для которого выполняется данное условие, является дефектным. Также на основе полученного значения СКО и предварительно заданного порогового значения количества дефектных элементов происходит текущая корректировка порога отбраковки элементов и количества циклов сравнения. При этом коррекция параметров алгоритма для каждого используемого ФПУ минимальна и позволяет автоматизировать данный процесс. Это сокращает время настройки прибора, исключая время, необходимое для сбора и обработки данных с ФПУ оператором. На рис. 2 приведен пример исходного изображения. Изображение скорректировано по методу двухточечной коррекции. Дефектные элементы изображения найдены по методике, изложенной выше. 15 % пикселей изображения являются дефектными и входят во вторую и третью группы, еще 3 % пикселей входят в первую группу ДЭ. При сложении по "ИЛИ" найденных таблиц ДЭ общее количество выбитых составляет 17 %. Это означает, что около 1 % шумящих дефектных элементов совпадает с соответствующими ДЭ из второй и третьей групп.

Рис. 1. Гістограма різниці температурних кадрів
Для оцінки впливу наведених алгоритмів на дозвіл тепловізійного приладу використовувався світ БЛ8725-4239 № 1-03. Різниця радіаційних температур між світом і фоновим випромінювачем становила 1,5 К. Використовуваний для отримання зображення (для цієї статті) тепловізор дозволяє (за всіх відключених алгоритмів) світу з просторовою частотою 3,81 мрад-1. При цьому зображення світи проектувалося на ділянку, де розміри ДЕ та відстань між ними не більше одного пікселя.

Рис. 2. Вихідне зображення

Заміщення дефектних елементів ФПУ

Заміщення дефектних елементів відбувається в такий спосіб. Якщо дефектний елемент одиночний, він заміщається середнім арифметичним від значень сусідніх ліворуч та праворуч повноцінних елементів відповідно до таблиці дефектних елементів. Якщо кількість ДЕ елементів більша за один, всі вони заміщаються значенням крайнього лівого повноцінного елемента. При цьому можуть виникати "тягучки": лівий елемент розтягується на відповідне число вибитих елементів у рядку. "Тянучки" викликають серйозні порушення геометрії сцени, що спостерігається (рис. 3, а). Для усунення цього ефекту застосовується алгоритм фільтрації, при якому в масці 3x3 елементів кожен вибитий елемент заміщається середнім від елементів, що не вибиті (див. рис. 3, б). Дані алгоритми не впливають на дозвіл приладу, крім випадків, коли розмір ділянок вибитих можна порівняти чи перевершує елементи світи.

Рис. 3. Зображення:
а - із заміщеними дефектними елементами; б — із заміщеними елементами, що тягнуться; в - відфільтрований медіанним фільтром; г - відфільтроване фільтром нижніх частот;

Рис. 3. Закінчення:
д - відфільтровані фільтри підвищеної різкості; е - до застосування алгоритмів; ж - після застосування алгоритмів

Алгоритми фільтрації

Для підвищення якості зображення ефективним виявляється застосування медіанної фільтрації з маскою 3x3 елемента (див. рис. 3, в). Застосування маски більшого розміру фільтра виправдане при розмірах дефектних ділянок, рівних розміру маски, при цьому стають добре помітними розмивання і порушення геометрії об'єктів. Тому при проектуванні медіанного фільтра рекомендується попередньо оцінити можливі розміри дефектних областей матриці та спотворення, що вносяться до зображення фільтром.
Медіанний фільтр усуває дефектні елементи, які при формуванні таблиці ДЕ не потрапили до неї через наявність ймовірності прийняття помилкового рішення автоматично. Крім того, фільтруються заміщені дефектні елементи, що мають різкий контраст із сусідніми елементами та створюють ефект "хибних" вибитих. Додатково фільтр дозволяє усунути інші можливі імпульсні перешкоди. У цьому випадку роздільна здатність приладу становить 3,55 мрад-1.
Високочастотний шум усувається за допомогою фільтра нижніх частот (ФНЧ) з маскою 3x3 елементів [8] (див. рис. 3, г). Значення СКО шуму оцінювалося на рівномірному ділянці зображення (див. рис. 3, г) розміром 50x50 елементів і становило 10,5 без застосування ФНЧ, інакше - 5,8. Просторове дозвіл падає до 2,25 мрад-1, що вказує на небажаність використання ФНЧ для виявлення малорозмірних об'єктів.
Спроба компенсувати розмивання зображення, що отримується в результаті застосування ФНЧ, досягається застосуванням фільтра підвищення різкості, аналогічного фільтру "нерізка" маска [9]. При роботі цього фільтра відбувається додавання зображення, одержуваного на виході ФНЧ зі штучно розмитим тим самим зображенням. Розмивання зображення здійснюється за допомогою додаткового ФНЧ з маскою 3x3 елемента, на який надходить вихідне зображення, що вимагає підвищення різкості. В результаті виходять різкі деталі у висококонтрастних областях (краї, де помітно відрізняються світлі та темні вибірки) без посилення тонових стрибків у областях з низькою контрастністю (області плавного градаційного переходу, де різкі тонові стрибки можуть порушити плавність переходів).
Оскільки при цьому підвищується контрастність на багатьох ділянках зображення, нерізке маскування зазвичай посилює загальне враження різкості (рис. 3, д).
Для оцінки ефекту застосування "нерізкої" маски тепловізійний прилад був включений в режим масштабування кратністю чотири. При цьому на фотоелементи ФПУ проектувалася межа рівномірно нагрітого об'єкта з температурою на 5 град вище відносно тла. Візуально межа об'єкта при застосуванні ФНЧ розмивалася на 2 пікселі. При застосуванні "нерізкої" маски розмивання кордону зменшувалося до 1 пікселя, при цьому просторова роздільна здатність становить 2,75 мрад-1.
Реалізація алгоритмів
Наведені алгоритми реалізовані у модулі цифрової обробки сигналів [6] на основі мікросхеми програмованої логіки (ПЛІС) Cyclone EP2C50F672I8. Мікросхема ПЛІС поєднує в собі функції роботи з периферією, прийому цифрового потоку даних з матриці, обробку даних за заданими (наведеними вище) алгоритмами та виведення обробленого тепловізійного зображення на ТВ-монітор. Зокрема, для роботи алгоритмів обробки, крім логічних елементів, використовується внутрішня пам'ять мікросхеми. Пам'ять дозволяє запам'ятати та затримати виведення рядків у кадрі та, виконавши над ними математичні операції, виводити їх у реальному часі. Кожен з алгоритмів обробки відключається по команді з пульта управління приладом, тим самим досягається можливість вибору найбільш оптимальної комбінації. Повний обсяг логічних елементів проекту для ПЛІС займає 95% її обсягу. Обсяг внутрішньої пам'яті проекту становить 75 % загального обсягу пам'яті, їх частка логічних елементів і пам'яті, займаних описаними алгоритмами в мікросхемі 33 і 35 %, відповідно.

Висновок

Зроблено спробу створення універсальних алгоритмів підвищення якості зображення матричних ФПУ. Результатом стали принципи, що дозволяють оцінити приймач, та після оцінки отримати для подальшого використання таблицю дефектних елементів та коефіцієнти неоднорідності чутливих елементів матриці. Система фільтрів, що застосовується, дозволяє позбавити зображення від артефактів і зробити зображення візуально більш якісним (див. рис. 3, їй же). Дані принципи оцінки та корекції зображення досить просто автоматизувати, що скорочує час налаштування приладу.

Література

1. Соліна Н. І. Вирівнювання чутливості та виправлення геометричного шуму в тепловізійних зображеннях методом двоточкової корекції//Інформаційні технології моделювання та управління: Міжнар. зб. наук. тр. /За ред. д-ра техн. наук, проф. О. Я. Кравця. - Воронеж: Вид-во "Наукова книга", 2004. Вип. 15.
2. Соліна Н. І. Розрахунок поправочних коефіцієнтів у режимі калібрування за високою температурою на нейропроцесор Л1879ВМ1: Міжнар. конф. "Математика. Комп'ютер. Освіта": Зб. тез. докл./Під заг. ред. Г. Ю. Різниченка-. - Москва-Іжевськ: Вид-во "Регулярна та хаотична динаміка", 2004. вип. 11.
3. Болтар К. О., Бовіна Л. А., Гібін І. С. та ін. Тепловізор на основі "дивиться" матриці з Cd0,2Hg0 8Te формату 128х128//Прикладна фізика. 1999. № 2. С. 50-54.
4. Болтар К. О., Грачов Р. В. Полунеєв В. В. Визначення дефектних елементів матричних тепловізійних приймачів у процедурі двоточкової корекції //Там же. 2009. № 1. С. 81-85.
5. Грачов Р. В. Калібрування параметрів тепловізійної матриці для двоточкової корекції в блоці електронної обробки на базі мікроконтролера МС-24//Питання радіоелектроніки. Сер. ЕВТ. 2008. Вип. 3. С. 148-156.
6. Креміс І. І., Однолько Ю. Ф. Уніфікована система обробки сигналів багатоелементного фотоприймального пристрою ІЧ-діапазону на основі мікросхеми програмованої логіки типу FPGA//прикладна фізика. 2007. № 4. С. 133-140.
7. Креміс І. І., Однолько Ю. Ф. Способи та принципи побудови алгоритмів ЦГЗ багатоелементного фотоприймального пристрою ІЧ-діапазону на основі мікросхеми програмованої логіки //Там же. № 3. С. 101-111.
8. www.sibsauktf.ru/courses/fulleren/g3.htm
9. www.radiomaster.ru/cad/mc12/glava_12/index04.php