Masking thermal data when embedding digital watermarks

Full Text

В данной работе основным объектом рассмотрения являются тепловые видео. Данный тип видеосъёмки производится специализированной аппаратурой, фиксирующей тепловое излучение поверхностей, то есть электромагнитное излучение в инфракрасной области спектра. При этом тепловая съёмка отличается, как правило куда большей шумовой составляющей.

Целью и задачей исследования стала разработка программного обеспечения, выполняющего выделение и определение характеристик шума камеры в тепловом диапазоне, а также исследование JND-маскирования теплового видео при встраивании скрытой информации в отфильтрованные от шума кадры теплового видео.

Оценка шума камеры

Для оценки шума камеры выполняется построение среднего кадра по рассматриваемому статичному отрезку видео. Средний кадр формируется как усредненное по времени значение каждого пикселя (рис. 1). Случайный кадр, взятый из этой видеопоследовательности также представлен на рисунке (рис. 2). Можно заметить, что средний кадр менее зашумлен.

Следующим шагом является сохранение в трехмерный массив (оси: ширина, высота, номер кадра) разности кадра с данным номером и среднего кадра.

Таким образом получаем видеопоследовательность, которая в случае со статическим видео, когда визуально изображение не меняется, представляет собой некоторую визуальную оценку шума тепловой камеры (рис. 3-4).

Порядок встраивания скрытой информации

В качестве рассматриваемого метода в данной работе выбран метод E_BLIND/D_LC. Он представляет собой простейшую ЦВЗ-систему с расширением спектра. Данная система позволяет встроить только один бит информации (то есть b ∈ {0,1}) в полутоновой контейнер C размерами N1 × N2. Для встраивания информации формируется шаблон ЦВЗ .

Встраивание ЦВЗ осуществляется по аддитивной формуле. Для извлечения встроенного бита информации рассчитывается значение линейной корреляции принятого носителя информации с шаблоном . После чего полученная величина сравнивается с порогом для принятия решения.

Рис. 1. Пример среднего кадра из видео

Рис. 2. Пример обычного кадра из видео

Рис. 3. Пример кадра, иллюстрирующего шум камеры в отдельном кадре

Рис. 4. Пример кадра, иллюстрирующего усреднённый по всему участку видеопоследовательности шум камеры

Выполнение встраивания

Исходные изображения представлены на рисунках (рис. 1-2). Далее на рисунках приведены примеры встраивания одного бита информации при различных значениях параметра системы α (рис. 5-10). Чем меньше значение α, тем сложнее обнаружить информацию, встроенную в изображение и тем больше риск неудачного извлечения информации.

Поэтому для эффективного встраивания информации необходимо подобрать в некотором смысле оптимальное значение этого параметра.

Так при значениях α = 1 (рис. 5 и 7). факт встраивания информации надежно сокрыт, но извлечение информации происходит не всегда удачно и встречается значительный процент ошибочных извлечений. А при значениях α = 10 (рис. 6 и 8). наличие посторонней шумовой компоненты уже можно заметить невооруженным глазом.

Собственно, в данных экспериментах к оптимальным значениям приблизилось значение α равное корню дисперсии шума. Это значение статистически зависит от шума камеры (рис. 9-10).

Рис. 5. Встраивание единицы в средний кадр при α = 1

Рис. 6. Встраивание единицы в средний кадр при α = 10

Рис. 7. Встраивание единицы в случайный кадр при α = 1

Рис. 8. Встраивание единицы в случайный кадр при α = 10

Рис. 9. Встраивание единицы в средний кадр при α равном корню дисперсии полученного шума (1.9393)

Рис. 10. Встраивание единицы в случайный кадр при α равном корню дисперсии полученного шума (1.9393)

Рис. 11. Результат вычитания из кадра отфильтрованного изображения

Фильтрация шума камеры

В качестве метода фильтрации был рассмотрен фильтр Винера. Для его применения необходимо знать импульсную характеристику шума. Она подбиралась визуально, путём вычитания отфильтрованного изображения из исходного (рис. 11). В результате рассмотрения различных вариантов характеристик шума было выбрано нормальное распределение шума с нулевым средним и дисперсией равной дисперсии отдельного кадра с шумом. Данный вариант даёт наиболее схожий с шумом камеры результат.

JND-маскирование

Маска «едва различимых искажений» (Just Noticeable Difference, JND) используется для достижения разумного компромисса между незаметностью искажений при встраивании ЦВЗ и их стойкостью. Она использует особенности человеческого восприятия визуальной информации. Встраиваемая с помощью данных масок информация концентрируется в областях с существенными перепадами яркости и практически отсутствует в тех областях, где яркость распределяется равномерно.

В рамках данной работы были рассмотрены несколько вариантов таких масок. Далее они будут упоминаться согласно их нумерации.

Первый метод JND-маскирования основан на поиске максимума градиента, вычисляемого при помощи свёртки рассматриваемого изображения с матрицами, более подробно описанными в [1]. Максимум градиента даёт информацию об областях изображения с существенными перепадами яркости (рис. 12).

Второй метод основан на адаптации яркости изображения (рис. 13). И вычисления происходят по следующим формулам, более подробно описанным в [1]:

Третий метод основан на использовании структурной неопределенности, вычисляемой согласно корреляции между соседними пикселями (рис. 14). Структурная неопределённость используется совместно с адаптацией яркости и вычислением градиентов, как в первых двух случаях [2].

Четвертый метод также совмещает в себе первые два (рис. 14). Помимо этого, методом учитывается структурная регулярность изображения [3].

Затем в средний кадр был встроен с применением данных масок шум с нормальным распределением, как имитация встраивания ЦВЗ. Встраивание производилось по аддитивной формуле (рис. 16-19). Для всех полученных данных были вычислены показатели PSNR и SNR.

Также имеет смысл рассматривать в качестве JND-маски маску, получаемую при фильтрации шума на втором этапе (рис. 11). Для данной маски также были измерены показатели PSNR и SNR (рис. 20).

Рис. 12. JND-маска, получаемая первым методом

Рис. 13. JND-маска, получаемая вторым методом

Рис. 14. JND-маска, получаемая третьим методом

Рис. 15. JND-маска, получаемая четвёртым методом

Рис. 16. Результат выполнения имитации встраивания в кадр видеопоследовательности с использованием JND-маски, полученной первым методом

Рис. 17. Результат выполнения имитации встраивания в кадр видеопоследовательности с использованием JND-маски, полученной вторым методом

Рис. 18. Результат выполнения имитации встраивания в кадр видеопоследовательности с использованием JND-маски, полученной третьим методом

Рис. 19. Результат выполнения имитации встраивания в кадр видеопоследовательности с использованием JND-маски, полученной четвёртым методом

Рис. 20. Результат выполнения имитации встраивания в кадр видеопоследовательности с использованием JND-маски, полученной посредством нахождения разности между отбеленным и исходным кадром

Таблица 1

Значения метрик для исходного неизмененного кадра видеопоследовательности

Сравнение полученных результатов

В качестве наборов данных для первичного тестирования встраивания информации с использованием JND-маскирования были выбраны 9 тепловых видео. Пять из них найдены в различных источниках, ещё четыре сняты тепловой камерой в НИЛ-55 Самарского университета. Из всех видео для рассмотрения выбран стационарный участок, на котором отсутствует какое-либо ярко выраженное движение. Далее на всех этих стационарных участках определён средний кадр, для использования его в качестве отбеленного кадра.

Также выбран один случайный кадр видео для дальнейших сравнений. И вычислены PSNR (Пиковое отношение сигнала к шуму), SNR (Отношение сигнала к шуму) и MSE (Средний квадрат ошибки) метрики между ними. Для исходных необработанных кадров результаты представлены в таблице (табл. 1). Причём 1-5 видео из открытых источников, а 6-9 сняты в НИЛ-55.

В таблице (табл. 2) представлены рассчитанные метрики для заданного набора данных после имитации встраивания с использованием вышеупомянутых JND-масок.

Так как основная наша задача встроить наибольшее количество информации с достаточной надёжностью извлечения, не допуская искажений превышающих уровень искажений шума камеры, то нам необходимо чтобы отклонение характеристик шума после встраивания было приближено к характеристикам кадра, встраивание в который не производилось. В таблице (табл. 3) приведены разности значений метрик для каждого из методов построения JND-масок с кадром без встраивания. И также представлены суммы их квадратов.

Видно, что видео 4 и 7 сильно выбиваются из общего ряда, причём ещё на этапе, когда встраивание не произведено, возможно выбранные участки недостаточно стационарны. Поэтому при подведении общего итога столбцы относящиеся к этим видео учитывать не будем и получим результат, приведенный в таблице (табл. 4).

Таким образом мы видим, что наиболее успешны методы 1 и 3, причём третий метод даёт лучшие результаты на первой части набора данных, собранный в различных источниках, а первый метод даёт лучшие результаты на результатах, полученных камерой НИЛ-55. Это может быть обусловлено как самой камерой, так и характером съёмки, так как все тестовые видео снимались в помещении, в отличии от найденных наборов данных, в которых преобладают уличные камеры.

Таблица 2

Значения метрик для кадров с выполненной имитацией встраивания

Таблица 3

Значения разностей метрик для исходного кадра и после выполненной имитации встраивания и сумма их квадратов

Таблица 4

Значения разностей метрик для исходного кадра и после выполненной имитации встраивания и сумма их квадратов, без значений для 4 и 7 видео

Заключение

В данной работе проделаны следующие этапы для исследования маскирования данных тепловой съёмки при встраивании цифровых водяных знаков, выполнена оценка шума камеры; путём построения оценки кадра – как среднее и последующего вычитания этой оценку из всех кадров стационарного участка видео; проанализированы характеристики шума; выбран один кадр видео для встраивания туда информации методом E_BLIND/D_LC, со значение α, привязанным к найденной дисперсии; сделано тоже самое со средним кадром; сравнены результаты встраивания при оценке качества изображения визуально; сравнена стойкость встроенного ЦВЗ; была разработана методика выделения шумовой составляющей тепловых видео; проанализированы характеристики шумовой составляющей; была разработана методика частичной фильтрации шума; рассмотрены методы построения JND-масок изображений; было произведено исследование характеристик кадра до удаления шума, после фильтрации, а также при имитации встраивания по JND-маске.

Описанные выше задания по обработке видеофайлов были выполнены для различных данных и сравнены друг с другом.  В том числе, с данными, полученными в результате проведения тестовой съемки тепловой камерой в НИЛ-55 Самарского университета.

Выводом исследования может стать факт, что для теплового видео наиболее предпочтительными являются методы JND-маскирования, приведенные в данном исследовании под номером 1 и 3.

About the authors

Daniil Aleksandrovich Kozlov

Author for correspondence.
Email: djoade100@gmail.com

student V course of the Faculty of Informatics of the Samara University

Supplementary files