Max Home IndustryНейронные сети, в частности GAN (Generative Adversarial Networks), нашли еще одно применение. На этот раз это подводное видение для исследования ресурсов морского дна, рыбалки и подводной археологии.
Новое исследование было проведено Харбинским инженерным университетом в Китае и исходит из предпосылки, что основной причиной плохого качества подводного изображения является рассеяние и ослабление света. Рассеяние приводит к эффекту дымки, в то время как ослабление света приводит к цветовому оттенку.
Используя подход машинного обучения к проблеме, исследователи использовали неконтролируемую генеративную состязательную сеть (GAN) для создания реалистичных подводных изображений с искажением цвета и эффектом дымки из изображений в воздухе и пар карт глубины.
GAN был обучен на корпусе помеченных сцен, содержащих 3733 изображения, в основном морских гребешков, морских огурцов, морских ежей и других подобных организмов, обитающих на закрытых морских фермах, а также на соответствующих картах глубины. Команда также использовала наборы открытых данных, в том числе NY Depth, которые Всего насчитывает тысячи подводных фотографий.
Затем они использовали U-Net, который был обучен с использованием синтетического набора подводных данных, для восстановления цвета и устранения матовости. Согласно документу, модель:
непосредственно реконструирует подводные четкие изображения с помощью сквозных сетей автоэнкодера, сохраняя структурное сходство содержимого сцены.
Результаты, полученные с помощью этого подхода, были качественно и количественно сопоставлены с существующими методами. В документе говорится:
Экспериментальные результаты, полученные с помощью предложенной модели, демонстрируют хорошую производительность на открытых реальных подводных наборах данных, а скорость обработки может достигать 125 кадров в секунду на одном графическом процессоре NVIDIA 1060.
Помимо документирования исследования в документе, опубликованном на arxiv, исходный код и образцы наборов данных стали общедоступными на GitHub.