DeOldify — Автоматическая окраска


Да, это нейронная сеть, и она раскрашивает старые черно-белые снимки, чтобы они выглядели хорошо-чтобы их обесцветить. Что удивительно в этом конкретном усилии, так это не только то, что оно, кажется, хорошо работает, но и то, что это любительское (в лучшем смысле этого слова) усилие.

Вам не нужно быть ученым или иметь поддержку большой компании, чтобы попасть в ИИ. Все, что вам нужно, — это знать, как и приложить много усилий. Джейсон Антик, который описывает себя как:

Программист, в настоящее время глубоко копающийся в GANs, чтобы сделать классную раскрашивание и восстановление фотографий!

занимался той работой, которая обычно требует команды людей. Его единственной помощью, похоже, является графический процессор 1080TI, и даже тогда требуется два или три дня, чтобы обучить новую модель. Описание дизайна нейронной сети для его проекта DeOldify немного расплывчато, но, похоже, это GAN (Генеративная состязательная сеть) с большим количеством настроек. Большая часть удовольствия в этом проекте, по-видимому, связана с выяснением того, что действительно работает.

Прежде чем вы начнете слишком критично относиться к результатам, вам нужно иметь в виду, что в этот процесс не вмешивается человек. Все зависит от нейронной сети, и более того, нет правильного ответа в том смысле, что для этих старых фотографий мы действительно не знаем, какого цвета на самом деле было что-то, только какие цвета имеют объекты определенных типов. Это, по-видимому, то, что изучает нейронная сеть, и это трудно.

Хорошо, цвет крыла феи просочился в окружающую среду — но какого цвета должна быть фея?

Есть много примеров, доступных на GitHub, и свободно признается, что это одни из лучших результатов. То есть на выходе из сети выбирается вишня. Неужели это так плохо? Во многих областях исследований ИИ есть скрытое подозрение, что исследователи делают вид, что их сеть работает лучше, чем на самом деле, только показывая успехи. В данном случае это не проблема.

Это здорово, но обратите внимание на красную руку. Что заставило нейронную сеть увидеть руку как нечто, что не было рукой — возможно, кошелек?

Цель упражнения-создать красивые фотографии. Фотографии, которые проходят тест на «хорошую внешность» человека. Если некоторые этого не делают, то, возможно, так оно и есть, и мы можем попробовать еще раз. Удивительно, что нейронная сеть вообще может выполнять эту работу, и ошибки поучительны.

На данный момент кажется, что модель любит окрашивать одежду в синий цвет. Возможно, одна из причин заключается в том, что он был обучен панхроматическим (цвета показывают свою истинную яркость) черно-белым изображениям, а старые изображения ортохроматичны (красный показывает более черный, чем синий той же яркости).

Вот один из моих любимых:

И в будущем цель состоит в том, чтобы не просто раскрасить, но и улучшить:

Вы можете скачать код, который имеет лицензию MIT, и начать работу над своими собственными раскрасками, но вам придется самостоятельно обучать сеть. Обещано, что коэффициенты модели будут опубликованы в какой-то момент в будущем, но на данный момент вы не можете просто играть, не делая какой-то работы.

Весь вопрос о выпуске коэффициентов модели является сложным, учитывая недавний случай с картиной, созданной GAN, которая была продана почти за полмиллиона. Сеть была заимствована у другого программиста, а затем просто использовалась для зарабатывания денег и репутации.

Давайте не будем заканчивать на кислой ноте. Вы можете сделать стоящий ИИ без команды и просто с хорошим графическим процессором.  Без открытого исходного кода это было бы намного сложнее.


Добавить комментарий