Max Home Industry• Квантованные нейронные сети
• Создание лиц с помощью сетей деконволюции
• cleverhans v0.1
Иногда новости достаточно хорошо сообщаются в других местах, и нам нечего добавить, кроме как обратить на это ваше внимание.
Без комментариев — это формат, в котором мы представляем исходную исходную информацию, слегка отредактированную, чтобы вы могли решить, хотите ли вы следить за ней.
Недавняя статья, представленная ниже, подтверждает некоторые ожидания относительно того, как на самом деле работают нейронные сети. Это не точные машины, которым нужна высокая точность вычислений с плавающей запятой. Вместо этого информация, которую они несут, распространяется по нейронам. Мы можем предположить, что точность используемых весов не так важна, но, возможно, не так важна, как 1-битные веса!
Квантованные нейронные сети
Обучение нейронных сетей с низкими точными весами и активациями
Итай Хубара, Матье Курбарьо, Даниэль Судри, Ран Эль-Янив, Йошуа Бенжио
Мы представляем метод обучения квантованных нейронных сетей (QNN) — нейронных сетей с чрезвычайно низкой точностью (например, 1-бит) с весами и активациями во время выполнения. Во время тренировки квантованные веса и активации используются для вычисления градиентов параметров. Во время прямого прохода QNN резко сокращают размер памяти и количество обращений, а также заменяют большинство арифметических операций побитовыми операциями. В результате ожидается резкое снижение энергопотребления.
Мы обучили QNN с помощью наборов данных MNIST, CIFAR-10, SVHN и ImageNet. Полученные в результате QNN достигают точности предсказания, сравнимой с их 32-битными аналогами. Например, наша квантованная версия AlexNet с 1-битным весом и 2-битной активацией достигает точности 51%. Более того, мы также квантуем градиенты параметров до 6 битов, что позволяет вычислять градиенты, используя только побитовые операции.
Квантованные рекуррентные нейронные сети были протестированы на наборе данных Penn Treebank и достигли сравнимой точности с их 32-битными аналогами, используя только 4 бита. И последнее, но не менее важное: мы запрограммировали ядро графического процессора с двоичным умножением матриц, с помощью которого можно запустить наш MNIST QNN в 7 раз быстрее, чем с неоптимизированным ядром графического процессора, без потери точности классификации. Код QNN доступен в Интернете.
Создание лиц с помощью сетей деконволюции
Майкл Д. Флинн делал некоторые интересные вещи с нейронными сетями, и все это доступно на GitHub. Он написал:
Одна из моих любимых статей по глубокому обучению — «Учимся создавать стулья, столы и автомобили с помощью сверточных сетей». Это очень простая концепция — вы даете сети параметры того, что хотите нарисовать, и она это делает, — но это дает невероятно интересный результат. Кажется, что сеть способна изучать концепции трехмерного пространства и структуру объектов, которые она рисует, и поскольку она генерирует изображения, а не числа, это дает нам лучшее представление о том, как сеть «думает».
Некоторое время назад я случайно наткнулся на [базу данных Radboud Faces] [RaDF] и задумался, можно ли использовать что-то подобное для генерации и интерполяции лиц.
Результаты действительно впечатляют!
cleverhans v0.1: библиотека состязательного машинного обучения
Ян Гудфеллоу, Николас Папернот и Патрик МакДэниел
Библиотека cleverhans — это результат сотрудничества OpenAI и Государственного университета Пенсильвании. OpenAI — это некоммерческая организация, цель которой — вернуть контроль в руки людей, финансируемых Илоном Маском, Ридом Хоффманом, Питером Тилем и веб-службами Amazon, см. AI Goes Open Source To The Tune Of $ 1 млрд.
Состязательные примеры — это входные данные, созданные путем внесения небольших изменений в допустимые входные данные с целью введения в заблуждение моделей машинного обучения. Возмущения должны быть небольшими по величине, чтобы у человека-наблюдателя не было проблем с обработкой результирующих входных данных. Во многих случаях возмущение, необходимое для обмана модели машинного обучения, настолько мало, что человек может не заметить, что что-то изменилось, или даже настолько мало, что 8-битное представление входных значений не улавливает возмущение. используется, чтобы обмануть модель, которая принимает 32-битные входные данные.
Хотя полностью эффективных средств защиты еще не предложено, наиболее успешным на сегодняшний день является состязательное обучение. Библиотека cleverhans предоставляет эталонные реализации атак, которые предназначены для использования в двух целях.
Во-первых, разработчики машинного обучения могут создавать надежные модели, используя состязательное обучение, которое требует построения состязательных примеров во время процедуры обучения.
Во-вторых, мы рекомендуем исследователям, которые сообщают о точности своих моделей в условиях состязательности, использовать стандартизированную эталонную реализацию, предоставленную cleverhans.
Без стандартной эталонной реализации разные тесты нельзя сравнивать — высокая точность отчета теста может указывать на более надежную модель, но также может указывать на использование более слабой реализации атаки. Используя cleverhans, исследователи могут быть уверены, что высокая точность теста соответствует надежной модели.
Реализованный на Python, cleverhans разработан как инструмент, дополняющий существующие библиотеки численных вычислений, такие как TensorFlow и Theano, а также специализированные библиотеки машинного обучения более высокого уровня, такие как Keras, которые помогают разработчикам быстро реализовывать модели с использованием предопределенных слоев. Это бесплатное программное обеспечение с открытым исходным кодом, распространяемое по лицензии MIT. Проект доступен онлайн на GitHub.
Чтобы быть в курсе новых статей на I Programmer, подпишитесь на нашу еженедельную рассылку новостей, подпишитесь на RSS-канал и подпишитесь на нас в Twitter, Facebook, Google+ или Linkedin.
Комментарии
Оставьте комментарий или просмотрите существующие комментарии с помощью Disqus
или отправьте свой комментарий по адресу: comments@i-programmer.info