PyTorch 1.8 улучшает поддержку БПФ

PyTorch был обновлен с улучшенной поддержкой БПФ, улучшенным обучением распределенной модели, новыми API-интерфейсами, обновлениями библиотек и поддержкой способов улучшения и масштабирования вашего кода для повышения производительности как во время вывода, так и во время обучения.

PyTorch — это оптимизированная тензорная библиотека для глубокого обучения с использованием графических процессоров и процессоров. Он нацелен на то, чтобы предложить замену NumPy, которая использует мощность графических процессоров, обеспечивая платформу для исследований глубокого обучения, которая обеспечивает максимальную гибкость и скорость.

Возможно, наиболее важным улучшением новой версии является включение модуля torch.fft. Этот модуль реализует те же функции, что и модуль np.fft NumPy, но с поддержкой аппаратного ускорения и автоградации. Наряду с этим улучшена поддержка быстрых преобразований Фурье (БПФ) в библиотеке Torch.fft для добавления поддержки функций 2D БПФ, наряду с возможностью использования новых операторов БПФ в stft, добавлены вспомогательные функции и тест фаззинга.

Другие улучшения API включают новые функции линейной алгебры, добавленную поддержку автограда для сложных тензоров и обновления для повышения производительности для вычисления гессиан и якобианов.

Разработчики заявляют, что были «значительные обновления и улучшения распределенного обучения». Эти обновления повышают надежность NCCL, добавляют поддержку конвейерного параллелизма и профилирования RPC; а также добавить поддержку коммуникационных перехватчиков, добавляя градиентное сжатие.

Добавлена поддержка выполнения функциональных преобразований python в python через torch.fx, добавлена возможность настраивать преобразования, при которых вы можете загружать экземпляр модуля и получать из него преобразованный экземпляр модуля.

Был обновлен широкий спектр функций, в основном для улучшения совместимости с NumPy. Модуль torch.linalg, созданный по образцу модуля np.linalg NumPy, обеспечивает поддержку в стиле NumPy общих операций линейной алгебры, включая разложения Холецкого, детерминанты, собственные значения и многие другие.

Наряду с новой версией команда также выпускает основные обновления библиотек PyTorch, включая TorchCSPRNG, TorchVision, TorchText и TorchAudio.