Выпущены инструменты Azure Data Lake для Visual Studio


Инструменты озера данных Azure для Visual Studio теперь общедоступны. Этот инструментарий предоставляет редактор кода для разработки запросов к большим данным, включая сценарии U-SQL, из Visual Studio.

Azure Data Lake – это гипермасштабируемое хранилище данных для рабочих нагрузок аналитики больших данных. Он сочетает в себе возможности анализа с хранилищем больших данных эксабайтного масштаба как полностью управляемую услугу. Azure Data Lake является частью Cortana Analytics Suite и состоит из Data Lake Store, единого репозитория данных, который можно использовать для данных любого размера, причем данные доступны для обработки и анализа из приложений и инструментов HDFS.

Редактор в наборе инструментов в основном используется для написания запросов U-SQL. U-SQL основан на T-SQL, тогда как по умолчанию он использует типы C #. Он начал свою жизнь на внутреннем языке больших данных Microsoft под названием SCOPE, и наряду с декларативным языком, подобным SQL, с использованием типов C # и языка выражений C #, он включает концепции обработки больших данных, такие как «схема при чтении», пользовательские процессоры и редукторы. Вы можете использовать U-SQL для запроса и объединения данных из источников, включая хранилище озера данных Azure, хранилище BLOB-объектов Azure и базу данных SQL Azure, хранилище данных SQL Azure и экземпляры SQL Server, работающие на виртуальных машинах Azure. На видео ниже показан используемый редактор:

Поддержка U-SQL в редакторе включает такие функции, как IntelliSense, выделение синтаксиса, маркер ошибки, переход к определению и автоформат. Помимо написания сценариев U-SQL, вы можете добавлять ссылки на сборки и выполнять расширяемость U-SQL с помощью кода. Функция скрытого кода позволяет создать файл C # для разработки пользовательского кода. Инструмент автоматически генерирует код позади и выполняет код позади регистрации и отмены регистрации динамически во время процесса компиляции.

Еще одна особенность набора инструментов – возможность интеграции с ADLA (Azure Data Lake Analytics). ADLA – это служба, основанная на Apache YARN, которая динамически масштабируется. Преимущество U-SQL в ADLA заключается в том, что его можно использовать как задание как услугу, поэтому клиентам не нужно управлять развертыванием кластеров, просто отправляйте свои задания в ADLA. Поддержка в наборе инструментов означает, что при входе в Azure вы можете видеть свои объекты метаданных ADLA через список настраиваемых элементов команд VSCode и можете перемещаться по метаданным ADLA на основе их иерархии.

Последний вариант в наборе инструментов – интеграция ADLS. Azure Data Lake Store – это репозиторий для рабочих нагрузок аналитики больших данных, а интеграция с набором инструментов означает, что вы можете перемещаться по ресурсам ADLS, просматривать их и загружать файл в ADLS.


Добавить комментарий