Apache Impala добавляет скалярные функции ODBC


Apache Impala был обновлен до версии 3 с новыми функциями, включая добавление скалярных функций ODBC, которые отсутствовали в предыдущем выпуске. Impala – это собственная аналитическая база данных с открытым исходным кодом для Apache Hadoop, которая предоставляет высокопроизводительный распределенный механизм SQL.

Impala изначально была разработана Cloudera и пожертвована Apache Software Foundation вместе с Apache Kudu. Его можно использовать для выполнения SQL-запросов к данным, хранящимся в HDFS, HBase, Apache Kudu, Amazon S3 и Microsoft ADLS, без необходимости перемещения или преобразования данных. Impala интегрирована с Hadoop для использования того же драйвера ODBC, форматов файлов и данных, метаданных, структур безопасности и управления ресурсами, которые используются MapReduce, Apache Hive, Apache Pig и другим программным обеспечением Hadoop. Impala хорошо справляется с аналитикой и может обмениваться данными с другими компонентами Hadoop как в качестве потребителя, так и в качестве производителя.

Impala хранит свои определения таблиц в стандартной базе данных MySQL или PostgreSQL, известной как хранилище метаданных, аналогично тому, как Apache Hive хранит данные этого типа. Это означает, что Impala может получить доступ к таблицам, определенным или загруженным Hive. Он также предлагает низкую задержку и высокий уровень параллелизма для бизнес-аналитики и аналитических запросов в Hadoop. Фреймворки пакетной обработки, такие как Apache Hive, не предлагают такой возможности.

В новой версии внесен ряд улучшений. Новые функции – это добавление ряда скалярных функций, которые устраняют необходимость в переводе драйвера ODBC для них, включая Left, Right, Week, Quarter и MonthName.

Также была добавлена поддержка подсказок плана вставки для СОЗДАТЬ ТАБЛИЦУ КАК ВЫБРАТЬ (CTAS). Они уже были поддержаны для операторов Insert. Усовершенствования помогают настроить процессы ETL, делая операторы CTAS столь же эффективными, как при использовании Create + Insert + hints.


Добавить комментарий