Max Home IndustryApache Druid был обновлен с улучшенной производительностью, более простым и гибким приемом данных и интеграцией авторизации Apache Ranger.
Druid — это современная облачная аналитическая база данных, ориентированная на потоки, разработанная для рабочих процессов, в которых действительно важны быстрые запросы и захват. Druid разработан для мгновенной видимости данных, специальных запросов, оперативной аналитики и обработки высокой степени параллелизма и предоставляет альтернативу хранилищам данных с открытым исходным кодом. Первоначально Druid был разработан в стартапе под названием Metamarkets для создания универсального аналитического решения для цифровой цифровой рекламы с алгоритмической продажей.
Улучшения производительности являются результатом поддержки векторизованных запросов, которая была введена в Druid 0.16 и включена по умолчанию, поскольку теперь она стабилизирована и «протестирована в боевых условиях». Типы запросов GroupBy и Timeseries могут выполняться в векторизованном режиме, что ускоряет выполнение запроса за счет одновременной обработки пакетов строк, что приводит к увеличению производительности от двух до пяти раз.
Еще одно улучшение — более легкий и гибкий прием пищи. Поддерживается больше источников данных. в частности, есть недавно добавленный SqlInputSource, который позволяет принимать данные из баз данных MySQL и Postgres. Встроенная пакетная загрузка также была улучшена для поддержки файлов контейнеров объектов Avro. До сих пор эти источники приходилось переводить в промежуточные форматы файлов, которые мог использовать Druid. В этом выпуске, если у вас есть какие-либо данные в формате MySQL, Postgres или Avro, вы можете загрузить их прямо в Druid за один шаг.
В этот выпуск добавлена интеграция авторизации Apache Ranger. Ranger — это решение безопасности с открытым исходным кодом для экосистемы Hadoop, а новая интеграция с Druid означает, что администраторы кластера могут ограничивать доступ к источникам данных, предоставляя разрешения только на чтение или чтение-запись.
Также была улучшена поддержка облачной платформы. Druid также теперь поддерживает службу хранилища объектов Alibaba при использовании в качестве глубокого хранилища Druid. Это собственное решение для хранения объектов, предлагаемое Alibaba Cloud. Еще одно улучшение облака означает, что Druid overlord теперь поддерживает автоматическое масштабирование с использованием групп управляемых экземпляров на платформе Google Compute Engine,