Автор: WinAx

Apache Kylin был обновлен до новой версии, которая поддерживает SparkSQL при построении промежуточных плоских таблиц Hive. Также есть новая структура метрик на основе Dropwizard и планировщик кубов, который может выбирать наиболее экономичные кубоиды для построения.

R, Python и Scala — три основных языка для науки о данных и интеллектуального анализа данных. Здесь вы узнаете об их популярности, простоте использования, а также о некоторых плюсах и минусах. Однако перед этим необходимо обсудить важную связь между хранилищами данных и большими данными.

Twitter Heron, платформа потоковой передачи и аналитики Twitter в реальном времени, была передана в дар программе Apache Incubator. Исходный код Heron был открыт в 2016 году, и он используется для обработки миллиардов событий, генерируемых в Twitter каждый день.

Выпущена новая бесплатная IDE, которая позволяет создавать, тестировать и запускать приложения Apache Spark на вашем рабочем столе. Visual Spark Studio — это бесплатная урезанная версия платформы Impetus StreamAnalytix. Он предоставляет легкий инструмент разработки для обработки и анализа данных Spark.

Apache Beam, пакет SDK для программирования с открытым исходным кодом для определения конвейеров пакетной и потоковой параллельной обработки данных, теперь доступен в новой версии, которая переходит на Java 8 и Spark 2.x.

MapR выпустила контейнер Docker, состоящий из Drill, Apache Spark, файловой системы MapR и MapR-DB, который предоставляет действительно полезный вариант для любого разработчика, которому нужен простой способ опробовать разработку больших данных.

Выпущен новый веб-интерфейс для чтения данных из Kafka Clusters. Kafka Webview можно использовать для чтения данных из тем Kafka и предоставления базовых возможностей фильтрации и поиска.

Есть новая версия Apache Samza, которая добавляет Samza SQL, а также Azure EventHubs и AWS Kinesis. Samza — это фреймворк с открытым исходным кодом, первоначально разработанный вместе с Kafka компанией LinkedIn, прежде чем он был сделан с открытым исходным кодом и передан Apache Software Foundation.

Apache выпустил обновленную версию HBase с новым закрашенным клиентом, предназначенным для улучшения совместимости, наряду с улучшениями клиента REST, расширенными возможностями автоматического перезапуска и улучшениями показателей RegionServer.

Вышел новый выпуск Hadoop с улучшениями, включая поддержку кодирования HDFS Erasure, предварительную версию v2 службы временной шкалы YARN и улучшения федерации YARN / HDFS.