Max Home IndustryApache выпустил Bigtop 1.2.1 с поддержкой OpenJDK 8 и новую функцию песочницы, которая позволяет запускать псевдокластеры больших данных в Docker. Bigtop — это проект Apache Foundation, который можно использовать для упаковки, тестирования и настройки широко известных компонентов больших данных с открытым исходным кодом, составляющих инфраструктуру Hadoop.
Bigtop поддерживает широкий спектр компонентов и проектов, включая Hadoop, HBase и Spark. Основная цель Bigtop — создать сообщество вокруг упаковки, развертывания и тестирования совместимости проектов, связанных с Hadoop. Это включает тестирование на различных уровнях, включая упаковку, платформу, среду выполнения и обновление, а также сосредоточение внимания на системе в целом, а не на отдельных проектах.
В то время как Hadoop обычно используется для обозначения центрального набора инструментов, Bigtop рассматривает более широкий выбор, который составляет проекты, связанные с Hadoop, включая Hbase, Pig, Hive MapReduce, Zookeeper и Avro среди других. Bigtop упаковывает RPM и DEB Hadoop, чтобы вы могли управлять своим кластером Hadoop и поддерживать его, а также предоставляет интегрированную среду дымового тестирования вместе с набором из 50 тестовых файлов. Он также помогает с тестированием виртуализации, с бродячими рецептами, необработанными образами и (незавершенными) рецептами докеров для развертывания Hadoop с нуля, и вы можете использовать Bigtop Provisioner для раскрутки виртуального кластера с помощью одной команды.
В новом выпуске Bigtop добавлена функция песочницы, которая позволяет использовать Docker для запуска псевдокластеров. Его создание представляет собой однострочную команду, а для HDFS процесс занимает около 30 секунд. Затем вы получаете локальный WebUI, чтобы поиграть с этим. Вы можете запускать HDFS и Spark автономно или HDFS, Yarn, Hive и Pig — на сайте Bigtop есть простые инструкции.
Эта презентация с DataWorks Summit 2017 об использовании песочницы сделана коммиттером проекта Apache Bigtop и членом PMC Эвансом Йе:
Новый выпуск также включает более быстрый Docker Provisioner, который был переписан, чтобы полностью охватить экосистему Docker. Поддержка OpenJDK в новом выпуске означает, что все компоненты теперь построены на JDK8.
Основные компоненты были обновлены до последних версий, включая Hadoop 2.7.3, Spark 2.1.1, HBase 1.1.9 и Zeppelin 0.72, а также обновлено большинство проектов экосистемы, включая Apex, Crunch, Flume, Ignite, Маут, Узи, Феникс и другие.