HBase добавляет поддержку MultiWAL

Доступна новая версия Apache HBase с многоуровневым сжатием на основе даты и планировщиком RPC на основе CoDel.

Apache HBase — это распределенная, управляемая версиями нереляционная база данных Hadoop с открытым исходным кодом, созданная по образцу Google BigTable.

Многие улучшения HBase 1.3.0 — это исправления ошибок, но есть ряд новых функций.

Для решения проблемы, когда данные в основном записываются последовательно, когда они поступают на серверную часть, были добавлены многоуровневые уплотнения на основе даты, в то время как данные считываются в основном при сканировании временного диапазона определенных семейств столбцов. В предыдущей версии нельзя было использовать макет файла магазина, чтобы в полной мере использовать функцию api сканирования, чтобы пропустить файлы магазина с данными за пределами временного диапазона. Многоуровневое сжатие на основе даты решает эту проблему, что означает, что записи, достаточно старые, чтобы «просрочить», могут быть отброшены при сжатии хранилища.

Также была улучшена поддержка Multi WAL (Write Ahead Logs). Без поддержки Multi WAL каждый регион на сервере RegionServer записывает в один и тот же WAL. Если RegionServer занят, потому что на нем размещается несколько регионов, и каждая запись в WAL является последовательной, WAL может снизить общую производительность. Multi WAL означает, что RegionServer может записывать несколько потоков WAL параллельно. Тесты новой функции показывают улучшение средней задержки на 20 процентов при работе на чистых дисках SATA и на 40 процентов на дисках SATA-SSD.

Планировщик запросов RPC — еще одна улучшенная функция. Предыдущая версия могла работать в двух режимах: простой FIFO и «частичный» крайний срок, когда ограничения крайнего срока накладывались только на долго выполняющиеся запросы сканирования. В обновленной версии добавлена поддержка планирования, основанного на алгоритме управляемой задержки (CoDel), который используется для борьбы с раздутием буфера. Это предотвращает появление длительных очередей вызовов, вызванных несоответствием между частотой запросов и доступной пропускной способностью. Алгоритм CoDel обеспечивает активное управление очередью с контролируемой задержкой. Устанавливается определенный порог, и когда минимальная задержка превышает пороговое значение, вызовы сбрасываются, чтобы вернуть задержку ниже порогового значения.

Другие улучшения включают архетипы Maven для клиентских приложений HBase; контроллер пропускной способности для промывок; репликация HFile с массовой загрузкой; и уменьшенное выделение памяти на уровне RPC.