Google Supersonic выпущен с открытым исходным кодом


Google имеет открытый исходный код Supersonic, библиотеку механизма запросов, которая описывается как чрезвычайно полезная для создания серверной части базы данных, ориентированной на столбцы.

В объявлении в блоге с открытым исходным кодом говорится, что главная сила Supersonic – это его скорость. Механизм поддерживает кэш и использует ряд низкоуровневых методов оптимизации, чтобы максимизировать скорость обработки запросов, особенно при использовании операций на основе столбцов.

Команда Supersonic объясняет:

«Используя инструкции SIMD и эффективную конвейерную обработку, мы делаем обработку столбчатых данных очень быстрой».

SIMD ((Одна инструкция, несколько данных) – это метод, при котором несколько процессоров выполняют одну и ту же операцию над несколькими точками данных одновременно, чтобы обеспечить параллельную обработку на уровне данных.

Движок написан на C ++ и предоставляет набор примитивов преобразования данных. Они используют алгоритмы с учетом кеширования, инструкции SIMD и векторизованное выполнение, чтобы использовать возможности и ресурсы современных гиперконвейерных процессоров. Движок разработан для работы в рамках единого процесса, и команда намеревается использовать его в качестве серверной части для различных проектов хранилищ данных.

Наряду с настраиваемыми структурами данных и SIMD, библиотека поддерживает стандартные операции с столбцовыми базами данных и широкий спектр специализированных выражений (включая множество математических, строковых функций и функций обработки даты)

Базовый класс Supersonic – это операция, а примеры операций включают вычисление, фильтрацию, сортировку и HashJoin. Вы предоставляете дочернюю операцию, которая предоставляет данные, проектор, который представляет собой описание, какой из выходных столбцов следует передать, и обычно некоторую другую информацию, такую как выражение, которое нужно вычислить, или порядок сортировки.


Добавить комментарий