Google расширяет BigQuery для многооблачной аналитики

Google расширил BigQuery для использования с несколькими облаками. BigQuery Omni работает с Google Cloud и AWS и скоро будет поддерживать Azure.

Google BigQuery — это распределенный бессерверный механизм SQL, который позволяет запрашивать петабайты данных. Он имеет встроенное машинное обучение, является бессерверным и уже поддерживает Google Cloud.

BigQuery Omni основан на Google Cloud Anthos, гибридной мультиоблачной платформе приложений. Anthos обрабатывает соединение между Google Cloud и другими общедоступными облаками.

Google Anthos разработан для обеспечения безопасного и единообразного способа создания, развертывания и управления приложениями в любом месте. Его можно использовать для запуска управляемого Kubernetes как в облачной, так и в локальной среде с поддержкой Google Cloud, Amazon Web Services (AWS) и Microsoft Azure. Он состоит из Anthos GKE, службы оркестровки и управления контейнерами для запуска кластеров Kubernetes в любом месте; Anthos Config Management для определения, автоматизации и применения политик; Anthos Service Mesh для защиты и управления трафиком между службами; и безопасность Anthos, которая обеспечивает фактическую безопасность в облаках и гибридных развертываниях.

Кластеры Anthos, используемые для запуска BigQuery Omini, полностью управляются Google Cloud. Anthos использовался для создания, развертывания и управления обработчиком запросов BigQuery (Dremel) в нескольких облаках.

До сих пор BigQuery можно было использовать только с данными, хранящимися в Google Cloud. BigQuery Omni меняет это, поэтому пользователи работают в интерфейсе BigQuery в Google Cloud, но могут запрашивать данные в других облаках без необходимости перемещать какие-либо данные между облаками или делать какие-либо копии данных. Механизм запросов BigQuery Omni выполняет вычисления в кластерах в том же регионе, где находятся ваши данные.

В одном из приведенных примеров было использование BigQuery Omni для запроса данных Google Analytics 360 Ads, хранящихся в Google Cloud, а также для запроса данных журналов из платформы электронной коммерции и приложений, которые хранятся в AWS S3.

BigQuery Omni в настоящее время находится в стадии закрытого альфа-тестирования. Если вы хотите попробовать его, заполните эту форму.