Google belicht preview Cloud BigLake data lakehouse service

Google heeft een preview aangekondigd van Google Cloud van BigLake. BigLake is gebouwd op jarenlange investeringen in BigQuery en is een opslagengine waarmee organisaties datawarehouses en meren kunnen verenigen, uniforme fijnmazige toegangscontrole kunnen uitvoeren en queryprestaties kunnen versnellen in multi-cloudopslag en open formaten.

BigLake elimineert volgens Google de noodzaak om eindgebruikers toegang op bestandsniveau te verlenen. Een beveiligingsbeleid op tabel-, rij- en kolomniveau kan worden toegepast op objectopslagtabellen die vergelijkbaar zijn met bestaande BigQuery-tabellen.

IT-beheerders kunnen een enkele kopie van gegevens bijhouden en deze uniform toegankelijk maken voor Google Cloud en open-source-engines, waaronder BigQuery, Vertex AI, Spark, Presto, Trino en Hive met behulp van BigLake-connectoren.

Het beveiligingsbeleid kan centraal worden beheerd op één plek en laat het consistent handhaven in de query-engines door de API-interface die in de connectoren is ingebouwd.

Verder zijn er multi-cloudbeheer mogelijkheden met  BigLake-tabellen, inclusief de tabellen die zijn gedefinieerd via Amazon S3, Azure data lake Gen 2 in Data Catalog . C

Prestaties via data lake-tabellen kunnen worden gehaald op Google Cloud, AWS en Azure, mogelijk gemaakt door de BigQuery-infrastructuur.

Er is tevens een aanbos van open formaten met open data-indelingen, waaronder Parquet, Avro, ORC, CSV, JSON. De API bedient meerdere compute-engines via Apache Arrow.