BigQuery - Eigenschaften und Fähigkeiten

Was ist BigQuery?

BigQuery ist eine cloudbasierte Datenbank aus dem Hause Google, in der man verschiedenste Datensätze speichern, verknüpfen, aufrufen und abfragen kann.
Dabei ist die Datenbank aufgrund verschiedenster Logiken & Entwicklungen seitens Google sehr performant – selbst größere Datenmengen können binnen Sekunden abgefragt und prozessiert werden. An dieser Stelle wollen wir uns jedoch nicht allzu sehr in technischen Details verlieren, sondern einem anderen großen Vorteil von Google BigQuery Tribut zollen. Denn jeder mit einem Google Account und etwas SQL Kenntnissen kann das Tool nutzen. Im Gegensatz zu anderen Datenbanken werden keine Ressourcen benötigt, um das System zu verwalten oder die Rechenressourcen zu dimensionieren.

Ganz im Gegenteil: Über bigquery.cloud.google.com kann BigQuery von jedem Ort mit einer Internetverbindung aufgerufen werden. Die Frage, wie das Tool von wem mit welcher Absicht bedient wird, liegt natürlich in unserer Hand – um alles andere kümmert sich Google.

Wie teuer ist es?

Den Vorteil der nicht nötigen Datenbankverwaltung und -skalierung lässt Google sich natürlich bezahlen – hier halten sich die Kosten allerdings in Grenzen.

Um sich anfangs mit dem Tool auseinander setzen zu können, bietet Google einen Testaccount mit großzügigen Konditionen an. Mit einer Laufzeit von 12 Monaten und einem freien Budget von 300$ lassen sich einige Terabytes an Daten abfragen und speichern.

Zudem ist der Account nicht nur auf BigQuery limitiert, sondern umfasst auch andere Google Cloud Platform Produkte.

 

Sollte dieser Freibetrag tatsächlich irgendwann aufgebraucht oder das Jahr vergangen sein, greifen folgende Preise:

 

Speicherung von Daten:

0,02$ pro GB pro Monat (die ersten 10 GB im Monat sind kostenlos)

 

Abfragen von Daten:

5$ pro 1 TB (das erste TB ist pro Monat kostenlos)

 

Dabei ist es wichtig zu wissen, dass nur erfolgreiche Abfragen berechnet werden. Sollte die Abfrage einen Fehler auswerfen, berechnet Google keinen Cent.

 

Alles in allem heißt das, dass sich die Kosten bei kleineren Datenmengen in einem überschaubaren Rahmen bewegen und keinesfalls im Verhältnis dazu stehen, was ausgegeben werden müsste, um die gleiche Qualität mit einer eigenen Datenbank zu bewerkstelligen. Für Firmen mit größerem Datenvolumen bietet Google zudem Pauschalpreise an.

Details zu den Preisen: https://cloud.google.com/bigquery/pricing

 

Hinzu kommt, dass es mehrere Sicherheitsmechanismen gibt, die verhindern, dass ein bestimmtes Budget überschritten wird.

Details: https://cloud.google.com/bigquery/docs/custom-quotas

 

Wie benutzt man es?

BigQuery enthält ein integriertes Abfragemodul, in dem die Abfragen direkt gestellt und die Daten entsprechend ausgegeben werden können.

 

Abfragen werden in SQL verfasst.

Quelle: https://bigquery.cloud.google.com/table/bigquery-public-data:google_analytics_sample.ga_sessions_20170801?pli=1

 

In Bezug auf die SQL Nutzung innerhalb von BigQuery gibt es allerdings einen wichtigen Unterschied.

Es existiert sowohl der ältere “Legacy SQL” Dialekt, der eine Google spezifische Adaption des normalen SQL ist, als auch der im Juni 2016 eingeführte “Standard SQL” Dialekt.

 

Beide Dialekte sind aktiv und können verwendet werden. Bisher hat Google keine Anzeichen von sich gegeben, das teils sehr beliebte Legacy SQL abzuschaffen.

Wer braucht BigQuery? Und wofür?

Fälschlicherweise wird BigQuery oft nur im Zusammenhang mit Google Analytics gesehen.

Häufig wird es als eine Art Feature von Google Analytics 360 verstanden – damit tut man dem Tool allerdings unrecht.

BigQuery ist eine eigenständige Datenbank, die zwar mit der sehr einfach umzusetzenden Verbindung zu Google Analytics einen großen Vorteil in der Analyse der Google Analytics Daten mit sich bringt, doch zusätzlich noch eine Menge weiterer Vorteile vorweisen kann.

 

Der Data Lake ist in aller Munde – BigQuery ist hier eine mögliche Alternative mehrere Datenquellen zusammengeführen und sie zentral zu speichern.

Verschiedene Datensätze können entsprechend im Tool gespeichert und über einfache JOIN Abfragen miteinander verknüpft werden. Wie man es von Google gewohnt ist, ist die Verknüpfung mit hauseigenen Programmen sehr einfach gestaltet – beispielsweise wird ein Data Transfer Service für AdWords, DoubleClick oder auch YouTube angeboten.

Ein großer Vorteil ist zudem, dass Datensätze, die im Google Cloud Storage, in Cloud BigTable oder auch in Google Drive gespeichert wurden, abgefragt werden können, ohne, dass diese dupliziert und als weiterer Datensatz innerhalb von BigQuery abgelegt werden müssen.  

 

Die Ergebnistabelle kann dann wiederum als Basis für ein Reporting dienen, das mehrere Datenquellen darstellt. Alle gängigen Visualisierungstool verfügen mittlerweile über eine vordefinierte Schnittstelle zu BigQuery, über die die Daten kinderleicht und ohne Programmierkenntnisse ihren Weg in das entsprechende Tool finden.

 

Wer sollte BigQuery nutzen?

Alle, die möglichst heute noch in das Datenbankthema einsteigen, aber kein großes Budget in die Hand nehmen wollen, um eine eigene Datenbank aufzubauen, sind bei BigQuery richtig aufgehoben.

Durch die einfache und sehr performante Bedienung lässt sich der Fokus auf die Abfrage, Verknüpfung und Analyse der Daten richten.

 

Vorteile bietet das Tool auch als zusätzliche Datenbank, um vorhandene Datenquellen wie zum Beispiel Google Analytics, Adwords & Co. zu verknüpfen oder mit anderen Daten aus dem Data Warehouse anzureichern. Durch den Vorteil, dass es – bis auf die sehr geringen Kosten der Speicherung – keine laufenden Kosten gibt, eignet sich das Tool sehr gut als Zweit-Datenbank.

 

Für alle Google Analytics 360 Nutzer bietet BigQuery zudem den Vorteil, dass Limitationen, die im Interface vorhanden sind, umgangen und größere Mengen an Daten abgefragt und verarbeitet werden können.

 

Insgesamt hat Google mit BigQuery eine sehr performante Alternative zu anderen Datenbanken geschaffen, bei der die Einstiegsschwelle sehr niedrig und die Kosten verhältnismäßig gering sind. Sowohl für Datenbankanfänger als auch für Fortgeschrittene bietet BigQuery das richtige Setup und kann mit der Anbindung zu zahlreichen anderen Produkten ein Einstieg in die Welt der Google Cloud sein.