Benytt Big Data med Google BigQuery

I disse dager har selv de minste foretak samlet inn terabyte - om ikke petabytes - av datalagring. I tillegg sies tjenester som YouTube og Twitter å overgå terabyte med data daglig. Det er det ingen tvil om; vi er i en alder av "big data". Så spørsmålet oppstår, hvordan skal vi skanne disse enorme massene av informasjon uten å oppleve resultatforringelse som er lagt merke til hos relasjonsdatabaseservere (mest på grunn av deres tilbøyelighet til å bevare en relasjonsstruktur, eller oppnå det som kalles normalisering)?

Hovedsakelig innebærer de fleste forretningssaker som krever spørring i store datalagre, vanligvis en slags sentimentanalyse, i markedsføringsøyemed, eller angår analyse av data angående tidssensitive / sanntidsprosesser som må forstås umiddelbart for å maksimere deres verdi, eller til og med ha noen verdi i det hele tatt. For de som ønsker å utnytte big data, kan det imidlertid være en veldig kostbar og tidkrevende utgift å sette opp en plattform for å behandle og analysere data på tvers av serverklynger, mens de kontinuerlig streamer store mengder av forskjellige datatyper. Heldigvis tilbyr Google, som en del av den nylig mynte Cloud Platform, BigQuery, en "betal-som-du-bruk-løsning" for de som ønsker å bli føtt våte midt i spørring om komplekse ustrukturerte datasett - uten problemer med å måtte klare et tungvint distribuert system.

Google BigQuery er egentlig en on-demand storlagrings- og spørretjeneste. Man kan lagre så mye data som han / hun føler seg nødvendig, og trenger bare å betale for det han / hun bruker (til en viss grad av lagringsgrenser). Videre kan man skalere dataene sine til mengden hundrevis av terabyte med data, uten at det er behov for ytterligere administrasjon. Brukere administrerer datalagrene sine via et nettbasert grensesnitt, eller alternativt gjennom et HTTP REST API eller ved hjelp av kommandolinjen. Dette inkluderer kjøring av SQL-lignende spørsmål som ikke bare lar en spørre kolonnedatastrukturer, men også bli med relaterte tabeller, akkurat som man kan gjøre med en tradisjonell SQL-databasemotor.

Når det gjelder integrering, gir BigQuery en enkel metode for å eksportere data. Mer gradvis kan brukerne dele dataene sine i Google-regneark, eller gjennom Google App Engine-avledede dashboards, alt mens de kontrollerer tilgangen gjennom ACL-er. Flere sikkerhetslag leveres, som skissert i BigQuerys vilkår for bruk, som garantert "overholder fornuftige sikkerhetsstandarder ikke mindre beskyttende enn sikkerhetsstandardene på fasiliteter der Google behandler og lagrer sin egen informasjon" med fullstendig overflødighet gjennom Googles utallige datasentre. . Prisfastsettelse er relativt grei, der man bare trenger å være opptatt av to faktorer, spørring og lagring.

Som det fremgår av BigQuery-prissiden-nettstedet, "bruker BigQuery en søyledatastruktur, noe som betyr at du for et gitt spørsmål bare belastes for data behandlet i hver kolonne, ikke hele tabellen." Noe å være oppmerksom på er at ladningene avrundes til nærmeste MB, med minimum 1 MB data behandlet per spørring. For en kontonivå (ikke-premier) -konto, løper lagring for øyeblikket $ 0, 12 per GB for opptil 2 TB månedlig. Spørring belastes basert på GB behandlet, koster $ 0, 035 (ja, det er ½ cent) per gigabyte, med en grense på 20.000 spørsmål per dag, samt 20 TB behandlet data per dag. Dessuten er de første 100 GB data behandlet per måned gratis!

BigQuery har flere klientbiblioteker, for eksempel Python og Java, så utviklere som er kjent med Google App Engine, skal ikke ha noe problem med å hoppe rett i. Hvis du imidlertid er nybegynner, eller bare trenger å registrere deg for tjenesten, kan du referere til BigQuery Hurtigstartveiledning. For mer komplekse eller virkelig "store" applikasjoner, se utviklerhåndboken.

© Copyright 2020 | mobilegn.com