Klinkt te goed om waar te zijn? Toch niet! Het Microsoft Azure Data Lakehouse verwerkt data op een snelle en gestructureerde manier waardoor bijvoorbeeld dashboarding, advanced analytics of machine learning direct toegepast kan worden. En Cmotions helpt jou om hiermee een data architectuur neer te zetten die toekomstbestendig, snel en goedkoop is.
Het data lakehouse is een relatief nieuw concept, dat de voordelen van een traditioneel data warehouse (DWH) combineert met de voordelen van een data lake.
Zoals in onderstaande afbeelding wordt weergegeven is een traditioneel DWH geschikt voor het opslaan van gestructureerde data door middel van data verladingen (ETL). Er ontstaat een omgeving waar data stapsgewijs verwerkt is tot bruikbare stukken. Zo’n DWH bestaat vaak uit een beperkt schaalbare omgeving waar opslag en berekeningen duur zijn.
Een Data Lake biedt ook de mogelijkheid tot opslag en verwerking van ongestructureerde data (tekst, beeld, geluid) maar gestructureerde data wordt dan nog steeds naar een traditioneel DWH geladen, wat tot dezelfde rigide omgeving leidt. In dit artikel lees je meer over het verschil tussen een DWH en Data Lake.
Het Data Lakehouse combineert beide architecturen, waar de data in het data lake opgeslagen blijft. Hierdoor zijn de kosten zeer laag (€0,01 per GB) en je betaalt alleen voor de rekenkracht die je gebruikt. Dit maakt het ook oneindig schaalbaar.
Het inrichtingsproces is volledig geautomatiseerd waardoor de gehele infrastructuur binnen een dag klaar kan staan. De data kan direct worden ontsloten en je kunt meteen starten met bijvoorbeeld het bouwen van dashboards.
Vanuit Cmotions hebben we gewerkt aan een basisoplossing om de implementatie zo generiek mogelijk toepasbaar te maken. Dit is het vertrekpunt waarmee we de oplossing inrichten conform de specifieke requirements van de opdrachtgever. Op deze manier kunnen wij de kosten laag houden , en is de opstarttijd laag. Dit maakt de implementatie geschikt voor alle type organisaties, klein en groot.
Voor een dergelijke implementatie is het niet nodig dat een opdrachtgever zelf kennis van dashboarding of analytics in huis heeft. Wij zorgen voor een robuuste infrastructuur met templates, waarmee een organisatie vervolgens zelf aan de slag kan gaan. Afhankelijk van de aanwezige expertise, kan Cmotions de organisatie op weg helpen om het platform optimaal te benutten.
Bij Cmotions werken wij veel met Azure, waar Synapse in wordt aangeboden. Synapse maakt het mogelijk om het data lakehouse in te richten en op een overzichtelijke manier de data te verwerken en toegankelijk te maken voor andere applicaties. Zo biedt het de mogelijkheid om een virtuele database op te zetten. Hierdoor lijkt het voor gebruikers alsof ze met een “normale” database werken, maar in feite werken ze rechtstreeks op het data lake. Daarnaast biedt Synapse integratiemogelijkheden met een groot aantal platforms en tools waaronder Python en Spark voor data science, advanced analytics en machine learning toepassingen.
Wil je meer weten over het Azure Data Lakehouse en hoe jij dezelfde dag nog jouw data kan verzilveren? Neem dan contact op met Bas via onderstaande gegevens.
Wil je meer weten over dit onderwerp? Neem dan contact op met Bas Meinen of Thijs van der Velden via onderstaande contactgegevens.