Cloud Datawarehousing

Rond 2015 begonnen Nederlandse bedrijven met het migreren van on-premise datawarehouses naar cloud-omgevingen. Maar hoe ontwerpen we eigenlijk een goed op cloud technologie gebaseerd datawarehouse dat daadwerkelijk gebruik maakt van de nieuw beschikbare technologische mogelijkheden? Hoe zorgen we ervoor dat zo’n datawarehouse voldoet aan de veranderende informatiebehoefte en hedendaagse klantwensen? En tenslotte: theorie is belangrijk, maar wat zijn nu de praktische lessons learned bij het bouwen van een modern datawarehouse?

Steeds meer organisaties ‘wagen de sprong’ om hun datawarehouse te verplaatsen naar de cloud. Een belangrijke reden hiervoor is dat het duidelijk is geworden dat cloud-native analytische databases, de drijvende technologie achter het cloud gebaseerde datawarehouse, op het gebied van schaalbaarheid en TCO een on-premise systeem in veel gevallen verslaan. Daarnaast heeft de beursgang van Snowflake in 2020 ons laten zien dat ‘datawarehousing  als concept’ niet dood is, zoals sommige experts de afgelopen jaren wel degelijk verkondigd hebben.

Eén van de belangrijkste voordelen van cloud analytische databases is hun vrijwel ‘eindeloze’, onafhankelijk schaalbare opslag en rekenkracht. Veel organisaties komen er echter achter dat het nog niet zo eenvoudig is om optimaal gebruik te maken van deze nieuwe mogelijkheden als ze de migratie uitvoeren volgens een lift-and-shift aanpak. Dit komt doordat veel gebruikte data architectuur ontwerp principes van het ‘klassieke datawarehouse’ vaak niet helemaal logisch meer zijn binnen een cloud context.

Een tweede probleem van de ‘lift en shift’ migratie is een mogelijke mis-match op het gebied van hedendaagse consumptiepatronen. Een datawarehouse dat alleen nog maar focust op tactische / strategische informatievoorziening voldoet niet meer. In veel organisaties bestaat een concrete vraag naar operationele (meer realtime) analytische informatie, met daarnaast ook nog eens wensen op het gebied van goed vindbare, ruwe data ten behoeve van de ‘explorerende’ data scientist. Veel data architecten zijn zich gaan realiseren dat ‘de data scientist’ momenteel veel werk verricht dat prima past onder de taken van ‘datawarehousing’. Een goed ontworpen modern datawarehouse ziet deze data scientist dan ook als een primaire klant.

Seminar

In dit seminar zal Rogier Werschkull u aanknopingspunten geven waarmee u een begin kunt maken met het naar de cloud brengen van uw huidige datawarehouse. Op basis van een data architectuur die past bij hedendaagse use cases en gebruikers consumptiepatronen.

Hiernaast krijgt u inzicht hoe de verschillende (native) cloud analytische databases zich tot elkaar verhouden. Welke oplossing en bijbehorende toolset moeten we kiezen en waarom? Bij de vergelijking van deze oplossingen beperken wij ons tot de belangrijkste spelers van dit moment: Amazon Redshift, Google BigQuery, Snowflake en Azure SQL datawarehouse / Synapse. De ondersteunende tools die voorbij zullen komen vallen in de categorie Extract-Load tools zoals Fivetran en Stitch en nieuwe data transformatie tools, zoals Data Build Tools (DBT) en Matillion.

Het belangrijkste doel van dit seminar is om u een ‘kickstart’ te geven waarmee u concreet mee aan de slag kunt. Dat u eerst gaat beseffen wat het implementeren van een op (native) cloud technologie gebaseerde ELT (niet ETL!) data architectuur voor analytische consumptie patronen in de praktijk betekent. En hoe u vervolgens op basis van nieuwe architectuur principes kunt beginnen met de technische implementatie. Daarnaast zal de trainer zijn persoonlijke ‘lessons learned’ en best practices met u delen.

Leerdoelen

In deze training krijgt u antwoord op de volgende vragen.

• Hoe zit het ook alweer met datawarehousing als architecturele discipline, hoe overlapt dit met recentere concepten als het ‘data lake’ of het ‘data lakehouse’?
• Wat is een ‘moderne manier van datawarehousing’ en hoe verschilt dit van de klassieke aanpak? We kijken hier met name naar kwaliteitseisen en gebruiker toegangspatronen.
• Wat is de rol van de ‘Data Scientist’ in deze context en waarom is deze essentieel?
• Hoe ziet de cloud agnostische datawarehouse architectuur er uit die de trainer sinds 2016 inzet?
• Wat bedoelen we met ‘separation of concerns’ , het primaire architectuur principe achter het ontwerp van een modern datawarehouse?
• Wat zijn de belangrijkste data architectuur principes, voorvloeiend uit ‘separation of concerns’ en het effect hiervan op de praktische implementatie van het moderne datawarehouse?
• Waarom datawarehouse automation een essentiële rol zou moeten spelen bij de bouw van het moderne datawarehouse, en hoe dit globaal gezien zou moeten gebeuren.
• Waarom kan het opzetten van een modern datawarehouse beter in een cloud native analytische database dan op basis van ‘on-premise’ technologie?
• Wat zijn de belangrijkste voor- en nadelen van de meest gebruikte cloud analytische databases: Snowflake, Google BigQuery, Amazon Redshift en Azure Synapse.
• Welke additionele tooling komen we tegen om een cloud-gebaseerd datawarehouse mee te bouwen (bijv. Stitch, Fivetran, DBT en Matillion)?
• Wat zijn de gebruikte fysieke data modellerings technieken per datawarehouse laag?
• Wat zijn de belangrijkste ’lessons learned’ op het vlak van implementatie en techniek?

Bestemd voor ú

Programma- en projectmanagers voor datamanagement en analytics, datawarehouse-professionals, architecten, technologieplanners. Tevens dataontwerpers, data-integratiespecialisten, data-engineers, datawarehouse / ETL developers. Eenieder die een rol heeft bij de migratie van legacy datawarehouses naar de cloud.

[Bekijk het video-interview met Rogier over Cloud Datawarehousing.]