Programma

Deze sessie bespreekt de data lakehouse, de nieuweling in de wereld van data-architecturen. Kort gezegd is het data lakehouse een combinatie van een datawarehouse en een data lake. Met andere woorden, deze architectuur is ontwikkeld om een ​​typische datawarehouse-workload plus een datalake-workload te ondersteunen. Het bevat gestructureerde, semi-gestructureerde en ongestructureerde gegevens. Technisch gezien worden de gegevens in een data lakehouse opgeslagen in bestanden die toegankelijk zijn voor elk type tool en databaseserver. De gegevens worden niet gegijzeld door een specifieke databaseserver. SQL-engines hebben ook efficiënt toegang tot die gegevens voor meer traditionele business intelligence-workloads. En datascientists kunnen hun descriptive en prescriptive modellen rechtstreeks op de data ontwikkelen.

Het is heel logisch om deze twee werelden te combineren, omdat ze dezelfde gegevens en logica delen. Maar is dit echt mogelijk? Is dit allemaal te mooi om waar te zijn? In deze sessie worden verschillende aspecten van datawarehouses en datalakes besproken om te bepalen of de datalakehouse een marketinghype is of dat dit echt een waardevolle en realistische nieuwe data-architectuur is.

• Het belang van het combineren van de BI use case en de data science use case in één architectuur
• De relatie tussen de data lakehouse-architectuur en SQL-on-Hadoop-engines
• Vergelijkingen van datawarehouse, datalake en datalakehouse zijn gekleurd
• Ontbrekende onderdelen van het data lakehouse
• Het opslaan van gegevens in open bestandsformaten heeft praktische voordelen
• Is de data lakehouse een business pull of een technology push?

In deze sessie wordt u meegenomen in de meest gebruikte modellen. De toepassing ervan in context en de noodzaak om een model te kiezen bij het ritme en doelstelling van de data. Er is veel discussie over welk datamodel het best is. Goeroes vallen over elkaar heen. Afhankelijk van de achtergrond van de IT-er zijn ze meer of minder bekend met de keur aan beschikbare modellen. Door de focus op data science worden de onderliggende modellen vaak niet geadresseerd. Welk model u kiest heeft implicaties voor de mogelijkheden in de toekomst. Kies het datamodel dat past bij de doelstelling die u heeft met data, voor de gehele levenscyclus van de gegevens.

Waarom is dat nu relevant? De GDPR, de aankomende Data Act en AI Act vragen van bedrijven en instellingen om te weten welke data ze hebben, met welk doel, vanaf wanneer en tot wanneer. Dit zijn minimale eisen. In veel branches is de data ook als asset op de balans te vinden. Daarom is data in veel organisaties van een bij- naar een hoofdrol aan het gaan.

Een datamodel legt vast hoe de gegevenselementen zich tot elkaar verhouden. Of gegevens kunnen worden gecombineerd, hoe ze kunnen worden opgevraagd. Wat vaak over het hoofd wordt gezien, is dat je data niet alleen bewaart om te registeren, maar ook om te analyseren. Met de opkomst van Data Science, Articial Intelligence en Machine learning is de kwaliteit van de gegevens geen bijzaak meer. Er is geen mens meer om de vastgelegde gegevens eerst te interpreteren. Data wordt op grote schaal door de (wiskundige) modellen geïnterpreteerd door de computer, de computers worden ingezet in waar ze het best in zijn: rekenen. Als data op een verkeerde manier wordt bewaard, dan geven de modellen verkeerde uitkomsten met vaak desastreuze gevolgen.

De hoofdtypen modellen, relationeel, dimensioneel, ensemble en graven worden toegelicht.
Het belangrijkste gegeven bij het kiezen van een model is: welk belang in het kader van de doelen van de organisatie moet worden gediend? Is het belangrijk om zo secuur mogelijk te registreren wat er is gebeurd in interacties met een klant? Is het nodig om terug te kijken naar de gang van zaken, om te verbeteren? Of moet er vooruit gekeken worden naar de toekomst, gebaseerd op historische gegevens?

Vanuit de doelstellingen behandelen we de voor- en nadelen van elk model. Er is geen ‘one size fits all’ in datamodelleren. Keuzes gemaakt bij de ontwikkeling hebben langdurige gevolgen voor de toepassingen die met de data mogelijk zijn. Daaruit volgen implicaties voor de gehele data architectuur, in deze sessie focussen we op de datamodellen.

• Waarom data en datamodellen van een bijrol naar een hoofdrol gaan
• Datamodel typen, relationeel, dimensioneel, ensemble en graven
• Relatie tussen datamodel en doelstelling organisatie
• Ritme en doelstelling van de data gevat in een model
• Historie vatten in een model.

Most firms today want to create a high quality, compliant data foundation to support multiple analytical workloads. A rapidly emerging approach to building this is to create DataOps pipelines that produce reusable data products. However, there needs to be somewhere where these data products can be made available so data to be shared. The solution is a data marketplace where ready-made, high quality data products that can be published for others to consume and use. This session looks at what a data marketplace is, how to build one and how you can use it to govern data sharing across the enterprise and beyond. It also looks at what is needed to operate a data marketplace and the trend to become a marketplace for both data and analytical products.

• The need for a high-quality data foundation to support decision making
• Incrementally building a data foundation using DataOps pipelines to product Data Products
• Using an enterprise data marketplace to share data
• What is the difference between a data catalog and a data marketplace?
• Challenges in establishing a data marketplace
• What processes are needed to operate a data marketplace?
• Governing the sharing of data using a data marketplace
• Trends – publishing analytical products in a marketplace
• Progressively shortening time to value using a marketplace.

Data Management omvat een breed gebied aan onderwerpen en aandachtsgebieden waar je mee te maken krijgt als organisatie die zich moet aanpassen aan een omgeving die steeds digitaler wordt. Waar begin je? En hoe maak je het tot iets dat door de hele organisatie omarmd wordt?

Inmiddels is Evides Waterbedrijf ruim 5 jaar onderweg om een data management programma uit te rollen en heel bewust te groeien naar een datagedreven en data-volwassen waterbedrijf. En terugkijkend zijn er wel enkele lessen te trekken die bepalend waren voor de ontwikkeling tot nu toe en tekent de toekomst zich steeds scherper af. Vanuit mens, proces, technologie en organisatie zijn verschillende stappen gezet die de revue zullen passeren:

• Eén waarheid in de data: groei in data volwassenheid kun je versnellen, maar je kunt groei niet overslaan
• Verankering van data management op het juiste niveau en zorg voor een goede sponsor
• Laat continue de waarde zien van data voor de stakeholders en stimuleer actief data management
• Hoe bouw en onderhoud je een BI-platform dat nu en in de toekomst van waarde is voor de organisatie
• Wat betekent data management en BI voor je personeel en de benodigde skills?
• Wanneer weet je dat een data governance oplossing nodig is?

Since Google announced its Knowledge Graph solution in 2012 the paradigm has found its way into many real-world use cases. These are mostly in the analytics space. The graph database market has exploded over the last 10 years with at least 50 brand names today. International Standardization is coming – very soon SQL will be extended by functionality for property query queries. A full international standard for property graphs, called GQL, will surface in late 2023.
The inclusion of graph technology dramatically enlarges the scope of analytics by enabling semi-structured information, semantic sources such as ontologies and taxonomies, social networks as well as schema-less sources of data. At the same time graph databases are much better suited for doing complex multi-joins analyzing large networks of data, opening up for advanced fraud detection etc. The Panama papers is the best-known example. Finally graph theory is a mathematical discipline with a long history, which among other things have created graph algorithms for many complex analytics, such as clustering, shortest path, page rank, centrality and much more.
This presentation will cover what a Knowledge Graph is, how it is different and yet complementary to other technologies. Furthermore, Thomas will cover:

• Why do semantics and relations matter?
• What kinds of data architectures and pipelines?
• Which are the vendors and the products?
• Which standards exist?

It is a non-technical presentation, focusing on business requirements and architecture. More technical information will be covered in the workshop Understanding Graph Technologies on the 5th of April.

The concepts and practices of Data Mesh and Data Fabric are data management’s new hot topics. These contrasting yet complementary technology and organisational approaches promise better data management through the delivery of defined data products and the automation of real time data integration.

But to succeed both depend on getting their Data Quality foundations right. To work, Data Mesh requires high quality, well curated data sets and data products; Data Fabric also relies on high quality, standardised data and metadata which insulates data users from the complexities of multiple systems and platforms.  

This session will briefly recap the main concepts and practices of Data Mesh and Data Fabric and consider their implications for Data Quality Management. Will the Mesh and Fabric make Data Quality easier or harder to get right? As a foundational data discipline how should Data Quality principles and practices evolve and adapt to meet the needs of these new trends? What new approaches and practices may be needed? What are the implications for Data Quality practitioners and other data management professionals working in other data disciplines such as Data Governance, Business Intelligence and Data Warehousing?   

This session will include:

• A brief overview of the main concepts of Data Mesh and Data Fabric
• A review of the current state of Data Quality Management – its successes and failures
• An analysis of the impact of Data Mesh and Data Fabric on Data Quality Management – will they improve or worsen the Data Quality status quo?
• Practical guidance on how Data Quality Management needs to evolve to support these new data management approaches
• A suggested roadmap of actions which Data Quality practitioners and other data management professionals should implement to ensure they remain relevant in the new world of Data Mesh and Data Fabric.

[On April 5th, Nigel will run a full day workshop on Data Strategy, check the conference schedule for details.]

We komen uit een wereld van algoritmen en de focus van AI ligt nog grotendeels op het optimaliseren van de modellen. In deze bijdrage door Jan Veldsink gaan we ons richten op datacentriciteit, de data in het midden plaatsen en er meerdere analyses/rapporten en applicaties van maken.

Datacentrische AI is een vorm van kunstmatige intelligentie die zich richt op het werken met en gebruiken van data om problemen op te lossen. Dit type AI omvat doorgaans het gebruik van machine learning-algoritmen en andere technieken om grote hoeveelheden gegevens te analyseren en er bruikbare inzichten uit te halen.

Enkele kernpunten van datagerichte AI zijn:

1. Datacentrische AI is gericht op het werken met en gebruiken van data om problemen op te lossen.
2. Dit type AI omvat meestal het gebruik van algoritmen voor machine learning en andere technieken.
3. Datacentrische AI kan worden gebruikt om grote hoeveelheden data te analyseren en er bruikbare inzichten uit te halen.
4. Dit type AI wordt vaak gebruikt in een breed scala aan toepassingen, zoals beeld- en spraakherkenning, natuurlijke taalverwerking en voorspellende analyses.
5. Datacentrische AI is een belangrijk hulpmiddel voor bedrijven, organisaties en individuen die grote hoeveelheden data moeten begrijpen om betere beslissingen te kunnen nemen en hun bedrijfsvoering te verbeteren.

This session looks at the emergence of Data Observability and looks at what it is about, what Data Observability can observe, vendors in the market and examples of what vendors are capturing about data. The presentation will also look at Data Observability requirements, the strengths and weaknesses of current offerings, where the gaps are and tool complexity (overlaps, inability to share metadata) from a customer perspective. It will explore the link between Data Observability, data catalogs, data intelligence and the move towards augmented data governance and discuss how Data Observability and data intelligence can be used in a real-time automated Data Governance Action Framework to govern data across multiple tools and data stores in next generation Data governance.

• What’s happening with data in business today and why there may be problems ahead
• Requirements to avoid problems and strengthen data governance
• What is data observability and what is it trying to help you do?
• What is it that can be observed?
• The data observability process – what are the steps and how does it work?
• Vendors in the market and what they are capturing
• The link between data observability and data catalogs
• Data observability, prescriptive analytics, and real-time automated data governance.

Herman Bennema zal na een korte introductie van Vektis aan de hand van praktijkvoorbeelden laten zien wat voor informatie kan worden gehaald uit de declaratiegegevens (met een totale waarde van ruim 850 miljard euro) die door Vektis worden beheerd. Ook zal hij ingaan op de wettelijke kaders waarbinnen Vektis acteert en schets hij het dilemma waar we in Nederland voor staan: hoe zorgen we voor een gezonde balans tussen enerzijds het privacy risico bij gebruik van zorgdata en anderzijds de mogelijkheden om de zorg betaalbaar, toegankelijk en van hoge kwaliteit te houden op basis van data-analyse.

• Introductie Vektis
• Data-architectuur
• Voorbeelden van informatie gebaseerd op declaratiedata
• Dilemma: wat kán versus wat mág
• Concrete aanpak voor laveren tussen AVG en Data-exploratie.

Engaging Stakeholders and Other Mere Mortals

Interest in Data Modelling, especially Concept Modelling (Conceptual Data Modelling) has increased dramatically in recent years. That’s great news, but our modelling can still be improved. When it’s done well, Concept Modelling is a powerful enabler of communication among different stakeholders including senior leaders, subject matter experts, business analysts, solution architects, and others. Unfortunately, the communication often gets lost – in the clouds, in the weeds, or somewhere off to the side. Sometimes the modeller has drifted too quickly into abstraction, sometimes the modeller has taken the famous “deep dive for detail,” but the outcome is the same – confusion, frustration, and detachment. The result – inaccurate, incomplete, or unappreciated models.
It doesn’t have to be this way! Drawing on over 40 years of successful modelling, this session describes core techniques, backed by practical examples, for helping people appreciate, use, and possibly even want to build data models.
Topics include:

• Unclear on the concept – how to think about concept modelling
• “Role induction” for clients – skip the “tutorial” on data modeling and Just Do It!
• Get a sense of direction – guidelines for data model graphics
• “Scripts” for extending the model – the value of consistency
• “Plays well with others” – make data modelling vital for analysis and design.

[On April 5th, Alec will run a half day workshop on Concept Modelling, check the conference schedule for details.]