Just finished an excellent dbt (Data Build Tool) course on Udemy by Zoltan C. Toth. #dbt is a tool that can be used to develop data models. dbt applies many software engineering best practises to the workflow of transforming your data. What I really liked about dbt: – Version control is easily added to a…
Why does Power BI hate many-to-many relationships? Despite the title (that did its job in getting your attention) many-to-many relationships *-* are not necessarily evil. However, modeling your data in a manner that avoids many-to-many relationships helps in a lot of scenarios with data consistency, among other things. Let’s dive into this using the ancient…
I have a data modeling conundrum. It concerns records in a dimension that have start- and enddates. I’ve heard people refer to this type of problem as the “events in progress”-problem. My specific version of this problem goes like this: Imagine you have a sales fact table called FactSales with a date, an employee who…
I am rereading The Data Warehouse Toolkit by Kimball and Ross and would like to share something interesting concerning fact tables. According to the book, there are 3 main types of fact tables: A transaction fact table inserts a new record for every transaction that takes place. An obvious example would be a sales fact…
🔍 Nog een oplossing om met veranderende gegevens in je Data Warehouse om te gaan: Slowly Changing Dimensions Type 3 ⏳ In de wereld van data-opslag komen we vaak voor de uitdaging te staan om gegevens bij te werken zonder het verleden te vergeten. Dat is waar Slowly Changing Dimensions (SCD) van pas komen, en…
Slowly Changing Dimensions type 2 (SCD2) is een concept dat wordt gebruikt in datawarehousing en data management om veranderingen in beschrijvende gegevens bij te houden en te beheren. Beschrijvende gegevens zoals klantgegevens worden typisch in een dimensietabel opgeslagen. SCD2 helpt bij het beheren van deze gegevens wanneer ze in de loop van de tijd veranderen.…
Slowly Changing Dimensions (SCD) is een concept dat wordt gebruikt in datawarehousing en data management om veranderingen in beschrijvende gegevens bij te houden en te beheren. Beschrijvende gegevens zoals klantgegevens worden typisch in een dimensietabel opgeslagen. SCD helpt bij het beheren van deze gegevens wanneer ze in de loop van de tijd veranderen. Er zijn…
Beschrijvende informatie die zich in dimensietabellen bevindt is onderhevig aan verandering. De adresgegevens van een klant bijvoorbeeld, veranderen wanneer deze klant verhuist. In mijn vorige post (zie comments) heb ik het gehad over een oplossing hiervoor: slowly changing dimensions (SCD). Vandaag behandel ik de eerste en meest gemakkelijke manier (SCD type 0) om met deze…
Wil jij een schaalbaar en duurzaam datamodel dat zelfs onder belegering van de meest complexe veranderingen en queries bruikbaar blijft? Dan zijn Slowy Changing Dimensions (SCD) een overweging waard! Laten we eerst beginnen met de definitie van een dimensie: een dimensie bevat beschrijvende informatie over je data. Je kunt hierbij denken aan bijvoorbeeld product- of…
