Datamining en datawarehousing worden vaak op één hoop gegooid onder de brede paraplu van business intelligence. Ze dienen hetzelfde uiteindelijke doel: ruwe informatie omzetten in kennis die u daadwerkelijk kunt gebruiken. Maar de mechanismen erachter? Compleet anders. Eén gaat over hoe je de spullen opbergt. De andere gaat over wat je ermee doet als het daar eenmaal zit.
Denk er zo over na. Datawarehousing is de architectuur. Datamining is het opgraven.
De mijnbouwoperatie
Datamining is in wezen statistische analyse op grote schaal. Het is niet alleen kijken naar een spreadsheet; het doorzoekt terabytes aan gegevens om verborgen patronen te vinden. Analisten beginnen meestal met een hypothese. Misschien vermoeden ze dat klanten die product X kopen, binnen een half jaar ook product Y kopen.
Ze voeren query’s uit om deze theorie te testen aan de hand van de ruwe cijfers. Als de data het verband bewijzen, kan het bedrijf slimmere beslissingen nemen. Ze begrijpen hun klanten beter. Zij weten hoe leveranciers zich gedragen. Het is voorspellend. Het is proactief.
Maar om die zoekopdracht efficiënt te laten verlopen, is de onderliggende datastructuur van belang. Veel.
Stichting Magazijn
Datawarehousing is het proces waarbij wordt ontworpen hoe gegevens worden opgeslagen om de rapportage- en analysemogelijkheden te maximaliseren. Het is niet voldoende om alleen databases verspreid over de servers van een bedrijf te hebben. Experts beschouwen deze dataopslag als conceptueel en fysiek verbonden.
Een bedrijf kan tientallen databases hebben. Verkoopgegevens hier. Inventaris aldaar. Klantenservice logt in op een derde locatie. Om een volledig beeld te krijgen, moeten deze uiteenlopende bronnen zich tot elkaar verhouden. De fysieke databases zelf moeten verbindingen hebben zodat hun gegevens samen kunnen worden bekeken.
Hierdoor ontstaat er een uniform beeld. Zonder die verbinding kijk je naar geïsoleerde silo’s. Hiermee beschikt u over één enkele bron van waarheid voor rapportagedoeleinden.
De synergie
De relatie tussen de twee is eenvoudig. Gegevens die op de juiste manier zijn opgeslagen, zijn gemakkelijker te ontginnen.
Stel je een dataminer voor die probeert een query uit te voeren op terabytes aan informatie, verspreid over meerdere databases op verschillende fysieke netwerken. De latentie zou wreed zijn. De resultaten zouden een eeuwigheid duren. Het is inefficiënt. Het is frustrerend.
Stel je nu voor dat dezelfde zoekopdracht wordt uitgevoerd tegen een datawarehouse dat vakkundig is ontworpen om relevante datapunten met elkaar te verbinden. De mijnwerker kan zinvolle, efficiënte zoekopdrachten uitvoeren. De resultaten komen snel terug. Het bedrijf krijgt inzichten waar het direct op kan reageren.
Waarom het ertoe doet
Je vraagt je misschien af welke je eerst nodig hebt. Het antwoord is niet binair, maar de volgorde bepaalt vaak het succes. Als je gegevens verzamelt die niet op de juiste manier zijn opgeslagen, graaf je door de modder. Je bladert door losstaande fragmenten zonder een duidelijke kaart.
Warehousing zorgt voor de structuur. Mijnbouw biedt het inzicht.
Eén organiseert de chaos. De ander vindt het signaal in de ruis.
Zorg voor de juiste opslag en de analyse wordt krachtig. Als je het verkeerd doet, verzamel je alleen maar digitaal stof. Het doel is niet alleen om gegevens te hebben. Het is om bruikbare gegevens te hebben. Dat onderscheid verandert alles.
