Powrót do bloga
26.06.202610 minut
Autor:Redakcja Apptivity

Hurtownia danych w MŚP na konkretnym przykładzie – jak z chaosu zrobić jedno źródło prawdy

Większość tekstów o hurtowniach danych brzmi jak broszura: „single source of truth", „data-driven", „skalowalność". Ładne słowa, tylko że po ich przeczytaniu dalej nie wiesz, czy to jest dla Twojej firmy i co realnie zmieni. Więc zamiast definicji – konkretny przykład.

Weźmy typowego średniego dystrybutora z własnym sklepem internetowym: około 45 osób, ~30 mln zł obrotu. Sytuacja zmyślona tylko z nazwy – bo w praktyce spotykamy ją wciąż na nowo. Zobaczmy, co takiej firmie doskwiera, co się buduje i co z tego wychodzi.

Punkt wyjścia: cztery prawdy o tej samej sprzedaży

Dane były wszędzie i nigdzie:

  • ERP – faktury, magazyn, zakupy.
  • Sklep (e-commerce) – zamówienia, koszyki, ruch.
  • CRM – leady, lejek handlowy.
  • Arkusze – bo „szybciej było dopisać w Excelu".

Zarząd co miesiąc dostawał raport sprzedaży. Problem? Handlowcy liczyli sprzedaż inaczej niż księgowość, marketing miał trzecią liczbę ze sklepu, a każde zestawienie robiło się ręcznie pół dnia. Na spotkaniu padało klasyczne „skąd wzięła się ta liczba?" – i dyskusja schodziła z decyzji na spieranie się o dane.

To jest typowy moment, w którym hurtownia zaczyna mieć sens. Nie dlatego, że „trzeba mieć hurtownię", tylko dlatego, że koszt chaosu zaczął być odczuwalny.

Co budujemy – architektura medalionowa bez owijania

Świadomie stawiamy na sprawdzone, otwarte klocki i na architekturę medalionową – czyli dane przechodzą przez trzy warstwy jakości: bronze → silver → gold. Każda warstwa robi jedną rzecz i robi ją dobrze.

1. Orkiestracja: Dagster. To „dyrygent" całego pipeline'u – pilnuje, co i kiedy się ładuje, w jakiej kolejności, i alarmuje, gdy coś pójdzie nie tak. Zamiast crona i modlitwy masz przejrzysty graf zależności i monitoring.

2. Warstwa bronze – surowe dane. Z każdego źródła (ERP, sklep, CRM) ładujemy dane „jak są", bez przedwczesnego kombinowania, do hurtowni. Surowa warstwa to nasz punkt odniesienia – zawsze można wrócić do oryginału.

3. Silnik hurtowni: StarRocks. Szybka, analityczna baza, która serwuje zapytania w sekundy nawet na dużych wolumenach. Trzyma wszystkie warstwy i odpowiada na zapytania z dashboardów bez zamulania.

4. Warstwy silver i gold: dbt. Tu dzieje się prawdziwa wartość.

  • silver – dane oczyszczone i ujednolicone: spójne klucze, deduplikacja, jeden format z każdego źródła.
  • gold – gotowe modele biznesowe (sprzedaż, klienci, marża, magazyn) ze wspólnymi definicjami: co to jest „sprzedaż netto", „aktywny klient", „marża". Raz, w jednym miejscu, wersjonowane jak kod.

5. Raportowanie: Superset. Otwarte narzędzie BI na wierzchu warstwy gold – dashboardy odświeżane automatycznie. Zarząd wchodzi rano i widzi aktualne dane, zamiast czekać na kogoś z Excelem.

Całość to nowoczesny ELT (Extract–Load–Transform): najpierw ładujemy surowe dane do wydajnego StarRocks, a transformacje robimy już w hurtowni (dbt), a nie po drodze. Jest to tańsze w utrzymaniu i łatwiejsze do zmiany niż stare ETL.

Dlaczego akurat tak (a nie „większy system")

Trzy decyzje, które trzymają koszt w ryzach i chronią przed przerostem:

  • Zaczynamy od jednego pytania, nie od „zbudujmy wszystko". Pierwsza wersja ma dać jedną, niepodważalną liczbę sprzedaży i marży. Reszta dochodzi iteracyjnie.
  • Definicje jako kod (dbt). Gdy zarząd zmienia rozumienie „marży", poprawiamy to w jednym miejscu – i zmiana rozchodzi się wszędzie. Bez tego każda zmiana to tydzień poprawiania raportów.
  • W pełni otwarty stack, zero lock-inu. StarRocks, dbt, Dagster i Superset to narzędzia open-source i standardowy SQL – firma nie jest zakładnikiem jednego dostawcy ani drogich licencji.

Efekt biznesowy – w liczbach, które widać

  • Miesięczny raport sprzedaży: z pół dnia ręcznej pracy do kilku minut (i jest zawsze aktualny).
  • Koniec sporów „czyja liczba jest prawdziwa" – jedna definicja, jedno źródło.
  • Handlowcy dostają dashboard z marżą na kliencie – i często okazuje się, że część „dużych" klientów jest nierentowna. To jedna analiza, która zwraca projekt.
  • Decyzje zakupowe oparte na realnej rotacji magazynu, nie na przeczuciu.

Co ważne dla właściciela: to nie jest projekt „na rok za setki tysięcy". Pierwsza działająca wersja powstaje w kilka tygodni, a hurtownia rośnie wraz z potrzebami.

Kiedy jeszcze nie czas na hurtownię

Uczciwie: gdyby ta firma miała jedno źródło danych i trzy raporty miesięcznie, odradzilibyśmy hurtownię – wystarczyłaby porządna baza i kilka widoków. Hurtownia zwraca się, gdy dane są rozproszone, a odpowiedź na proste pytanie kosztuje czas. Jeśli nie jesteś pewien, po której stronie tej granicy jesteś – to dobry temat na krótką rozmowę, nie na projekt w ciemno.

Chcesz orientacyjny koszt dla swojej sytuacji? Na stronie Hurtownie danych mamy interaktywny kalkulator (z kursem NBP) – policzysz to w minutę. A jeśli wolisz szczegóły, zaczęliśmy od tekstu ile kosztuje wdrożenie hurtowni danych.

Najczęstsze pytania

Czym jest architektura medalionowa?

To podejście, w którym dane przechodzą przez trzy warstwy: bronze (surowe), silver (oczyszczone i ujednolicone) i gold (gotowe modele biznesowe). Dzięki temu każdy etap jest przejrzysty, a do surowych danych zawsze można wrócić.

Czy mała firma w ogóle potrzebuje hurtowni danych?

Nie zawsze. Sygnałem jest rozproszenie danych po kilku systemach i regularne spory o to, „która liczba jest prawdziwa". Jedno źródło i kilka raportów hurtowni nie wymaga.

Ile trwa pierwsza wersja?

Zwykle kilka tygodni dla jednego–dwóch źródeł i kluczowych raportów. Potem dokładasz kolejne modele iteracyjnie, w miarę realnych potrzeb.

Źródła i dodatkowe materiały