Úvod
Videa
- Představení aplikace Mixulo a jeho základních komponent
- Představení UI, transformací v Pythonu a konverzí do databáze v Mixulu
- SQL transformace v Mixulu
Základní pojmy
Mixulo - aplikace pro automatizaci práce s daty
Umí:
- odněkud - například z vaší databáze, nebo ze služby typu Google Analytics - natáhnout data,
- ta data transformovat - to znamená upravit je/provést nad nimi nějaké výpočty,
- a následně je poslat někam dál.
"Dál" může být zpátky do té databáze, odkud byla načtena. Nebo jinam, můžu je uložit třeba jako CSV soubor do Dropboxu.
Superfiles - cloudové úložiště souborů. První tzv. backend s názvem default je k dispozici v rámci aplikace Mixulo. Soubory je možné automatizovaně štítkovat.
Supertables - SQL databáze, ke kterým má Mixulo přístup.
Konvertory - nástroj pro 1. převod dat z vnějších zdrojů do Superfiles/Supertables v Mixulu nebo 2. vzájemně mezi Superfiles a Supertables nebo 3. z Mixula do vnějšího cíle. Konvertorů je tedy více druhů. Na samostatné stránce Konektory popisujeme, jak napojení definovat.
Transformace - způsob, jak uvnitř Mixula provádět nad daty výpočty či úpravy. Jde o bloky (fragmenty) kódu napsaného buď v jazyce SQL nebo Python. Fragmenty se v rámci jedné transformace provedou postupně a je možné jim dávat parametry.
Mapování - vstupní: výběr souboru ze Superfiles či tabulek ze Supertables, se kterými má Transformace pracovat.
Playground - pro transformace v Pythonu máme přímo v Mixulu vývojové prostředí - je to open source nástroj JupyterLab. V něm můžete Python kód psát a když máte ověřeno, že kód pro vaše data funguje spolehlivě, můžete z kódu vytvořit transformaci.
Song - způsob jak Transformace a Konvertory "orchestrovat", seskupit je do spuštění za sebou. Spuštění Songu je možné naplánovat na určitý čas: například chci aby se proces zpracování dat spouštěl každý den v pět hodin ráno.
Příklad: Nejdřív může konvertor získat data z Google tabulky, pak je spuštěna transformace, která data upraví a další konvertor je pak uloží do Dropboxu nebo do databáze.
Song Play - záznamy o jednotlivých spuštěních Songů