Stel je voor: je bent CFO van een groothandel. Je wilt weten wat de marge was op de top-20 klanten vorig kwartaal, uitgesplitst per productcategorie. In de meeste ERP-omgevingen betekent dat óf een PowerPoint die je over twee dagen in je inbox krijgt, óf een kwartier zelf klikken in een dashboard dat niemand begrijpt.
Met AskBI typ je de vraag. Binnen 0,4 seconden heb je het antwoord. Hoe? Door vijf lagen slimme caching te combineren met AI die écht SQL begrijpt.
Het probleem: live ERP-data is traag
Business Central en vergelijkbare ERP-systemen zijn gebouwd voor transactieverwerking, niet voor analytische queries. Een query die 20 tabellen joinde over 12 maanden verkoopdata kostte in onze eerste versie soms 32 seconden. Dat werkt niet in een conversationele interface — gebruikers verwachten Google-snelheid.
De oplossing: vijf lagen
We bouwden een caching architectuur met vijf lagen, elk met een eigen verantwoordelijkheid:
- React Query (client-side): Recent gebruikte antwoorden blijven 5 minuten beschikbaar. Navigeer terug naar een vorig gespreksonderwerp en het antwoord is instant — geen roundtrip nodig.
- In-process memCache (Node.js):Populaire queries worden in het werkgeheugen van de chatbot-service gehouden. Latency: <1ms.
- Upstash Redis (gedeeld): Multi-instantie cache voor queries die door meerdere gebruikers van dezelfde tenant worden gevraagd. TTL configureerbaar per querytype (1u voor actuele data, 24u voor historisch).
- Supabase durable cache: Queryresultaten worden met hash van SQL + parameters opgeslagen. Handig bij herstart van services.
- Materialized views in Azure SQL: Pre-geaggregeerde tabellen voor de meest voorkomende analyses (revenue per klant/artikel/periode, aging, top-customers). Deze refreshen elke 15 minuten.
Semantische cache: dezelfde vraag, andere bewoordingen
Een bijzondere uitdaging bij conversationele BI is dat dezelfde vraag op tientallen manieren gesteld kan worden. "Wat was de omzet van Q1?" en "Hoeveel hebben we verkocht in het eerste kwartaal?" zijn semantisch identiek, maar tekstueel verschillend.
We embedden elke vraag met het text-embedding-004 model van Google en vergelijken de vector met eerder opgeslagen antwoorden via cosine similarity. Bij een score boven 0,92 serveren we het gecachte antwoord — met een notitie dat het gaat om een vergelijkbare eerder gestelde vraag.
Resultaten in productie bij Quality Textiles
Na uitrol van alle vijf lagen bij onze eigen groothandel:
- P50 query-latency: van 8,2s naar 0,4s
- P95 query-latency: van 32s naar 1,8s
- Cache hit rate: 67% over alle queries
- AI-costs: 43% lager door minder LLM-roundtrips
De vijf-lagen aanpak is nu beschikbaar voor alle AskBI-tenants. Elke laag is configureerbaar per tenant, zodat bedrijven met strengere data-actualiteitseisen de TTL kunnen verlagen.