Free
The supplier scan
Six questions to put to any AI supplier. A system that can't answer one of them fails.
Free supplier scan
These are the six layers we hold every AI system against, whether we build it or assess it. They're not complicated and you need no technical background. You only have to ask them and listen to what comes back.
Nearly every AI incident you've heard of traces back to one layer that was missing: the chatbot that promised a discount that didn't exist, the newspaper with invented quotes.
The Supplier Scan assesses a system (the six layers of TRACES, for a tool or vendor); the Ketencheck assesses your chain. How you yourselves work from Source to Launch (SEAL). Do you make learning materials? Take the Ketencheck too.
To the KetencheckName the tool you're considering, or paste the link. We look up what the supplier publishes about the six layers, and tell you whether we found it in writing or inferred it.
We ask suppliers to demonstrate what their system does. An instrument that asks that question and skips itself is asking for trust it refuses to give others. So here is the scanner you just used, against the same six layers. Including the one it fails.
Trail
PartialWat is vastgelegd: bron, bewering, wie keurde goed, wanneer. En het spoor ontstaat als bijproduct van het werk, niet als administratie die iemand moet bijhouden.
Bij elk oordeel leggen we vast waarop het rust, waar dat staat, hoe eensgezind onze beoordelingen waren en wie het heeft nagekeken.
Verifiable in
supabase/migrations/0014_leverancierscan_register.sql
“vindplaats_url, vindplaats_citaat, redenering, samenvatting, gezocht_in, stemmen_totaal, nagekeken_door, nagekeken_op”
What's missing
Wij bewaren geen kopie van de pagina zoals wij hem lazen. Past de leverancier zijn tekst aan, dan wijst ons citaat naar een adres waar het niet meer staat, en kunnen wij niet aantonen dat het er ooit stond.
What we're doing about it
Een fragment en een hash van elke geciteerde pagina meebewaren, zodat een vindplaats over een jaar nog te controleren is.
Retrieval
PresentHet systeem antwoordt alleen uit een afgebakende bronverzameling, met verwijzing, en zegt dat het antwoord ontbreekt in plaats van iets te verzinnen. En het systeem kan tonen welke beweringen géén bron hebben.
De beoordelaars zien uitsluitend de pagina's die de verkenner bij de leverancier heeft opgehaald, elk oordeel draagt zijn grond, en bij een lege uitkomst tonen wij in welke pagina's wij hebben gezocht.
Verifiable in
lib/leverancierscan/onderzoek.ts
“Gebruik UITSLUITEND het meegeleverde materiaal. Je weet niets over dit product buiten wat hieronder staat.”
Approval
PartialEen mens bevestigt inhoudelijk, gedifferentieerd naar het soort wijziging, en de bevestiging wordt vastgelegd.
Geen enkele uitslag komt in ons register zonder dat een mens hem regel voor regel heeft nagekeken en kan overrulen.
Verifiable in
app/admin/(panel)/toolregister/actions.ts
“status: 'nagekeken', nagekeken_door: user.email, nagekeken_op: new Date().toISOString()”
What's missing
Wie een tool scant die nog niet in ons register staat, ziet het conceptoordeel al voordat een mens ernaar heeft gekeken. Dat is een geautomatiseerd oordeel over een met naam genoemd bedrijf, zonder goedkeuring vooraf.
What we're doing about it
Een onbekende tool levert straks geen directe uitslag meer, maar een aanvraag: wij kijken ernaar en laten het weten.
Constraints
PresentGevoelige handelingen liggen technisch buiten het model, in vaste regels. Dat het systeem iets níét kan, is sterker dan dat iemand het achteraf nakijkt.
De bewijseis staat als regel in de database en niet alleen in de code: een oordeel dat zegt op een bron te rusten wórdt geweigerd zonder vindplaats, en een beschuldiging overleeft geen verdeelde stemming.
Verifiable in
supabase/migrations/0014_leverancierscan_register.sql
“check (grond is distinct from 'bron' or (vindplaats_url is not null and vindplaats_citaat is not null))”
Expertise
PartialOntwerpkeuze: het oordeel blijft bij de vakinhoudelijke mens, en het systeem maakt dat oordeel lichter in plaats van overbodig.
Het eindoordeel ligt bij een mens, die elke laag afzonderlijk kan wijzigen; score en band worden daarna opnieuw berekend uit wat hij heeft opgeslagen.
Verifiable in
app/admin/(panel)/toolregister/actions.ts
“const { score, band } = scoreLagen(verdicts);”
What's missing
Het nakijkscherm toont zes vooringevulde oordelen met één goedkeurknop eronder. Die vorm nodigt uit tot instemmen in plaats van tot wegen.
What we're doing about it
Per laag aftekenen in plaats van per tool, zodat zichtbaar wordt wat wél en wat niet is nagelopen.
Storage
PartialWaar staat de data, wat gebeurt ermee, en staat dat contractueel vast.
Onze privacyverklaring noemt alle zeven verwerkers bij naam, en de belofte dat je materiaal niet wordt bewaard of gebruikt om modellen te trainen staat niet alleen in die tekst maar als regel bij elke aanroep die wij doen.
Verifiable in
lib/proef/run.ts
“provider: { data_collection: "deny" }”
What's missing
Wij stellen daar ook dat met elke verwerker een verwerkersovereenkomst geldt. Dat is de enige zin op die pagina die je niet zelf kunt narekenen: er ligt geen overzicht waarin per verwerker staat welke versie is aanvaard en wanneer. Naar onze eigen maatstaf is dat een bewering zonder vindplaats.
What we're doing about it
Per verwerker vastleggen welke verwerkersovereenkomst is aanvaard en op welke datum, en dat overzicht opvraagbaar maken. Zolang dat er niet ligt, blijft deze laag op half.
This verdict changes only through a change in our source code, and that change is itself traceable. If you think we judge ourselves too kindly, we'd like to hear it. That's exactly the conversation this instrument should provoke.
Want to look for yourself first?
The supplier scan and the Chain check are free and need no conversation.
The Chain checkDid something fail?
A missing layer doesn't mean you have to drop the supplier. Usually it means something has to be built around it. In half an hour we'll hear what you found and tell you whether that's doable.
Book an intro callHere's what that looks like in practice.
Three different worlds, one principle: the AI does the work, the human checks and approves.
Read the case