Gratis
De leverancierscan
Zes vragen die je aan elke AI-leverancier stelt. Een systeem dat er één niet kan beantwoorden, valt af.
Gratis leverancierscan
Dit zijn de zes lagen waar wij elk AI-systeem langs leggen, of we het nu zelf maken of beoordelen. Ze zijn niet ingewikkeld en je hebt er geen techniek voor nodig. Je hoeft de vragen alleen te stellen en te horen wat er terugkomt.
Vrijwel elk bekend AI-incident is terug te voeren op één laag die ontbrak: de chatbot die een niet-bestaande korting toezegde, de krant met verzonnen citaten.
De Leverancierscan toetst een systeem (de zes lagen van TRACES, bij een tool of aanbieder); de Ketencheck toetst je keten. Hoe jullie zelf van Source tot Launch werken (SEAL). Maak je leermiddelen? Doe ook de Ketencheck.
Naar de KetencheckNoem de tool die je overweegt, of plak de link. Wij zoeken uit wat de leverancier zelf publiceert over de zes lagen, en zeggen erbij of we het zwart-op-wit vonden of het afleiden.
Wij vragen leveranciers om aan te tonen wat hun systeem doet. Een instrument dat die vraag stelt en zichzelf overslaat, vraagt om vertrouwen dat het bij anderen weigert te geven. Dus hier ligt de scanner waarmee je zojuist hebt gewerkt langs dezelfde zes lagen. Inclusief de laag waarop hij zakt.
Trail
HalfWat is vastgelegd: bron, bewering, wie keurde goed, wanneer. En het spoor ontstaat als bijproduct van het werk, niet als administratie die iemand moet bijhouden.
Bij elk oordeel leggen we vast waarop het rust, waar dat staat, hoe eensgezind onze beoordelingen waren en wie het heeft nagekeken.
Na te lezen in
supabase/migrations/0014_leverancierscan_register.sql
“vindplaats_url, vindplaats_citaat, redenering, samenvatting, gezocht_in, stemmen_totaal, nagekeken_door, nagekeken_op”
Wat er ontbreekt
Wij bewaren geen kopie van de pagina zoals wij hem lazen. Past de leverancier zijn tekst aan, dan wijst ons citaat naar een adres waar het niet meer staat, en kunnen wij niet aantonen dat het er ooit stond.
Wat we eraan doen
Een fragment en een hash van elke geciteerde pagina meebewaren, zodat een vindplaats over een jaar nog te controleren is.
Retrieval
AanwezigHet systeem antwoordt alleen uit een afgebakende bronverzameling, met verwijzing, en zegt dat het antwoord ontbreekt in plaats van iets te verzinnen. En het systeem kan tonen welke beweringen géén bron hebben.
De beoordelaars zien uitsluitend de pagina's die de verkenner bij de leverancier heeft opgehaald, elk oordeel draagt zijn grond, en bij een lege uitkomst tonen wij in welke pagina's wij hebben gezocht.
Na te lezen in
lib/leverancierscan/onderzoek.ts
“Gebruik UITSLUITEND het meegeleverde materiaal. Je weet niets over dit product buiten wat hieronder staat.”
Approval
HalfEen mens bevestigt inhoudelijk, gedifferentieerd naar het soort wijziging, en de bevestiging wordt vastgelegd.
Geen enkele uitslag komt in ons register zonder dat een mens hem regel voor regel heeft nagekeken en kan overrulen.
Na te lezen in
app/admin/(panel)/toolregister/actions.ts
“status: 'nagekeken', nagekeken_door: user.email, nagekeken_op: new Date().toISOString()”
Wat er ontbreekt
Wie een tool scant die nog niet in ons register staat, ziet het conceptoordeel al voordat een mens ernaar heeft gekeken. Dat is een geautomatiseerd oordeel over een met naam genoemd bedrijf, zonder goedkeuring vooraf.
Wat we eraan doen
Een onbekende tool levert straks geen directe uitslag meer, maar een aanvraag: wij kijken ernaar en laten het weten.
Constraints
AanwezigGevoelige handelingen liggen technisch buiten het model, in vaste regels. Dat het systeem iets níét kan, is sterker dan dat iemand het achteraf nakijkt.
De bewijseis staat als regel in de database en niet alleen in de code: een oordeel dat zegt op een bron te rusten wórdt geweigerd zonder vindplaats, en een beschuldiging overleeft geen verdeelde stemming.
Na te lezen in
supabase/migrations/0014_leverancierscan_register.sql
“check (grond is distinct from 'bron' or (vindplaats_url is not null and vindplaats_citaat is not null))”
Expertise
HalfOntwerpkeuze: het oordeel blijft bij de vakinhoudelijke mens, en het systeem maakt dat oordeel lichter in plaats van overbodig.
Het eindoordeel ligt bij een mens, die elke laag afzonderlijk kan wijzigen; score en band worden daarna opnieuw berekend uit wat hij heeft opgeslagen.
Na te lezen in
app/admin/(panel)/toolregister/actions.ts
“const { score, band } = scoreLagen(verdicts);”
Wat er ontbreekt
Het nakijkscherm toont zes vooringevulde oordelen met één goedkeurknop eronder. Die vorm nodigt uit tot instemmen in plaats van tot wegen.
Wat we eraan doen
Per laag aftekenen in plaats van per tool, zodat zichtbaar wordt wat wél en wat niet is nagelopen.
Storage
HalfWaar staat de data, wat gebeurt ermee, en staat dat contractueel vast.
Onze privacyverklaring noemt alle zeven verwerkers bij naam, en de belofte dat je materiaal niet wordt bewaard of gebruikt om modellen te trainen staat niet alleen in die tekst maar als regel bij elke aanroep die wij doen.
Na te lezen in
lib/proef/run.ts
“provider: { data_collection: "deny" }”
Wat er ontbreekt
Wij stellen daar ook dat met elke verwerker een verwerkersovereenkomst geldt. Dat is de enige zin op die pagina die je niet zelf kunt narekenen: er ligt geen overzicht waarin per verwerker staat welke versie is aanvaard en wanneer. Naar onze eigen maatstaf is dat een bewering zonder vindplaats.
Wat we eraan doen
Per verwerker vastleggen welke verwerkersovereenkomst is aanvaard en op welke datum, en dat overzicht opvraagbaar maken. Zolang dat er niet ligt, blijft deze laag op half.
Deze uitslag verandert alleen via een wijziging in onze broncode, en die wijziging is zelf terug te vinden. Vind je dat wij onszelf te mild beoordelen, dan horen we dat graag. Dat is precies het gesprek dat dit instrument hoort uit te lokken.
Eerst zelf kijken?
De leverancierscan en de Ketencheck zijn gratis en vragen geen gesprek.
De KetencheckViel er iets af?
Een ontbrekende laag betekent niet dat je van de leverancier af moet. Meestal betekent het dat er iets omheen gebouwd moet worden. In een half uur horen we wat je gevonden hebt en zeggen we of dat kan.
Plan een kennismakingZo ziet dat er in de praktijk uit.
Drie verschillende werelden, één principe: de AI doet het werk, de mens controleert en keurt goed.
Lees de case