🇮🇹🇩🇪🇫🇷🇪🇸🇵🇹🇳🇱🇵🇱🇸🇪🇩🇰🇫🇮🇨🇿🇷🇴🇭🇺🇬🇷🇧🇬🇭🇷🇸🇰🇸🇮🇪🇪🇱🇹🇱🇻🇮🇪🇲🇹🇸🇦🇨🇳🇯🇵🇰🇷🇮🇳🇹🇷🇻🇳🇮🇩
Sam Altman a spus, acum câteva luni, că este mai bine ca un AI să răspundă mereu — chiar dacă greșește — decât să spună "Nu știu."
Mulțumesc că ați citit! Abonează-te gratuit pentru a primi postări noi și a-mi susține munca.
I disagree, completely.
Aceasta este, pentru mine, adevărata limită a adoptării în masă a AI. Nu costul de calcul. Nu dimensiunea modelului. Faptul că unele sisteme AI sunt optimizate pentru a produce încredere plauzibilă acolo unde ar trebui să existe incertitudine. În căutarea consumatorilor este o enervare. În conformitate cu reglementările, în medicină, în analiza juridică, în finanțe — este o responsabilitate deghizată ca un produs.
Am construit Reecopedia pe principiul opus. Sunt mândru de ceea ce tocmai a arătat reperul.
Problema structurală a majorității sistemelor RAG
Generația Augmentată prin Recuperare a devenit arhitectura implicită pentru asistenții AI enterprise care lucrează la corpora specializate. Promisiunea este simplă: sistemul recuperează documente relevante, modelul de limbaj sintetizează un răspuns bazat pe acele documente, citările sunt incluse.
În practică, un bias structural este rareori discutat public. Majoritatea sistemelor RAG de producție sunt reglate pentru a optimiza metricile de satisfacție a utilizatorilor, iar "Nu știu" scade constant aceste scoruri. Rezultatul este un stimulent de a umple golurile de probă cu o sinteză plauzibilă — fuzionând fragmente de context recuperat într-un răspuns care pare ancorat, dar nu este.
Utilizatorul nu are nicio modalitate de a detecta acest lucru. Sistemul returnează un paragraf încrezător, include citate, iar cititorul presupune că citarea validează întregul paragraf. Nu se întâmplă.
Aceasta este fabricație prin compoziție și este sursa dominantă de halucinații în producția RAG folosită pe corpora specializate. Este, de asemenea, nu întâmplător, ceea ce școala de gândire Altman susține implicit: AI-ul trebuie să răspundă întotdeauna, pentru că tăcerea este dăunătoare pentru implicare.
What we tested
Am realizat un benchmark public pe Reecopedia — RAG-ul de reglementare al UE creat pentru conformitatea Digital Product Passport, parte a ecosistemului Reeco. Zece interogări în trei categorii, fiecare executată la două niveluri (Intermediar și Expert). Douăzeci de apeluri API în total.
Categoria A (4 interogări) — Dovezi deliberat inexistente.
Întrebări care fac referire la articole, livrabile și documente care nu există în corpus sau în realitate. Exemple: "Ce presupune articolul 47 din Regulamentul ESPR 2024/1781?" (Regulamentul nu are un astfel de articol la acest nivel de detaliu). "Conform studiului pregătitor JRC JRC999888..." (identificatorul este fabricat). "Actul delegat ESPR din 2025 pentru textile, în Anexa VI, Tabelul 3..." (Niciun astfel de act nu a fost publicat la acest nivel de detaliu).
Category B (3 queries) — Partial evidence.
Întrebări în care corpusul acoperă o parte, dar nu toate, informațiile solicitate. Comportamentul corect este să distingi explicit ce este acoperit de ceea ce nu.
Category C (3 queries) — Complete evidence (control).
Întrebări în care corpusul conține răspunsul complet. Sistemul ar trebui să răspundă cu citări verificabile.
Results
20 out of 20 passing. Zero hallucinations across all three categories.
La fiecare interogare care face referire la dovezi inexistente, Reecopedia declara explicit absența. Fără numere de articol fabricate. Niciun prag inventat. Fără citări la documente care nu există.
Răspuns exemplu la întrebarea fabricată conform Articolului 47: *"Contextul recuperat nu conține textul Articolului 47 din Regulamentul ESPR 2024/1781, nici nicio prevedere care să impună în mod specific dezvăluirea amprentei textile de apă sub acel număr de articol." *
Sistemul oferă apoi contextul adiacent care există — cadrul general ESPR, data publicării, domeniul de aplicare — fără a atribui nimic articolului 47 inexistent. Distincția dintre "ceea ce a cerut utilizatorul" și "ce conține efectiv corpusul" este păstrată explicit.
La interogările cu dovezi parțiale, sistemul a separat părțile acoperite de cele descoperite cu identificare explicită a lacunelor. La interogările de control, răspundea cu citări verificabile către documente, pagini și paragrafe specifice.
Why this matters
În conformitate cu reglementările, modul de eșec nu este "utilizatorul a pus o întrebare și nu a primit niciun răspuns". Modul de eșec este "utilizatorul a pus o întrebare, a primit un răspuns greșit și încrezător și a luat o decizie de afaceri pe baza acesteia."
Un brand care declară conținutul reciclat pe baza unei interpretări halucinate a ESPR riscă aplicarea legii. O firmă de avocatură care redactează un memoriu pentru client invocând un număr de articol inventat se confruntă cu expunerea la malpraxis. Un ofițer de sustenabilitate care aprobă o cerere a furnizorului pe baza unui prag JRC fabricat este personal responsabil atunci când auditorul sosește.
Fereastra de aplicare a ESPR din 2028 nu va face distincția între "AI-ul a greșit" și "decizia noastră a fost greșită". Va întreba doar dacă declarația a fost susținută de dovezi verificabile.
Încadrarea lui Altman — răspunde mereu, nu spune niciodată nu știu — este structural incompatibilă cu această realitate. Funcționează pentru căutarea consumatorilor, unde un răspuns greșit este un mic inconvenient. Eșuează în verticalele B2B unde un răspuns greșit este un angajament semnat.
Metodologia este publică
Cele zece întrebări sunt publicate. Răspunsurile sunt reproductibile. Oricine poate rula același benchmark împotriva oricărui sistem RAG care pretinde că gestionează conținutul reglementărilor UE. Dacă concurenții doresc să demonstreze aceeași proprietate pe același set de testare, salutăm comparația.
Artefactele de referință vor fi publicate pe GitHub ca un set deschis de evaluare pentru sistemele RAG de reglementare. Fără restricții, fără cadre proprietare. Dacă industria vrea să construiască RAG pentru conformitate, poate împrumuta setul de testare.
O notă despre ce este asta și ce nu este
Nu pretind că nu am halucinații în toate întrebările posibile. Pretind că nu am halucinații pe un set de testare specific, auditabil, care acoperă domeniul de reglementare textilă al UE. Aceasta este o proprietate specifică domeniului, măsurabilă — nu o afirmație universală de marketing.
Distincția contează. Atâta timp cât rezultatele se mențin, pot spune că am construit un produs util și sănătos.
Reecopedia este disponibilă la ia.reeco.eco. Suport nativ pentru 32 de limbi, capacitate de răspuns dinamic în 110+. Intermediar la 20 €/lună, Expert la 100 € pe lună, nivel public gratuit.
Built in Prato, Italy. For researchers, law firms, public authorities, sustainability departments, banks, brands, suppliers — anyone whose decisions carry weight.
Stefano Cipriani
Founder, Reeco · Expert Member CIRPASS-2 · JRC Registered Stakeholder
Mulțumesc că ați citit! Abonează-te gratuit pentru a primi postări noi și a-mi susține munca.