Da workflow deterministici fragili a orchestrazione agentica con Skill modulari
La Sfida
Un cliente nel settore assicurativo ci ha contattato con un problema concreto: automatizzare l’analisi di conformità normativa su documenti contrattuali complessi (polizze, playbook, condizioni generali). Il requisito critico? Zero tolleranza per errori, con audit trail completo per ogni decisione.
Il primo approccio sembrava ovvio: pipeline RAG classica con chunking meccanico, retrieval su vector store, e generazione di report. Dopo le prime settimane di sviluppo, i limiti erano evidenti.
I problemi tecnici:
- Documenti di 200+ pagine perdevano contesto critico nel chunking tradizionale
- Il confronto multi-normativa produceva analisi superficiali
- Le ambiguità legali generavano allucinazioni inaccettabili in un contesto regulated
- Nessuna tracciabilità del ragionamento: black box completa
Il ReAct cycle standard (input → LLM → tool call → output) non manteneva stato tra iterazioni. Su task complessi, l’agente “dimenticava” il filo logico.
L’Approccio Tecnico
Abbiamo riprogettato l’architettura attorno a tre pilastri: Agent Skills, Orchestrazione a due livelli e Human-in-the-Loop per la validazione esperta nei punti critici.
Architettura a Skill modulari
Invece di codificare workflow rigidi, abbiamo creato 5 skill specializzate per l’ingestion e la decomposizione semantica dei documenti, la generazione di checklist di verifica, il retrieval contestuale dal corpus normativo, l’analisi dei gap con il ciclo di validazione e la generazione di report strutturati.
Ogni skill, come da definizione dello standard sviluppato da Anthropic (vedi https://github.com/agentskills/agentskills), sono un formato semplice e aperto per fornire agli agenti nuove capacità e competenze; nella pratica, sono realizzati come una directory contenente un file di testo con istruzioni in linguaggio naturale, script deterministici utilizzabili su richiesta dell’agente, e risorse. L’agente carica solo i metadati all’avvio (~100 token per skill) e attiva le istruzioni complete solo quando servono, mantenendo il contesto al minimo necessario.
La differenza chiave: l’agente decide autonomamente quale skill attivare e come orchestrarle. Non eseguiamo una sequenza fissa – definiamo competenze e macro procedure ma non facciamo micro-management.
Orchestrazione a due livelli
Abbiamo organizzato il sistema su due livelli che lavorano in parallelo:
- Livello strategico: tiene traccia del piano complessivo, dei fatti accertati, e interviene se il sistema si blocca
- Livello operativo: esegue i singoli compiti delegandoli ad agenti specializzati e raccoglie i risultati
Il livello strategico “guarda dall’alto” e corregge la rotta quando serve. Il livello operativo “mette le mani in pasta”. Questa separazione ha risolto il problema principale: l’agente non perde più il filo del ragionamento su documenti complessi.
L’esperto umano al centro
Per quanto sofisticato, un sistema AI per la compliance non può operare in totale autonomia. Per questo motivo abbiamo integrato un approccio Human-in-the-Loop strutturale: l’esperto umano interviene nei punti critici del processo, non solo alla fine.
Il sistema identifica automaticamente le decisioni ad alta incertezza o impatto elevato e le sottopone a validazione umana prima di procedere. Questo non rallenta il processo, lo rende affidabile. L’AI accelera l’analisi, l’umano garantisce la correttezza delle conclusioni che contano.
Prima di arrivare all’esperto umano, ogni analisi critica passa attraverso tre verifiche automatiche successive:
- Generazione: l’agente formula più ipotesi possibili sui problemi di compliance
- Verifica logica: controlla che ogni ipotesi sia coerente e non contraddittoria
- Conferma con evidenze: cerca nel corpus normativo prove concrete a supporto
Solo le ipotesi che superano tutti e tre i controlli automatici vengono presentate all’esperto per la validazione finale. Le altre vengono scartate a monte, riducendo drasticamente il carico cognitivo del revisore umano e permettendogli di concentrarsi sulle decisioni che richiedono reale competenza di dominio.
Il Risultato
I risultati che stiamo osservando:
- Significativa riduzione delle allucinazioni rispetto alla pipeline RAG tradizionale (ciclo ADI)
- Maggiore accuratezza nel gap detection
- Completa tracciabilità: ogni decisione ricostruibile dall’audit trail
- Tempi sensibilmente ridotti per l’analisi di grandi documenti
Il vantaggio architetturale più significativo: manutenibilità. Quando cambia una normativa durante il progetto, è sufficiente aggiornare il documento normativo o al massimo aggiornare il testo delle istruzioni che definiscono le skill. Aggiornare una skill significa modificare un semplice file Markdown, non riscrivere codice.
L’approccio agentico con skill modulari non è solo una scelta tecnologica – è un modello di sviluppo che scala con la complessità del dominio invece di combatterla.
