Deloitte lancia capacità di agenti di intelligenza artificiale (IA) collegati alla sua piattaforma globale Omnia Líder Legal
Una nuova attrezzatura identifica i sistemi di IA utilizzati per creare video falsi Levante-EMV
La verifica funzionale domina lo sforzo ingegneristico front-end dei circuiti integrati (IC) e un singolo bug mancato che fuoriesce nel silicio può innescare un costoso respin. I recenti modelli linguistici di grandi dimensioni (LLM) offrono nuove opportunità per automatizzare questo processo, ma gli approcci esistenti basati su LLM generano ciascun componente attraverso chiamate indipendenti a turno singolo senza contesto condiviso, lasciando le discrepanze dell'interfaccia non rilevate e la copertura segnalata disconnessa dai requisiti delle specifiche.
Le metodologie di valutazione per i modelli linguistici combinano sempre più segnali multipli, dalle metriche automatizzate e dalle valutazioni LLM come giudice alle valutazioni umane e ai risultati delle suite di benchmark. Quando questi segnali vengono aggregati tramite la media, la fiducia nella valutazione può quindi superare sostanzialmente l’affidabilità del segnale più debole: un fenomeno che chiamiamo inflazione della fiducia nella valutazione.
Gli agenti di codifica contemporanei basati su LLM producono codice come output di una scatola nera: la logica dietro ogni riga è nascosta, l'evoluzione del codice attraverso la riparazione basata su benchmark è effimera e il controllo post-hoc è impossibile.
I sistemi multi-agente basati su Large Language Models (LLM) sono sempre più utilizzati in ambienti con motivazioni miste, dove gli agenti operano in condizioni di informazione asimmetrica e inganno strategico a causa di obiettivi contrastanti o nascosti. In questi contesti, il disallineamento con gli obiettivi collettivi diventa una preoccupazione centrale. Proponiamo un nuovo quadro per valutare il disallineamento degli obiettivi utilizzando il gioco di deduzione sociale Werewolf, modificando l'obiettivo di un singolo agente preservandone il ruolo assegnato.
Gli agenti di scienza dei dati clinici devono trasformare record longitudinali eterogenei in analisi verificabili, ma i benchmark esistenti isolano in gran parte la risposta a domande mediche, il ragionamento con tabelle strutturate o archivi scientifici generici. Presentiamo CLINLENS, un benchmark di 200 attività eseguibili su cinque risorse MIMIC collegate che comprendono cartelle cliniche elettroniche strutturate, note, elettrocardiogrammi, radiografie del torace ed ecocardiogrammi.
Le linee guida per la pratica clinica (CPG) codificano i criteri diagnostici, ma i sistemi LLM in genere recuperano il testo delle linee guida o lo assorbono attraverso la formazione piuttosto che eseguirne le regole. Introduciamo GuideSkill, un livello di ragionamento esterno che compila criteri specifici della malattia in funzioni eseguibili che restituiscono punteggi ordinali di supporto diagnostico. GuideSkill-Zero viene inizializzato dalle linee guida, mentre GuideSkill-Evo utilizza coppie caso-diagnosi per perfezionare le competenze coperte e aggiungere diagnosi mancanti.
È stato sempre più dimostrato che i modelli di ragionamento di grandi dimensioni addestrati tramite l'apprendimento di rinforzo (RL) superano le loro controparti supervisionate (SFT) nei compiti di ragionamento matematico; Tuttavia la base meccanicistica di questo vantaggio rimane poco chiara. Ci chiediamo quindi: quali differenze rappresentative interne consentono prestazioni superiori dei modelli RL?
Un risultato di un benchmark AI raramente raggiunge una richiesta consequenziale in un unico passaggio. I valutatori lo generalizzano a casi ulteriori, lo interpretano come prova di capacità, lo estrapolano a nuovi compiti, lo trasportano in un altro sistema o sito e lo combinano con ipotesi sulla revisione umana e sulle conseguenze a valle. Gli approcci centrati sulla validità richiedono prove per ciascuna affermazione. Questo articolo identifica un ulteriore problema epistemico: i collegamenti garantiti non formano automaticamente una catena garantita.
Digita almeno 2 caratteri
Questo sito utilizza cookie essenziali per il funzionamento e cookie di analisi per migliorare l'esperienza. Puoi accettare tutti, solo gli essenziali, o personalizzare. Cookie Policy | Privacy Policy