Hablamos con varios investigadores de ciberseguridad, que buscan vulnerabilidades desconocidas y desarrollan herramientas para explotarlas, sobre cómo las barreras de seguridad de OpenAI y Anthropic afectan su trabajo.
Los tutores socráticos basados en modelos de lenguaje grande (LLM) guían cada vez más a los estudiantes a través de preguntas de varios turnos, pero pueden sufrir el colapso del andamiaje: bajo la presión sostenida de los estudiantes, un tutor abandona gradualmente la investigación guiada y revela soluciones directamente. Las defensas previas limitan principalmente las respuestas observables a través de indicaciones, optimización de preferencias o filtrado, dejando en gran medida sin abordar la deriva de representación interna que precede al colapso a nivel de trayectoria.
Las sondas de estados ocultos a menudo recuperan etiquetas latentes en modelos de secuencia de información imperfecta, pero esto por sí solo no establece que un modelo mantenga una distribución de creencias posterior sobre los estados ocultos. Este artículo estudia esta ambigüedad en un modelo autorregresivo de Limit Hold'em sin rango entrenado sólo en objetivos de acción y valor, no en la mano o el rango del oponente.
La inferencia prolongada sigue siendo costosa porque la atención previa al llenado escala cuadráticamente con la longitud de la secuencia. Proponemos Spectral-LSH, un método de compresión de mensajes sin entrenamiento que opera antes de que el mensaje ingrese al modelo de lenguaje. Spectral-LSH se aproxima a los componentes dominantes de un operador implícito del núcleo de atención utilizando un método subespacial de Krylov junto con características aleatorias, evitando la materialización explícita del núcleo de atención $O(N^2)$.
La calibración es el criterio principal para evaluar la confianza del LLM, pero es insuficiente: admite estimadores trivialmente incoherentes, depende de la distribución de la evaluación y no prueba hasta qué punto la estimación puede interpretarse como una función de probabilidad subyacente consistente. Lo que realmente necesitamos es que las estimaciones de confianza del LLM satisfagan las condiciones requeridas para las creencias probabilísticas coherentes.
Safety as Polytope (SaP) aprende restricciones lineales de medio espacio en el espacio oculto LLM, pero requiere un ajuste por categoría del recuento de restricciones K. Mostramos que la extracción de características del codificador automático disperso (SAE) resuelve esto: K=2 se vuelve óptimo para 12/14 categorías en Qwen3.5-9B, logrando una precisión del 96-99% por categoría en nuestro punto de referencia de clasificación BeaverTails, eliminando en gran medida la necesidad de barridos exhaustivos. (K=4-25 con inicialización aleatoria).
Cuando se utilizan modelos de lenguaje grande (LLM) para la extracción de datos semánticos de texto no estructurado, produciendo hechos relacionales candidatos a partir del lenguaje natural, pueden seguir siendo poco confiables para tareas que requieren un razonamiento combinatorio complejo y coherencia global. Este artículo propone un marco de extracción de datos guiado por lógica que combina la extracción basada en LLM con la programación de conjuntos de respuestas (ASP). El LLM produce hechos candidatos, mientras que ASP realiza validación, inferencia, verificación de coherencia y control.
Graph RAG mitiga las alucinaciones y el conocimiento obsoleto en los LLM, particularmente para la respuesta a preguntas de múltiples saltos. Sin embargo, los enfoques existentes siguen estando muy fragmentados e incompatibles. La heterogeneidad estructural de los formatos de gráficos en diferentes marcos y la falta de herramientas de visualización granular hacen que sea extremadamente difícil evaluar y comparar comportamientos de recuperación.
Los agentes LLM que utilizan herramientas ejecutan cada vez más acciones de alto impacto, lo que hace que el monitoreo de seguridad en tiempo de ejecución sea esencial. Presentamos NEXUS (Neural EXecution Utility and Safety), un monitor de seguridad de plan estructurado que aplica una política de intervención formal para seleccionar entre cuatro acciones: permitir, bloquear, solicitar confirmación o solicitar revisión. NEXUS combina reglas de seguridad deterministas, inspección a nivel de argumento y una puntuación de riesgo de regresión logística calibrada para una escalada gradual.
Los modelos de lenguajes grandes (LLM) se implementan cada vez más como servicios en línea siempre activos, lo que hace que los LLM eficientes atiendan un desafío crítico para los sistemas. Lograr una baja latencia y un alto rendimiento bajo una demanda volátil requiere una comprensión profunda de las cargas de trabajo del mundo real; sin embargo, los estudios existentes a menudo se basan en rastros proxy o caracterizaciones generales que no logran capturar la heterogeneidad de las plataformas LLM multimodelo modernas.
Escribe al menos 2 caracteres
Este sitio utiliza cookies esenciales para su funcionamiento y cookies de analisis para mejorar la experiencia. Puedes aceptar todas, solo las esenciales, o personalizar tus preferencias. Politica de Cookies | Politica de Privacidad