Un estudio reciente liderado por SophosAI ha arrojado luz sobre el papel prometedor que los modelos de lenguaje grande (LLM) pueden desempeñar en la mejora de la productividad dentro de los centros de operaciones de seguridad (SOC). Utilizando plataformas avanzadas como Amazon Bedrock y Amazon SageMaker, la investigación se centró en cómo estos modelos pueden mejorar tareas críticas, desde la conversión de lenguaje natural a SQL hasta la predicción de severidad y el resumen de incidentes de seguridad.
El estudio puso especial atención en Anthropic’s Claude 3 Sonnet, mostrando su competencia en la conversión de comandos de lenguaje natural a consultas SQL, con un notable porcentaje de precisión del 88%. Este hallazgo sugiere que los LLM presentan un alto potencial para asistir a los analistas de seguridad en la extracción de información crucial durante investigaciones de amenazas.
Sin embargo, el análisis no fue enteramente positivo. La habilidad de estos modelos para evaluar la severidad de eventos de seguridad fue menos impresionante, registrando una precisión base del 71%. Esto se atribuyó a la falta de entrenamiento específico en datos de ciberseguridad. SophosAI destacó que a pesar de que los LLM son buenos detectando patrones sospechosos, su capacidad para juzgar la criticidad de manera precisa sigue siendo un reto sin un ajuste y entrenamiento especializados.
En el ámbito de resumen de incidentes, Claude demostró un desempeño puede considerarse adecuado, aunque el estudio recomendó mejoras. La tendencia de los LLM a omitir detalles importantes subraya la necesidad de un afinamiento continuo para optimizar la calidad de los resúmenes generados.
El uso de Amazon Bedrock permitió a los investigadores explorar múltiples modelos de forma eficiente y económica, mientras que SageMaker les brindó la flexibilidad de desplegar modelos personalizados, facilitando una mejor gestión de costos.
En conjunto, los resultados del estudio no solo destacan las capacidades de los LLM en la mejora del análisis de amenazas en ciberseguridad, sino que también subrayan la importancia de una implementación meticulosa y de entrenamiento especializado. SophosAI planea continuar con el ajuste fino de estos modelos, con la esperanza de que, en el futuro, puedan satisfacer plenamente las exigentes demandas del sector de la ciberseguridad.
