🛡 VULNERABILIDADES 🛡

Tu agente de IA podría convertirse en tu mayor amenaza interna.

🛡CyberObservatorio
Idioma

Tu agente de IA podría convertirse en tu mayor amenaza interna.

Fuente: CyberScoop

La rápida evolución de las herramientas de inteligencia artificial (IA) ha despertado un creciente interés entre agencias gubernamentales, empresas de ciberseguridad e investigadores de amenazas, quienes están dedicando valiosos recursos al estudio de cómo estos poderosos instrumentos pueden ser utilizados por actores maliciosos para infiltrarse en organizaciones. Sin embargo, a medida que la IA se integra más en la infraestructura empresarial, emerge una preocupación significativa: la posibilidad de que una violación de seguridad se origine por un insider que manipula la herramienta, ya sea de manera maliciosa o debido a la falta de controles de seguridad adecuados.

Investigaciones compartidas exclusivamente con CyberScoop por parte de investigadores de DTEX han revelado cómo un flujo de trabajo común en Claude Cowork, una herramienta de Anthropic utilizada en entornos corporativos, ofrece una comodidad notable para el despliegue de agentes de IA, pero a su vez concede acceso casi total al sistema. Claude Cowork incluye herramientas que permiten a los usuarios controlar sus agentes de manera remota. Una herramienta en particular, conocida como Dispatch, transmite comandos desde el teléfono del usuario hacia su agente de Claude en el escritorio. Además, cuenta con un plugin que facilita la comunicación con agentes de IA de Salesforce, permitiendo el acceso y la transferencia de datos.

Los investigadores de DTEX llevaron a cabo pruebas en dos escenarios. En el primero, se solicitó a Claude que resumiera información de Salesforce y la pegara en un borrador de correo electrónico en Outlook. En el segundo, el agente fue encargado de archivar archivos seleccionados y transferirlos mediante la aplicación Cowork. En ambos casos, los investigadores utilizaron indicaciones simples y de una sola vuelta, dedicando entre 10 y 30 minutos a preparar la extracción de datos.

Alex Desmond, director de inteligencia sobre amenazas internas e innovación en DTEX, comentó a CyberScoop que tanto las mejoras en los modelos de frontera como la integración más profunda de herramientas de IA en las operaciones de redes de TI han reducido considerablemente el tiempo que los defensores tienen para reaccionar ante una brecha de seguridad. “En los ciberataques, se habla del tiempo de ejecución de los adversarios que ingresan y despliegan ransomware; ahora estamos viendo que la cadena de muerte se reduce a 30 y 10 minutos, dependiendo de lo que estén haciendo”, afirmó Desmond. “Hace seis meses, eso eran un par de horas”.

No obstante, esa velocidad, combinada con el acceso directo a redes empresariales o servicios en la nube, puede crear una pesadilla de amenaza interna para las organizaciones, que deben monitorizar tanto a actores maliciosos como a posibles errores de empleados legítimos que utilizan esta tecnología. En los últimos años, las empresas de TI y ciberseguridad en Occidente han recibido una avalancha de solicitudes de empleo de personas que, en secreto, trabajan para el gobierno de Corea del Norte. Los salarios de estos individuos se utilizan para evadir sanciones internacionales y financiar el programa nuclear de Pyongyang, pero también les permite acceder o robar datos sensibles o activos de estas empresas.

“Se tiene a un actor de un estado-nación ingresando en un entorno de manera legítima”, explicó Desmond. “Ahora, si se les proporciona acceso a herramientas de IA, es como decirles ‘aquí están las llaves de todo y aquí tienes esta herramienta asombrosa que solo facilitará tu trabajo – robar nuestros datos’”.

Las pruebas realizadas por DTEX confirmaron que los agentes tenían acceso a sistemas, aplicaciones y datos sensibles, incluyendo la capacidad de descargar datos corporativos de SharePoint, documentación de producción en OneDrive, acceder a correos electrónicos de Outlook, datos de Salesforce (y toda la información a la que pueden acceder), así como cualquier otro archivo en el dispositivo del usuario. Para cada una de estas aplicaciones, Claude Cowork dispone de un plugin o API dedicado que permite compartir información externamente si se le solicita. Cabe aclarar que la investigación de DTEX no implica la explotación de un fallo de software o una vulnerabilidad de configuración, ni está asociada a un CVE. Se trata más bien de un problema de gobernanza y visibilidad en TI. Las empresas están apresurándose por integrar herramientas de IA en sus flujos de trabajo y presionando a los empleados para que utilicen esta tecnología, mientras que no implementan los controles de seguridad, políticas de acceso y monitoreo necesarios para detectar problemas.

Por ejemplo, puede no ser posible determinar cómo ocurrió una violación o fuga de datos que involucra a un agente de IA si una organización no está registrando y auditando sus indicaciones, o si el incidente fue resultado de un agente que se comporta de manera errática o que responde a instrucciones potencialmente maliciosas. Aunque el monitoreo de redes y de la nube puede identificar cuándo se accede o se descarga información de SharePoint, es posible que esa señal no sea suficientemente contundente para destacar ante los defensores.

“Si el flujo de trabajo normal de un usuario es bajar archivos sensibles para trabajar localmente todo el tiempo, y no hay un monitoreo de punto final, al introducir un agente de IA, este tendrá acceso a todos esos datos, junto con la capacidad de exfiltrarlos”, afirmó Desmond.

Este escenario resalta la necesidad urgente de que las organizaciones evalúen y fortalezcan sus controles de seguridad en un entorno donde la inteligencia artificial está cada vez más presente. En conclusión, la integración de herramientas de IA en entornos corporativos no solo amplifica la eficiencia, sino que también introduce nuevos vectores de riesgo que deben ser gestionados con la máxima atención para evitar que se conviertan en amenazas internas significativas.

Your AI agent could become your biggest insider threat

Source: CyberScoop

Government agencies, cybersecurity companies and threat researchers are pouring resources into studying how fast-developing AI tools can be wielded by malicious actors to hack into victim organizations. But as agentic AI becomes more embedded in business infrastructure, there’s also a high possibility that a breach could be caused by an insider guiding the tool, whether maliciously or due to lack of security controls. Inresearchshared exclusively with CyberScoop, DTEX researchers detail how a common workflow in Anthropic’s Claude Cowork used in corporate environments offers convenience for AI agent deployment but grants near-total access to the system. Claude Coworkincludes tools that let users remotely control their agents. One particular tool, known as Dispatch, relays commands from a user’s phone to their desktop Claude agent. It also includes a plugin for communicating with Salesforce AI agents that access and transfer data. DTEX researchers tested two scenarios. The first prompted Claude to summarize information from Salesforce and paste it into a draft Outlook email. The second tasked the agent with archiving selected files and transferring them via the Cowork app. In both cases, researchers used simple, single-turn prompts and spent between 10-30 minutes preparing to exfil the data. Alex Desmond, director of insider threat intelligence and innovation at DTEX, told CyberScoop that both improvements in frontier models and deeper integration of AI tools into IT network operations have reduced the time defenders have to react to a breach. “In cyberattacks, you talk about the kind of execution time of adversaries coming in and dropping ransomware, we’re now seeing the kill chain drop to 30 and 10 minutes depending on what they’re doing,” Desmond said. “Six months ago, that was a couple of hours.” But that speed, when paired with direct access to business networks or cloud services, can also create an insider threat nightmare for organizations that must monitor for both malicious actors and potential mistakes from legitimate employees using the technology. Over the past few years, western IT and cybersecurity businesses have been inundated with job applicantssecretly working on behalfof the North Korean government. Their salaries are used to evade international sanctions and fund Pyongyang’s nuclear program, but it also positions the individuals to access or steal sensitive data or assets from these companies. “You’ve got a nation-state actor getting into an environment legitimately,” Desmond said. “Now if you gave them access to AI tools on top of that…you’re like ‘here’s the keys to everything and here’s this awesome tool that’s just going to make your job – stealing our data – easier.’” Tests by DTEX confirmed that the agents indeed had access to sensitive systems, applications and data – including the ability to download SharePoint corporate data, production documentation in OneDrive, access to Outlook email, Salesforce data (and all the data it can access), and any other files on the user’s endpoint device. For each of these applications, Claude Cowork has a dedicated plugin or API to share externally if prompted.To be clear, DTEX’s research does not involve exploiting a software bug or configuration vulnerability, and it doesn’t come with a CVE. It’s more of an IT governance and visibility problem. Businesses are racing to integrate AI tools into their workflow and pushing employees to use the technology while failing to put in place the kind of security controls, access policies and monitoring required to spot problems. For instance, it may not be possible to determine how a data breach or leakage involving an AI agent actually occurred if an organization is not logging and auditing its prompts – or whether the incident was the result of an agent running amok or responding to potentially malicious instructions. While network and cloud monitoring can identify when data is being accessed or downloaded from SharePoint, that may not be a strong enough signal to stand out for defenders. “If a user’s normal workflow is to pull sensitive files down to work locally all the time, you don’t have endpoint monitoring and you introduce an AI agent, it then just has access to all that data” along with the ability to exfiltrate it,” Desmond said. The postYour AI agent could become your biggest insider threatappeared first onCyberScoop.

Tu agente de IA podría convertirse en tu mayor amenaza interna. | Ciberseguridad - NarcoObservatorio