OWASP Top 10 para Aplicações de IA LLM: Conhecendo os Principais Ataques e como esta relacionado ao Mitre Atlas

Autor: Erick Tauil, Pre Sales Solutions Architect de SEK   Introdução Antes de começar a leitura deste artigo, caso não tenha conhecimentos básicos sobre IA, recomendamos a leitura/cursos voltados a este entendimento, uma vez que faz-se necessário a compreensão deste tema. De forma a dar um conhecimento básico e macro sobre os termos, segue um breve explanação abaixo:   Inteligência artificial (IA) é um termo amplo que engloba todos os campos da ciência da computação que permitem que as máquinas realizem tarefas que normalmente exigiriam inteligência humana. O aprendizado de máquina e a IA generativa são duas subcategorias de IA. – O aprendizado de máquina (ML) é um subconjunto da IA que se concentra na criação de algoritmos que podem aprender com os dados. Os algoritmos de aprendizado de máquina são treinados em um conjunto de dados e, em seguida, podem usar esses dados para fazer previsões ou tomar decisões sobre novos dados. – A IA generativa é um tipo de aprendizado de máquina que se concentra na criação de novos dados. Geralmente, a GenAI depende do uso de modelos de linguagem grandes para executar as tarefas necessárias para criar os novos dados. – Um modelo de linguagem grande (LLM) é um tipo de modelo de IA que processa e gera texto semelhante ao humano. No contexto da inteligência artificial, um “modelo” refere-se a um sistema que é treinado para fazer previsões com base em dados de entrada. Os LLMs são treinados especificamente em grandes conjuntos de dados de linguagem natural e o nome modelos de linguagem grandes.   A segurança cibernética é uma preocupação crescente no mundo da tecnologia, especialmente com o advento de aplicações de Inteligência Artificial de Modelos de Linguagem de Grande Porte (IA LLM). Essas aplicações, embora poderosas e úteis, também apresentam riscos significativos de segurança. […]