Neste artigo
- CERT.br lança guia oficial sobre uso seguro de Inteligência Artificial
- Vazamento de dados, alucinações e prompt injection
- Recomendações práticas para quem desenvolve e consome IA
- Onde posso baixar o novo fascículo sobre IA do CERT.br?
- Posso colar código-fonte da minha empresa em ferramentas de IA generativa?
- O que é o ataque de prompt injection mencionado no guia?
CERT.br lança guia oficial sobre uso seguro de Inteligência Artificial
O CERT.br (Centro de Estudos, Resposta e Tratamento de Incidentes de Segurança no Brasil), mantido pelo NIC.br, lançou o fascículo "Inteligência Artificial", novo integrante da sua tradicional Cartilha de Segurança para Internet. A publicação digital gratuita tem como mensagem central um aviso direto para profissionais e empresas: a IA atua apenas como assistente e a responsabilidade final pelo resultado permanece inteiramente com o usuário. O material completo pode ser consultado no site oficial da Cartilha de Segurança, além de ser detalhado no comunicado oficial do CGI.br.
Grandes modelos de linguagem (LLMs) funcionam por meio de cálculo probabilístico para prever o próximo termo em uma sequência, sem discernimento sobre veracidade ou senso crítico. Essa característica resulta em alucinações, entregando dados incorretos, referências inventadas ou respostas desatualizadas. Tratar saídas de LLMs como verdades absolutas cria gargalos graves de segurança em projetos de software.
A IA é assistente. O responsável é você.
Vazamento de dados, alucinações e prompt injection
Inserir dados em chatbots públicos envia essas informações para os servidores do provedor, permitindo a reutilização das entradas no treinamento de novos modelos. Credenciais de acesso, chaves de API, arquivos de configuração e trechos de código proprietário não devem ser enviados para essas ferramentas. Se o prompt vazar ou o modelo processar o texto publicamente, informações confidenciais se tornam públicas.
O risco aumenta com o uso de agentes autônomos de IA capazes de ler sistemas e executar comandos. O CERT.br alerta sobre o risco de ataques por prompt injection, onde instruções maliciosas ocultas em arquivos ou páginas web manipulam o agente para executar ações não autorizadas.
Dica:Isole privilégios de agentes de IA. Se um agente precisa apenas ler um arquivo, remova qualquer permissão de escrita ou exclusão.
💡Como Escolher a Stack para seu Primeiro Projeto
| Ameaça de IA | Causa Técnica | Ação Recomendada pelo CERT.br |
|---|---|---|
| Vazamento de dados | Prompts usados no treinamento de modelos públicos | Usar conversas temporárias e sanear dados confidenciais |
| Prompt Injection | Instruções maliciosas injetadas em fontes externas | Exigir aprovação humana antes de ações irreversíveis |
| Alucinação de código | Cálculo probabilístico sem validação semântica | Revisar rigorosamente o output e fazer code review |
Para quem atua com segurança defensiva, iniciativas de formação contínua são cruciais. É possível complementar a capacitação técnica no programa Hackers do Bem, alinhando governança de IA com práticas de resposta a incidentes.
Recomendações práticas para quem desenvolve e consome IA
Eu pessoalmente recomendo tratar qualquer código ou texto gerado por IA como o rascunho de um estagiário apressado: você jamais deve enviar essa saída direto para staging ou produção sem realizar code review detalhado. Para estruturar fluxos confiáveis e evitar falhas de arquitetura, vale conferir também como avaliar integrações lógicas no artigo sobre como evitar falsas automações em startups.
- Ajuste privacidade: Desative o histórico e a opção de usar conversas para treinamento do modelo nas configurações do serviço.
- Prompts objetivos: Defina contexto, formato exato de saída e forneça fontes restritas quando trabalhar com documentação específica.
- Force a incerteza: Instrua a IA a explicitar quando não souber a resposta, evitando adivinhações.
Perguntas frequentes
Onde posso baixar o novo fascículo sobre IA do CERT.br?
O material está disponível gratuitamente no site da Cartilha de Segurança mantido pelo NIC.br, na seção de fascículos.
Posso colar código-fonte da minha empresa em ferramentas de IA generativa?
Não. Informações inseridas em chatbots públicos podem ser armazenadas nos servidores do provedor e reutilizadas no treinamento dos modelos, exposta a terceiros.
O que é o ataque de prompt injection mencionado no guia?
Trata-se de uma técnica onde comandos maliciosos escondidos em arquivos, e-mails ou sites alteram o comportamento de agentes de IA, forçando a execução de instruções não autorizadas.
Fonte: Cgi.br