Esta página cobre as etapas 8 a 12 do nosso guia de implementação de IA. A escolha de fornecedor, a avaliação de riscos e o piloto em que essas etapas se apoiam estão em escolha de fornecedor, avaliação de riscos e piloto de IA.
Etapa 8: Teste rigorosamente
Uma demonstração que performa bem em um punhado de exemplos selecionados manualmente revela pouco sobre como o sistema se comporta nos casos que realmente causam problemas. Antes de uma expansão mais ampla, teste:
- Casos extremos: as entradas incomuns, malformadas ou incompletas que o processo realmente encontra, não apenas os exemplos limpos usados para construir o sistema
- Entradas adversariais: entradas deliberadamente elaboradas para produzir um resultado incorreto ou prejudicial, especialmente para qualquer sistema voltado ao cliente ou que processe entradas externas
- Cenários fora da distribuição: casos que diferem substancialmente dos dados de treinamento ou configuração, para entender como o sistema falha diante de algo realmente novo
- Comportamento de erro e reversão: o que acontece quando o sistema está incerto, indisponível ou produz um resultado de baixa confiança. Confirme que ele falha de forma segura e visível, não silenciosa
- Carga e desempenho: se o sistema aguenta o volume com que o processo em produção realmente opera, não o volume testado durante o desenvolvimento
Testes específicos de segurança para sistemas de IA
Quando o sistema processa entradas não confiáveis, tem acesso a dados internos ou pode chamar ferramentas ou outros sistemas, teste também, além dos casos gerais acima:
- Injeção de prompt: instruções embutidas diretamente na entrada do usuário que tentam sobrepor o comportamento configurado do sistema
- Injeção indireta de prompt: instruções ocultas em um documento, página web ou e-mail que o sistema lê como parte de sua tarefa, em vez de digitadas diretamente pelo usuário
- Vazamento de dados sensíveis: entradas elaboradas para fazer o sistema revelar dados, configuração ou instruções que não deveria expor
- Capacidade de ação excessiva: se o sistema tenta executar uma ação além do que o caso de uso o autorizou, diante de uma instrução ambígua ou maliciosa
- Uso inseguro de ferramentas e APIs: se o sistema pode ser manipulado para chamar uma ferramenta ou API conectada com parâmetros ou em uma sequência não pretendidos
- Recuperação além das permissões: para sistemas com acesso a documentos ou registros internos, se ele recupera e exibe conteúdo que o usuário solicitante não deveria ver
- Documentos maliciosos: arquivos elaborados para explorar como o sistema analisa ou processa conteúdo enviado, não apenas o comportamento de processamento de texto
Documente o que você testou e o que encontrou. Esse registro se torna parte da evidência para o RIPD ou para a avaliação de conformidade com o Regulamento Europeu de IA, quando aplicável, e é a primeira coisa que você vai querer ter em mãos quando algo der errado após a entrada em produção e alguém perguntar se isso era previsível.
Etapa 9: Prepare as pessoas
As pessoas que usam o novo processo ou são afetadas por ele precisam de mais do que um anúncio de uma linha dizendo que "o sistema agora usa IA".
Etapa 10: Integre ao processo de negócio
Um sistema de IA que produz bons resultados, mas fica fora do fluxo de trabalho real, não entrega o resultado de negócio. Integração significa redesenhar o processo em torno da nova capacidade, não adicionar uma etapa extra ao processo antigo.
| Fase | Antes | Depois |
|---|---|---|
| Recebimento da fatura | Aberta, lida e lançada manualmente no sistema financeiro | A IA extrai os itens de linha e os codifica automaticamente |
| Tratamento de exceções | Sem distinção; toda fatura recebe atenção manual igual | Somente faturas com baixa confiança ou incomuns vão para um revisor humano |
| Aprovação | O gestor revisa cada fatura antes do pagamento | O gestor revisa apenas as exceções sinalizadas; faturas de rotina seguem com base em um limiar fixo |
| Papel do funcionário | Lançamento de dados em tempo integral | Revisão de exceções e atendimento a dúvidas de fornecedores |
Observe que o processo redesenhado muda o que o papel humano faz, não apenas o que o software faz. Essa mudança é de onde vem o resultado de negócio, e é por isso que projetos de implementação conduzidos apenas por uma equipe de tecnologia, sem o dono do processo à mesa, costumam entregar uma ferramenta em torno da qual o fluxo de trabalho de ninguém realmente mudou.
Etapa 11: Estruture a supervisão humana para o novo processo
A supervisão precisa ser incorporada ao processo redesenhado desde o início, com uma pessoa específica responsável por uma decisão específica, não uma instrução genérica para "acompanhar de perto".
| Atividade | Papel da IA | Papel humano |
|---|---|---|
| Codificação rotineira de faturas | Extrai e codifica automaticamente | Audita uma amostra fixa semanalmente |
| Fatura com baixa confiança | Sinaliza para revisão, não avança | Revisa e aprova ou rejeita antes do pagamento |
| Novo fornecedor ou valor incomum | Sinaliza automaticamente com base em limiares fixos | Revisão manual completa, não pode ser anulada apenas pela pontuação de confiança da IA |
| Atualização de modelo ou fornecedor | O comportamento pode mudar sem aviso | Testa novamente uma amostra contra os critérios da Etapa 8 após cada atualização relevante |
| Ação agêntica ou de múltiplas etapas | Só pode executar ações da lista permitida na Etapa 5 | Aprova qualquer ação fora dessa lista antes de ela ocorrer, não depois |
Este é o mesmo princípio de design da seção sobre supervisão humana do nosso guia de governança de IA: um humano que efetivamente avalia o caso, com autoridade e informação para mudar o resultado, não uma formalidade a caminho de uma decisão que já estava tomada.
Etapa 12: Monitore e meça o resultado de negócio
Assim que o sistema entrar em produção, acompanhe dois tipos diferentes de métricas, e não deixe o primeiro substituir o segundo.
| Métricas operacionais | Métricas de resultado de negócio |
|---|---|
| Taxa de adoção entre os usuários-alvo | Mudança no número que constava no objetivo da Etapa 1 |
| Volume de consultas ou transações processadas | Custo economizado ou realocado |
| Disponibilidade do sistema e tempo de resposta | Taxa de erro ou correção comparada ao processo anterior |
| Taxa de exceções e escalonamentos | Satisfação de clientes ou funcionários onde o processo os afeta |
As métricas operacionais dizem se o sistema está funcionando. As métricas de resultado de negócio dizem se valeu a pena construí-lo. Avalie ambas em um cronograma fixo, não apenas na entrada em produção: o comportamento do modelo pode mudar, atualizações do fornecedor podem alterar a qualidade dos resultados, e um processo que funcionava bem no volume do piloto pode se comportar de forma diferente em escala total. Onde a implementação envolve um fornecedor de IA, o ciclo de governança do nosso guia de governança de IA trata da estrutura de revisão contínua na qual esse monitoramento deve se encaixar.