Como funcionam detectores de redação por IA (e por que não são perfeitos)

Detectores de texto gerado por IA viraram padrão em educação e editorial. Ferramentas varrem trabalhos de alunos em busca de assinaturas de ChatGPT e Gemini; editoras checam manuscritos; plataformas filtram spam. Mas como isso funciona de fato — e por que às vezes marcam texto humano como IA? Entender a mecânica ajuda a usar a ferramenta com critério e a não tratar uma pontuação probabilística como veredito definitivo.

O cerne: texto é estatística

Linguagem natural é, em última instância, um fenômeno estatístico. Cada escolha lexical, estrutura de frase e ritmo de parágrafo reflete padrões aprendidos. Modelos de linguagem são treinados em montanhas de texto humano — aprendem a soar plausivelmente humanos, o que infelizmente também os torna difíceis de separar do humano. O desafio dos detectores é achar diferenças estatísticas sutis que persistem entre texto humano e gerado por IA em vários temas, estilos e contextos.

Perplexidade: quão previsível é cada palavra?

A métrica mais usada é a perplexidade — o quanto um modelo de linguagem se “surpreende” com cada palavra dado o que veio antes. Texto humano tende a perplexidade mais alta: escolhas inesperadas, ideias novas, jargão de domínio, riscos linguísticos que o modelo daria baixa probabilidade. Texto de IA, treinado para maximizar verossimilhança, tende a perplexidade mais baixa: escolhas contextualmente adequadas, comuns, previsíveis. Trechos longos com perplexidade baixa sustentada sugerem saída de modelo de linguagem.

Burstiness: quanto a complexidade varia?

O segundo sinal maior é burstiness — variabilidade no comprimento, estrutura e complexidade das frases num mesmo trecho. Escrita humana “explode” em rajadas: uma frase longa seguida de uma curta; parágrafo técnico denso e depois uma analogia; tom formal e de repente um aparte informal. LLMs tendem a complexidade mais uniforme — cada frase nasce com profundidade parecida, fluindo liso sem o “serrilhado” do pensamento humano. Detectores medem variância estatística dessas propriedades ao longo do texto.

Por que essas métricas não são infalíveis

O problema é que perplexidade e burstiness são propriedades do texto, não um carimbo de autoria. Redação acadêmica formal — exatamente o que se pede a estudantes — é propositalmente clara, previsível e estruturada de forma consistente. Relatório de engenharia, peça jurídica ou seção de métodos científicos deve ser objetiva — características de boa escrita formal, não prova de IA. Quem escreve em segunda língua também pode soar mais previsível estatisticamente. Falsos positivos não significam detector quebrado — são consequência de aplicar medidas estatísticas onde os números legítimos se sobrepõem.

O problema dos dados de treino

Detectores são treinados com corpus de texto humano conhecido e texto de IA conhecido. A qualidade e diversidade desses dados limitam a precisão. Um detector treinado forte em ChatGPT 3.5 pode não generalizar para Claude 3.5 ou GPT-4o, com propriedades diferentes. Detector treinado em inglês pode falhar em outras línguas. É preciso retreinar continuamente com saídas novas de modelos — e sempre há atraso entre o lançamento de um modelo novo e o detector “pegar” bem sua saída.

Detecção zero-shot vs. classificador afinado

Alguns sistemas usam abordagem zero-shot: aplicam um LLM pré-treinado para estimar perplexidade sem treino específico de detecção. Outros afinam um classificador com exemplos rotulados. Zero-shot tende a ser mais transparente (dá para entender a métrica) e menos precisa. Classificadores afinados podem ter acurácia maior na distribuição em que treinaram, mas sofrem overfitting a famílias de modelo. Os melhores combinam abordagens e oferecem confiança calibrada, não só sim/não.

O que um detector responsável faz

Um detector responsável: reporta pontuação com nível de confiança, não só bandeira binária; destaca trechos que mais contribuíram para o score; comunica modos conhecidos de falha; recomenda revisão humana em decisões consequentes. A análise de documentos da SUS IT inclui texto justificando quais padrões dispararam o resultado — para você avaliar o raciocínio, não só aceitar um número. Detecção sem explicação é caixa-preta que convida ao uso indevido.

O que fazer com o resultado

Se você recebe alta probabilidade de IA num texto que escreveu, o próximo passo é revisão cirúrgica: mais perspectiva pessoal, mais variação no comprimento das frases, linguagem de domínio e exemplos concretos da sua experiência. Rodar de novo mostra o que mudou a estatística. Se você é educador ou editor recebendo material de outra pessoa, trate a pontuação como convite à conversa, não sentença. Pergunte sobre o processo, revise trechos marcados e busque evidência extra antes de concluir.