Os Detetores de Inteligência Artificial Funcionam? O Que Deve Saber Antes de Confiar Num Resultado

A utilização de ferramentas como o ChatGPT, Gemini e outros sistemas de Inteligência Artificial tornou-se cada vez mais comum entre estudantes universitários. Ao mesmo tempo, surgiram várias plataformas que prometem identificar se determinado texto foi escrito por uma pessoa ou produzido através de Inteligência Artificial. Para quem está a desenvolver trabalhos académicos, esta realidade pode gerar uma dúvida bastante importante: será que os detetores de Inteligência Artificial funcionam realmente?

A resposta não é totalmente simples. Os detetores de IA conseguem identificar determinados padrões associados à escrita produzida por modelos de linguagem, mas não conseguem determinar com absoluta certeza quem escreveu um texto. Por esse motivo, um resultado apresentado por estas ferramentas deve ser interpretado com cuidado.

Como funciona um detetor de Inteligência Artificial?

Os detetores de IA analisam características estatísticas e linguísticas presentes num texto. Em vez de procurarem uma frase específica que indique que foi utilizado o ChatGPT, analisam padrões relacionados com a escolha das palavras, a construção das frases, a previsibilidade do texto e outras características da escrita.

Os modelos de Inteligência Artificial produzem texto através da previsão das palavras que têm maior probabilidade de aparecer numa determinada sequência. Essa forma de funcionamento pode criar alguns padrões que determinados sistemas tentam reconhecer.

No entanto, existe um problema evidente. Uma pessoa também pode escrever de forma organizada, previsível e linguisticamente correta. Isto significa que algumas características consideradas típicas da Inteligência Artificial também podem aparecer naturalmente num trabalho académico escrito por um estudante.

É precisamente aqui que começam as limitações destes sistemas.

Um resultado de 80% significa que 80% do texto foi escrito por IA?

Nem sempre.

Esta é uma das interpretações mais perigosas dos resultados apresentados por alguns detetores. Quando uma ferramenta apresenta uma determinada percentagem de probabilidade ou identifica partes do texto como potencialmente produzidas por IA, isso não deve ser automaticamente interpretado como uma prova de utilização do ChatGPT.

O próprio Turnitin, uma das plataformas mais utilizadas no contexto universitário, reconhece que o seu sistema pode identificar incorretamente texto escrito por humanos como sendo produzido por Inteligência Artificial. A empresa recomenda que o relatório de deteção não seja utilizado isoladamente para tomar decisões contra um estudante.

Por outras palavras, um resultado elevado pode justificar uma análise mais cuidada do trabalho, mas não constitui, sozinho, uma demonstração de fraude académica.

O problema dos falsos positivos

Um dos maiores problemas associados aos detetores de Inteligência Artificial são os chamados falsos positivos.

Um falso positivo acontece quando um estudante escreve determinado texto sem recorrer à geração automática de conteúdo, mas o sistema classifica esse texto como sendo provavelmente produzido por IA.

Este problema já foi observado em investigação científica. Um estudo realizado por investigadores da Universidade de Stanford mostrou que vários detetores analisados apresentavam dificuldades significativas quando avaliavam textos escritos em inglês por pessoas cuja língua materna não era o inglês. Em determinados conjuntos de textos, uma parte considerável de conteúdos genuinamente humanos foi incorretamente identificada como produzida por IA.

Este exemplo demonstra por que razão uma percentagem apresentada por um software não deve ser tratada como uma sentença definitiva.

Também existem falsos negativos

O problema funciona igualmente no sentido contrário.

Um falso negativo acontece quando determinado conteúdo foi produzido ou fortemente apoiado por Inteligência Artificial, mas o detetor considera que se trata de escrita humana.

Os textos produzidos atualmente por modelos de linguagem são muito mais sofisticados do que os primeiros conteúdos gerados por estas tecnologias. Além disso, existe uma enorme variedade de formas de utilizar IA durante a elaboração de um trabalho académico.

Um estudante pode utilizar uma ferramenta apenas para corrigir uma frase, reorganizar um parágrafo, melhorar a clareza de determinada explicação ou desenvolver partes mais extensas do texto. Esta mistura entre intervenção humana e assistência tecnológica torna a identificação automática ainda mais complexa.

Ademais, os detetores podem ter maiores dificuldades quando existe uma combinação entre escrita humana e intervenção de modelos de linguagem.

Então porque é que as universidades utilizam estes sistemas?

Porque os detetores podem ser úteis como instrumentos de apoio à análise.

Existe uma diferença importante entre utilizar um detetor para levantar uma dúvida e utilizar um detetor como prova definitiva.

Se determinado relatório indicar uma possível utilização de Inteligência Artificial, o professor poderá analisar outros elementos. Pode observar a qualidade das referências bibliográficas, comparar o texto com trabalhos anteriores, verificar a coerência da argumentação ou pedir ao estudante que explique determinadas decisões metodológicas.

Num trabalho académico, a capacidade de explicar aquilo que foi escrito continua a ser fundamental. Quem realizou realmente a investigação deve conseguir justificar os objetivos, explicar a metodologia, interpretar os resultados e defender as principais conclusões.

Um detetor de IA é o mesmo que um detetor de plágio?

Não.

Um sistema de deteção de plágio procura normalmente semelhanças entre o texto analisado e conteúdos existentes em bases de dados, artigos, páginas da Internet e outros documentos.

Um detetor de Inteligência Artificial enfrenta um problema diferente. Está a tentar estimar como determinado texto poderá ter sido produzido, recorrendo a padrões probabilísticos.

Por esse motivo, afirmar que um texto apresenta elevada probabilidade de ter sido produzido por IA é diferente de demonstrar que determinada passagem foi copiada de uma fonte concreta.

Até a OpenAI chegou a disponibilizar um classificador destinado à identificação de texto produzido por Inteligência Artificial, mas retirou posteriormente essa ferramenta devido à sua reduzida precisão.

O que fazer se o seu trabalho académico for identificado como IA?

Se escreveu realmente o trabalho e surgir uma suspeita, não entre imediatamente em pânico.

É útil conservar elementos que demonstrem o processo de desenvolvimento da investigação, como versões anteriores do documento, notas, fichas de leitura, referências consultadas, bases de dados utilizadas, resultados estatísticos e registos das alterações realizadas.

Mais importante ainda, deve conhecer profundamente o conteúdo que apresenta. Um estudante capaz de explicar claramente como chegou aos resultados, porque escolheu determinada metodologia e de que forma construiu a argumentação apresenta elementos muito mais relevantes do que uma simples percentagem produzida automaticamente.

A conclusão: os detetores de Inteligência Artificial funcionam, mas têm limites importantes

Os detetores de IA não são completamente inúteis, mas também não são instrumentos infalíveis. Conseguem reconhecer determinados padrões e podem ajudar professores e instituições a identificar situações que merecem uma análise adicional. Contudo, existem falsos positivos, falsos negativos e importantes limitações na interpretação dos resultados.

Para quem está a desenvolver uma dissertação, tese, monografia ou outro tipo de trabalho académico, a melhor estratégia continua a ser utilizar a Inteligência Artificial de forma responsável, respeitar as normas da instituição e manter um processo de investigação transparente.

Um detetor pode levantar uma suspeita. Não consegue, sozinho, contar a história de como um trabalho académico foi realmente desenvolvido.