Turnitin - Detecção de Escrita por IA: O que os Líderes Acadêmicos Precisam Saber à Medida que a Tecnologia Evolui

O que é a detecção de escrita por IA? A detecção de escrita por IA envolve o uso de tecnologias de inteligência artificial e aprendizado de máquina para analisar e identificar textos produzidos por IA generativa — uma influência crescente na comunidade educacional.

A introdução dos Large Language Models (LLMs) no final de 2022 revolucionou a criação de conteúdo, oferecendo tanto oportunidades quanto desafios para o meio acadêmico. Embora muitos vejam o potencial de ferramentas como o ChatGPT para estimular a criatividade, outros se preocupam com as implicações para a integridade acadêmica.

Em um estudo recente de Casal e Kessler, 72 especialistas em linguística conseguiram identificar corretamente conteúdo gerado por IA apenas 38,9% das vezes, destacando a dificuldade de distinguir textos escritos por IA dos textos de autoria humana. À medida que os educadores enfrentam o desafio de revisar trabalhos acadêmicos, as ferramentas de detecção de escrita por IA tornaram-se um ponto adicional de dados para ajudar a identificar conteúdos que podem ter sido gerados por IA (2023).

O aumento de ferramentas de escrita por IA mais sofisticadas estimulou o avanço contínuo na tecnologia de detecção. Muitas instituições estão agora explorando como organizações como a Turnitin podem preencher a lacuna entre a escrita gerada por IA e a produção ética de textos, e como essas ferramentas continuarão a evoluir no futuro.

Por que a detecção de escrita por IA é importante? Muitas indústrias, especialmente a academia, estão reconhecendo que a IA generativa veio para ficar. Em um estudo da Turnitin de 2023, conduzido pela Tyton Partners*, descobriu-se que três vezes mais alunos do que professores relataram o uso regular de ferramentas de escrita por IA generativa, como o ChatGPT.

Após o lançamento do ChatGPT, muitas instituições tentaram proibir seu uso. No entanto, como comenta Kevin Roose, colunista de tecnologia do New York Times, "Sim, uma escola pode bloquear o site do ChatGPT nas redes escolares e dispositivos da escola. Mas os alunos têm telefones, laptops e várias outras maneiras de acessá-lo fora da sala de aula." A onipresença dessa tecnologia emergente torna a proibição potencialmente um obstáculo ao desenvolvimento de habilidades dos alunos. No mesmo estudo da Turnitin e Tyton Partners*, 46% dos alunos relataram que usariam ferramentas de IA generativa mesmo que fossem proibidas por instrutores ou instituições.

Embora as opiniões sobre o papel da IA em trabalhos acadêmicos variem, alguns educadores estão agora adotando a escrita por IA como uma ferramenta de ensino, ajudando os alunos a superar bloqueios criativos e gerar ideias. Apesar desses benefícios, há uma necessidade clara de gerenciar os riscos que a IA representa para o meio acadêmico. A detecção de escrita por IA fornece uma ferramenta para auxiliar os educadores a manter a confiança na integridade dos alunos.

Para se manter à frente dos avanços da IA, os educadores estão sendo incentivados a adaptar suas práticas, o que inclui revisar avaliações, repensar a comprovação de aprendizado e considerar a adoção de ferramentas de detecção de escrita por IA.

Como funciona a ferramenta de detecção de escrita por IA da Turnitin? Quando um trabalho é submetido à Turnitin, o texto é primeiro dividido em segmentos de algumas centenas de palavras (cerca de cinco a dez frases). Esses segmentos são sobrepostos para capturar o contexto de cada frase.

Os segmentos são então analisados pelo modelo de detecção de IA da Turnitin, que atribui a cada frase uma pontuação entre 0 e 1 para determinar se foi escrita por um humano ou por IA. Se o modelo determinar que uma frase não foi gerada por IA, ela recebe uma pontuação de 0. Se determinar que a frase foi provavelmente gerada por IA, ela recebe uma pontuação de 1.

Com base nas pontuações médias de todos os segmentos no documento, o modelo gera uma previsão geral de quanto do texto foi provavelmente gerado por IA.

Atualmente, o modelo de detecção de IA da Turnitin é treinado para detectar conteúdos dos modelos de linguagem GPT-3.5 e GPT-4, que são usados no ChatGPT. Estamos ativamente trabalhando na expansão de nosso modelo para detectar conteúdos de outros modelos de linguagem de IA.

A detecção de escrita por IA da Turnitin funciona em idiomas não ingleses? Na primeira versão das capacidades de detecção de escrita por IA da Turnitin, o inglês era o único idioma detectável. Agora, a Turnitin lançou as mesmas capacidades em espanhol para fornecer uma ferramenta que ajude os educadores a manter a integridade acadêmica, garantindo que os alunos sejam tratados de forma justa. A ferramenta mostra uma porcentagem geral do documento que pode ter sido gerada por IA e o relatório destaca os segmentos de texto que nosso modelo prevê terem sido provavelmente escritos por IA.

Qual é a taxa de falsos positivos da ferramenta de detecção de escrita por IA da Turnitin? As ferramentas de detecção de escrita por IA são projetadas para fornecer uma orientação para iniciar conversas com o aluno, mas queremos deixar claro que o relatório de escrita por IA não é uma prova absoluta de uso de IA.

Na Turnitin, nos esforçamos para maximizar a eficácia de nosso detector e consideramos as taxas de falsos positivos ao avaliar a pontuação de escrita por IA atribuída a um trabalho acadêmico. Falsos positivos ocorrem quando um texto completamente escrito por um humano é identificado como sendo gerado por IA.

Embora o risco de falsos positivos com o indicador de escrita por IA da Turnitin seja inferior a 1% para documentos com mais de 20% de conteúdo provavelmente gerado por IA, sua presença destaca a importância de usar a detecção de escrita por IA como uma ferramenta de sinalização e como parte de um processo investigativo mais amplo.

Como as instituições podem apresentar a detecção de escrita por IA a alunos e professores? A introdução de uma nova ferramenta de detecção de escrita por IA pode ser intimidadora tanto para alunos quanto para professores em uma instituição. Alunos que têm boas intenções podem se perguntar por que sua integridade está sendo questionada. Professores podem hesitar em adotar novas tecnologias devido à falta de tempo ou podem não entender totalmente o cenário em mudança em torno da escrita gerada por IA e por que é necessário estar em alerta para esse tipo de má conduta.

Manter a transparência com os membros da sua instituição sobre como a ferramenta de detecção de escrita por IA será adotada é essencial para evitar confusão e pânico.

Visão geral: O que os líderes acadêmicos precisam saber sobre a detecção de escrita por IA A IA generativa está se desenvolvendo rapidamente, mas a detecção de escrita por IA também está avançando. Na Turnitin, reconhecemos as necessidades de nossa comunidade educacional e já estamos trabalhando na construção de sistemas de detecção para futuros modelos de linguagem.

No entanto, a detecção de escrita por IA é apenas um componente de um processo mais amplo. Práticas adicionais baseadas em evidências também desempenham um papel crucial nas investigações e na tomada de decisões na área sensível da integridade acadêmica.