Os exames respondidos usando inteligência artificial (IA) podem não apenas evitar a detecção, mas também obter notas mais altas do que aquelas enviadas pelos alunos, conforme demonstrado em um teste real.
O estudo também revelou que mesmo marcadores experientes podem ter dificuldades para identificar respostas geradas pela IA.
Essas descobertas surgem num momento em que crescem as preocupações sobre estudantes apresentando trabalhos gerados por IA como se fossem seus, aumentando as questões sobre a integridade acadêmica das universidades e outras instituições de ensino superior.
Peter Scarfe, professor associado da Escola de Psicologia e Ciências Clínicas da Linguagem de Reading, afirmou que as revelações devem funcionar como um “alerta” para as instituições educacionais, à medida que ferramentas de IA, como o ChatGPT, se tornam mais avançadas e disseminadas.
Ele disse: “Os dados do nosso estudo mostram que é muito difícil detectar respostas geradas por IA.
“Tem-se falado bastante sobre o uso dos chamados detectores de IA, que também são outra forma de IA, mas seu alcance é limitado.”
Para o estudo, publicado na revista Plos One, o professor Scarfe e sua equipe geraram respostas às questões do exame usando GPT-4 e as enviaram em nome de 33 estudantes fictícios.
Os marcadores dos exames da Escola de Psicologia e Ciências Clínicas da Linguagem de Reading não estavam cientes do estudo.
As respostas enviadas para muitos módulos de graduação em psicologia não foram detectadas em 94% dos casos e, em média, obtiveram notas mais altas do que as respostas reais dos alunos, disse o professor Scarfe.
Ele observou que a IA se saiu particularmente bem nos primeiros e segundos anos de estudo, mas teve mais dificuldades no último ano do módulo de estudo.
No ano passado, as universidades do Russell Group, que incluem Oxford, Cambridge, Imperial College London e outras universidades de prestígio, comprometeram-se a permitir o uso ético da IA no ensino e nas avaliações, com muitas outras seguindo o exemplo.
Mas o professor Scarfe destacou que o setor educacional precisará adaptar e atualizar constantemente suas diretrizes à medida que a IA generativa evolui e se torna mais sofisticada.
Ele argumentou que as universidades deveriam focar em descobrir como abraçar o “novo normal” da IA, para melhorar a educação.
O professor Scarfe adicionou que voltar às avaliações presenciais dos exames seria “um retrocesso em muitos aspectos”.
Ele disse: “Muitas instituições abandonaram os exames tradicionais para tornar a avaliação mais inclusiva.
“Nossa pesquisa mostra que é de importância internacional compreender como a IA impactará a integridade das avaliações educacionais.
“Não iremos necessariamente voltar totalmente aos exames escritos à mão, mas o setor educacional global terá que evoluir diante da IA.”
O coautor do estudo, Professor Etienne Roesch, da Escola de Psicologia e Ciências Clínicas da Linguagem de Reading, acrescentou: “Como setor, nós precisamos concordar sobre como esperamos que os alunos usem e reconheçam o papel da IA no seu trabalho.
“O mesmo se aplica à utilização mais ampla da IA em outras áreas da vida para evitar uma crise de confiança em toda a sociedade.
“Nosso estudo destaca a responsabilidade que temos como produtores e consumidores de informação.
“Precisamos reforçar nosso compromisso com a integridade acadêmica e de pesquisa.”
