ChatGPT faz faculdades repensarem as provas
Docentes brasileiros preveem que avaliações precisarão ter um maior foco na resolução de problemas
Leon Ferrari, O Estado de S. Paulo, 06/02/2023
Lançado no final de novembro do ano passado, o ChatGPT, uma inteligência artificial de geração de texto (GPT-3) em uma interface de uso simples (um chat, como o próprio nome diz), desenvolvida pela empresa OpenAI, se popularizou rapidamente e já dá dor de cabeça para universidades dos Estados Unidos. Por lá, alguns professores estão reestruturando suas disciplinas, realizando mudanças que incluem mais provas orais, trabalho em grupo e trabalhos escritos à mão no lugar dos digitados.
No Brasil, ele chegou quando o semestre se encerrava, mas, agora, professores de instituições como a Fundação Getulio Vargas (FGV), a Escola Superior de Propaganda e Marketing (ESPM), o Insper, a Universidade Presbiteriana Mackenzie e a Universidade do Estado do Rio de Janeiro (Uerj) já estudam como adaptar planos de ensino e também a forma de avaliar os alunos, principalmente nas disciplinas mais “conteudistas”. No entanto, reconhecem que é impossível prever tudo que pode acontecer com a inserção da nova tecnologia no cenário educacional, vai ser preciso “trocar a roda, com o carro andando”, dizem.
A avaliação deles é de que “não há como nadar contra a maré” e de que é melhor ter o ChatGPT como aliado, não como inimigo. Isso considerando que a nova tecnologia não deve causar só impactos negativos, pelo contrário, se bem utilizada, pode otimizar o processo de ensino-aprendizagem.
“Já temos marcada uma mesa redonda que será agora no dia 8 de fevereiro sobre o ChatGPT e suas possibilidades. Alguns professores já estão inserindo o ChatGPT em seus planos de aula, e tudo está sendo feito de forma experimental, porque não temos como saber de fato quais são os impactos dele nas experiências de ensino-aprendizagem”, diz Tiago Tavares, doutor em Engenharia Elétrica com ênfase em aprendizado de máquina e professor do Insper. Ao Estadão, a Universidade Estadual Paulista (Unesp), por meio de sua assessoria, disse que essa inteligência artificial já foi tema de “encontro institucional com a finalidade de abordar o alcance desta tecnologia”.
Para usar o ChatGPT, por ora, é preciso apenas criar um a conta, logar no seu perfil e sair perguntando. A interface web ainda está completamente em inglês, mas o robozinho entende e dá respostas em um português bastante razoável, fora alguns deslizes ortográficos. Acostumados com o uso de buscadores e das assistentes virtuais inteligentes, por essa descrição, talvez ele não pareça tão surpreendente, afinal, essas outras ferramentas também fazem isso.
Professor da faculdade de Computação e Informática da Mackenzie, Rodrigo Cardoso Silva afirma que o diferencial está no fato de que ele consegue trazer em sua resposta o contexto do que está sendo pedido. “Dentro do modelo que ele traz de texto, vai tentar contextualizar de maneira mais rebuscada ao usuário.” Treinado em bilhões de parâmetros, “ele é capaz de de de entender características textuais e e abstrair assuntos numa quase infinidade de ocasiões”, complementa Carlos Rafael, professor de Sistemas de Informação da ESPM.
Com tamanha capacidade de resposta, a inteligência artificial tem se mostrado boa aluna e “foi aprovada” no exame final do Master in Business Administration (MBA) da Universidade de Wharton, no Exame de Ordem (MBE) e também no Exame de Licenciamento Médico dos Estados Unidos (USMLE). E no Exame Nacional do Ensino Médio (ENEM), ele também não passou vergonha.
Tavares copiou e colou as questões na caixa do ChatGPT, anotou as respostas e depois colocou-as em uma plataforma que estima a nota pela Teoria de Resposta ao Item (TRI). “Achei impressionante o desempenho do sistema nas provas de ciências humanas e de linguagens. Acho que o bom desempenho aconteceu porque muitas vezes a resposta da pergunta está no próprio enunciado, ou é uma paráfrase do próprio enunciado”, conta.
“Não acho que isso seja um demérito do Enem, porque é feito para avaliar pessoas. Quando falamos do raciocínio humano, fazer uma paráfrase significa entender o que foi lido, construir um modelo mental para aquilo, e então usar outras palavras para descrever a mesma coisa. No processo matemático do ChatGPT, a resposta é encontrada verificando quais palavras mais provavelmente fazem parte do mesmo conjunto que as palavras que estão no enunciado, o que é muito diferente”, completa.
“Na prova de matemática, isso ficou bem claro: o ChatGPT não é capaz de fazer passagens algébricas, mesmo as mais simples. O equivalente disso, na prova de humanas, é que o ChatGPT tende a errar quando a resposta depende de entender um contexto mais amplo que aquele descrito explicitamente no enunciado”, afirma.
Feita por humanos, a tecnologia obviamente apresenta limitações, que o ChatGPT não se envergonha de admitir (há uma série de avisos no sentido de alertar que “o sistema pode ocasionalmente gerar informações incorretas ou enganosas e produzir conteúdo ofensivo ou tendencioso”). “Ele não acessa a internet, logo não tem condição de falar sobre assuntos que estão acontecendo hoje, e a base de conhecimento dele também tem uma data limite dura, que é 2021”, diz Carlos Rafael.
Benefícios X Risco
Em Nova York, algumas escolas têm sido bastante categóricas e vêm banindo o uso do ChatGPT. Os professores ouvidos pelo Estadão, contudo, não acham que esse seja o jeito de endereçar a questão e preferem uma abordagem um pouco menos drástica. “ É um caminho sem volta. A tecnologia vai evoluindo. A única constante é a mudança. Falo muito na questão do princípio darwinista: só os mais fortes sobrevivem. Então a gente tem que pensar nessa linha de ação”, afirma Flávio Marques Azevedo, coordenador do curso de Sistemas de Informação da ESPM.
Ignorar a nova tecnologia também pode significar perder uma chance de otimizar o processo de ensino-aprendizagem. “Recentemente li um artigo em que, em uma universidade no Equador, um professor fez um experimento, não usando o ChatGPT, mas a universidade construiu um aplicativo que era um bot, tipo a Siri ou a Alexa, que foi usado como tutor do aluno. Eles dividiram a turma em dois grupos. Metade dos alunos não usava o bot e a outra metade usava. A turma que usou durante o o programa teve um rendimento 20% maior”, disse Marcos Facó, diretor de Comunicação e Marketing da FGV.
Nesse sentido, os pesquisadores ouvidos pelo Estadão listam uma série de benefícios da tecnologia, tanto para alunos quanto professores, como: correção de provas; funcionar como um “tutor” ou “professor auxiliar”; auxiliar na execução de tarefas maçantes (transformar uma planilha do Excel em PDF, por exemplo); agilizar processos de pesquisa e de redação; afinar bibliografias; gerar e ajudar a pensar em questões para provas. E também apontam riscos, como a falta de precisão, com respostas não inteiramente corretas, e a presença de vieses nos retornos, afinal, a IA é treinada por seres humanos (a própria plataforma assume que, embora prime pela objetividade, pode refletir “vieses” e “desigualdades”, com sub-representação de grupos socialmente minorizados, de suas fontes).
Sobre a acurácia, Carlos Rafael, da ESPM, comenta que em testes que fez, percebeu que para questões simples, ele tem uma taxa de acerto de 100%, mas quando a complexidade é intermediária, a história já é outra. “Ele faz uma coisa que é muito muito perigosa, dá uma resposta que não está errada, mas não está 100% certa”, diz.
“Fiz um teste em que pedi ao ChatGPT identificar se uma forma geométrica tinha intersecção com a outra. São três casos possíveis: as duas formas geométricas não tendo a intersecção; elas tendo a intersecção; e tem um caso muito particular, que é quando uma forma está dentro da outra. O que ele fez? Acertou o código em 2/3 dos casos. Fala quando não está e quando está colidindo, mas não quando está dentro. Ou seja, se o aluno pega aquele código e fizer um teste superficial, sem afinco, em algum momento vai dar errado”, completa.
“O grande risco é as pessoas se fiarem totalmente no que ele está entregando. Precisa haver uma confirmação”, resume Facó.
Plágio
O risco que talvez tenha causado maior pânico, nos EUA, é relativo à ética acadêmica, o plágio por parte dos estudantes. É válido salientar que esse é um problema que antecede a tecnologia em questão e tem a ver com a conduta e a forma com a qual o discente enxerga seu papel na educação.
Porém, o que chama atenção é que é bem mais difícil de detectar a cópia quando usado o ChatGPT. “Até onde eu saiba, os softwares de de plágio não estão pegando o ChatGTP”, acrescenta Carlos Affonso Souza, professor da Uerj e diretor do Instituto de Tecnologia e Sociedade (ITS Rio), que testou textos feitos pela IA na plataforma que costuma usar.
Mesmo assim, os professores ouvidos pelo Estadão não parecem assustados com a introdução pela tecnologia. Eles ponderam que disciplinas mais “conteudistas” e “meramente expositivas” irão sofrer mais, mas indicam que é possível sim driblar o plágio com o ChatGPT. De forma mais prática, indicam a necessidade dos docentes se inteirarem da tecnologia e suas possibilidades, e pensar em avaliações que exijam além do conteúdo, com foco na resolução de problemas e na comparação analítica e crítica. Por outro lado, também assumem a possibilidade retomar atividades avaliativas orais (ao vivo em sala de aula ou através de gravação de vídeos), em complemento a redações.
Souza exemplifica com uma atividade que costuma passar aos alunos em suas aulas de Direito: análise de jurisprudência. “Peço que encontrem quatro decisões judiciais sobre um tema e o trabalho é sintetizar o caso e ao final comparar as decisões”, diz. O professor resolveu testar como o ChatGPT reage a essa tarefa: deu quatro decisões e pediu a comparação entre elas.
“Ele não faz a comparação como se fosse um aluno em vias de se formar, mas o que o entrega é interessante, porque entrega sempre um texto introdutório sobre o tema com certos conceitos, com certas definições que geralmente estão corretas, e peca na parte analítica”, conta.
“Eu brinquei no Twitter dizendo que os textos para casa estavam cancelados, mas assim não necessariamente estarão cancelados. Aqueles que vão pedir simplesmente que você detalhe um conceito, que você sintetize uma decisão judicial, isso acabou, o Chat faz. Então você precisa ir além disso, precisa fomentar no aluno uma visão crítica, comparativa, analítica e, de preferência, que não esteja mapeada na internet”, resume.
Azevedo, da ESPM, afirma que a orientação que passou aos professores de que lidam com a parte de programação é que tenham “cuidado de mudar esse viés de solicitar o trabalho”. “Por exemplo, em computação a gente poderia pedir que o estudante desenvolvesse a sequência de Fibonacci. Se você escrever lá ‘faça a codificação da sequência de Fibonacci’, o ChatGPT vai te devolver o código pronto. Então isso não seria uma resposta pra gente. Agora, a aplicação da sequência poderia ser uma resposta para os estudantes fazerem independentemente.”
O ChatGPT vai substituir o professor?
Outra discussão que surgiu após a popularização do ChatGPT foi sobre a possibilidade de ele substituir o professor. Carlos Rafael, porém, não tem esse medo. “Tanto o ChatGPT como todas essas outras ferramentas de criação, elas dependam que você saiba o que você quer. Só que um aluno nem sempre sabe o que quer”, afirma. “O professor em si ele não vai ser substituído pelo ChatGPT. Ele pode ser até substituído por um vídeo pré-gravado, um holograma pré-gravado de aulas.”
A reportagem perguntou se o ChatGPT achava que seria capaz de substituir um professor e a resposta dele foi negativa. “O ChatGPT é apenas uma ferramenta tecnológica e não pode substituir completamente a interação humana, a empatia e a habilidade de ensinar de um professor. Ele pode ser uma ajuda complementar, mas não pode substituir a importância do ensino humano.”
ARTIGO903
