Gerando templates para testar modelos de PLN de forma automática: um estudo de caso com o IMDB

Abstract

O uso de sistemas que utilizam alguma técnica de aprendizagem de máquina tem crescido bastante nos últimos anos, o que levou ao desenvolvimento de novas técnicas e aprimoramento de técnicas existentes. Dentro da aprendizagem de máquina encontramos diversas sub-áreas, e mesmo dentro das sub-áreas existem diversas tarefas resolvidas com diferentes técnicas. Uma das sub-áreas mais pesquisadas recentemente é a área de Processamento de Linguagem Natural, ou PLN. As técnicas de PLN são baseadas em compreensão textual por parte dos sistemas, geralmente levando-se em conta o contexto. Devido ao fato de, muitas vezes, esses sistemas lidarem com problemas críticos, surgiram preocupações quanto a qualidade do software desenvolvido. No entanto, os processos da engenharia de software tradicional não se aplicam diretamente a esse tipo de software. Além disso, a grande diversidade e especificidade das técnicas dificultam a criação de ferramentas de teste que se aplicam de forma geral. Sendo assim, existem diversas ferramentas que auxiliam no processo de testes em sistemas de aprendizagem de máquina, muitas delas lidando com tipos específicos de sistemas. No entanto, algumas delas ainda dependem de interação humana, requerendo criatividade por parte do usuário para que sua utilização se torne viável. Neste trabalho propomos uma abordagem para automatizar algumas dessas etapas manuais, através de um algoritmo que gera templates que servem como base para criação de casos de teste para ferramentas de testes. Através de um experimento prático, conseguimos extrair templates a partir de um dataset de testes do IMDB e os utilizamos juntamente com o Checklist para encontrar falhas em um modelo BERT de análise de sentimentos.