Ferramentas de teste para sistemas baseados em aprendizado de máquina: Um estudo empírico

Abstract

O Deep Learning (DL) define um novo paradigma de programação orientado a dados, em que a lógica interna do sistema é amplamente moldada pelos dados de treinamento. A maneira padrão de avaliar modelos de DL é examinar seu desempenho em um conjunto de dados de teste. A qualidade do conjunto de dados de teste é de grande importância para obter confiança nos modelos treinados. Usando um conjunto de dados de teste inadequado, os modelos de DL que atingiram alta precisão de teste ainda podem não ter generalidade e robustez. No entanto, devido à diferença fundamental entre software tradicional e software baseado em deep learning, as técnicas tradicionais de teste de software não podem ser aplicadas diretamente a esses sistemas. Dito isto, com a disponibilidade de várias ferramentas e bibliotecas de código aberto que usam o conceito de DL, os desenvolvedores hoje em dia podem programar facilmente suas aplicações apenas fazendo uso dessas interfaces de programação de aplicativos (APIs) de aprendizado sem conhecer os detalhes do algoritmo. Modelos de DL são notoriamente difíceis de interpretar e depurar. No entanto, os proprietários de ferramentas e bibliotecas de DL geralmente possuem mais atenção à correção e funcionalidade de seu algoritmo, gastando muito menos esforço em manter seu código livre de bugs e com um nível de alta qualidade. Considerando a popularidade do aprendizado de máquina no mundo de hoje, as ferramentas e bibliotecas de DL podem ter um enorme impacto em produtos que usam algoritmos dessa tecnologia. Portanto, nesta monografia, seu objetivo é mostrar que diferentes abordagens de se testar essas ferramentas são importantes para garantir um produto final mais seguro. Como resultado desse estudo, criamos uma rotina de testes que se mostrou viável com resultados confiáveis. Uma comparação de técnicas de teste White e Black box também foi feita para mostrar os pontos positivos e negativos do uso em sistema deep learning. O desenvolvimento da abordagem ainda permite que seja aplicada e utilizada em qualquer sistema que se assemelhe ao que foi trabalho nesta pesquisa, contribuindo positivamente para a inteligência artificial sob a ótica de testes focados para sistemas de aprendizado profundo.