Organization of information in neural networks

Data
2021-11-24
Título da revista
ISSN da revista
Título do Volume
Editora
Projetos de investigação
Unidades organizacionais
Fascículo
Resumo
O mundo está a evoluir e a tecnologia tal como a conhecemos está a ultrapassar barreiras que antes pensávamos não poderem ser quebradas. A Inteligência Artificial tem sido uma das áreas que tem alcançado um nível de sucesso que proporciona a melhor das expectativas em muitas tarefas em todas as áreas de trabalho. No domínio de Machine Learning, as redes neuronais têm sido um dos conceitos que se tem destacado, resultando em precisões extremamente elevadas em problemas provenientes de todos os sectores. No entanto, a falta de interpretabilidade é um dos problemas inerentes que estas redes complexas com capacidade de produzir predições trouxe. Os modelos actuais de redes neuronais são muitas vezes considerados como ”caixas negras” devido à falta de ”explicabilidade” e transparência, uma vez que o conhecimento obtido pela aprendizagem do modelo com os dados fornecidos como entrada, são imprevisíveis e em sistemas complexos, inexplicáveis. A complexidade de uma rede está intrinsecamente ligada a alguns parâmetros como o número de camadas escondidas, função de ativação escolhida, que influencia o quão flexível é a rede na classificação de padrões, podendo fazer as devidas classificações em espaços dimensionais maiores com maior facilidade, com custo mais elevado em recursos, tempo e menos interpretabilidade ao computar o problema. Desde então sempre se tentou arranjar soluções alternativas, modificações à estrutura e método de aprendizagem das redes neuronais de modo a compensar os recursos adicionais necessitados. A falta de compreensão sobre a razão pela qual os modelos chegam a determinadas conclusões prejudica a implementação destes modelos em áreas críticas como medicina de precisão, direito ou finanças, onde o raciocínio para as conclusões apresentadas é extremamente necessário. Este problema levou à criação de um novo subcampo no domínio de Machine Learning onde a Inteligência Artificial explicável é uma prioridade. Esta dissertação apresenta uma revisão da literatura existente e contribuições disponíveis no campo da Inteligência Artificial explicável e no campo de modificações da estrutura das redes neuronais típicas. Baseado na investigação mais recente do Professor Paulo Salgado, que foi providenciada para compreensão e validação, sobre canais complementares de informação em Redes Neuronais e um algoritmo baseado neste modelo complementar, uma primeira contribuição desta dissertação foi formalizar os aspectos teóricos dessa investigação assim como a sua compreensão, seguido da validação do modelo com métricas típicas do domínio de Machine Learning.
The world is evolving and technology as we know its surpassing barriers that we once thought couldn’t be broken. Artificial Intelligence has been one of the areas that has achieved a level of success that delivers the best of expectations in many tasks across the field. In the domain of Machine Learning, Neural Networks have been one of the concepts that have stood out, providing extremely high accuracy when solving problems across all work sectors. However, the lack of interpretability is one of the inherent problems it has brought. The present neural network models are often considered as ”black-boxes” derived from the lack of explainability and transparency, since the knowledge the structure learns from the data provided as input is unpredictable and in complex systems, unexplainable. The neural network complexity is intrinsically associated with some parameters, such as number of hidden layers, activation function, which influence how flexible are the network pattern classifications allowing for easier classifications in higher spatial dimensions at the cost of more resources, time and interpretability when computing the problem. In order to solve the increased computational needs and lack of interpretability, new solutions and structure modifications to the typical networks have been researched and implemented. The lack of understanding on why the models reaches certain conclusions impairs these models to be deployed in critical areas such as precision medicine, law or finances where reasoning for the presented conclusions are needed. This problem led to the creation of a new sub-field in the domain of Machine Learning where explainable artificial intelligence is the priority. This dissertation presents a review of the existing literature and contributions available in the field of XAI and regarding structural modifications to the typical networks. Based on the most recent Professor Paulo Salgado’s investigation, which were provided for study and validation, about complementary information channels on Neural Networks and an algorithm based on this complementary sub model, the comprehension and formalization of the theoretical methods was another contribute of this dissertation followed by the validation of the model with typical Machine Learning performance metrics.
Descrição
Dissertação submetida à UNIVERSIDADE DE TRAS-OS-MONTES E ALTO DOURO para obtenção do grau de MESTRE em Engenharia Electrotécnica e de Computadores
Palavras-chave
Explainable Artificial Intelligence , Machine Learning
Citação