Big Data em ambiente Cloud: análise da migração para serviços da Cloud

Abstract

Os sistemas de Big Data são cada vez mais uma ferramenta importante para o negócio da era digital, dada a enorme quantidade de dados que é gerada nos dias de hoje e a importância que estes representam para a sociedade também. Dado o crescimento exponencial da área da mobilidade e de forma a melhorar a qualidade dos produtos, surge a necessidade de criar sistemas coesos e eficazes capazes de extrair, transformar e analisar os dados com a máxima eficácia possível. Daí, ser necessário procurar as mais recentes tecnologias, verificar o que melhor se enquadra nas necessidades de cada um seguindo sempre a filosofia da entidade. O objetivo deste estágio focou-se na análise do sistema atualmente utilizado, acompanhamento e gestão de uma possível alteração para tornar ainda melhor o sistema da empresa, sistema esse que é responsável pelo tratamento de um milhão de dados , todos os dias, e também pelo estudo e desenvolvimento dos dashboards que seriam utilizadas pelos diferentes clientes da empresa. Foram analisadas várias métricas a fim de verificar se a migração seria positiva/possível ou não para a empresa. O estágio teve a duração de nove meses e foi realizado na empresa Openvia Mobility, empresa tecnológica do grupo Globalvia, com o apoio do arquiteto de software e o team leader responsável pelo sistema atual, bem como uma equipa externa com experiência na área.

Big Data systems are increasingly an essential tool for business in the digital age, given the enormous amount of data generated today and the importance that data has in society. Given the exponential growth in mobility and to improve the quality of products, the need arises to create cohesive and effective systems capable of extracting, transforming, and analyzing the data as effectively as possible. Hence, it is necessary to search for the latest technologies, check what best fits the needs of each one, and always follow the entity’s philosophy. The objective of this internship focused on the analysis of the system currently used, monitoring, and managing a possible change to make the company's system even better, a system that is responsible for processing about a million of data every day and the study and development of visualizations that different customers of the company would use. Several metrics were analyzed to verify if the migration would be positive/possible or not for the company. The internship lasted nine months and was carried out at Openvia Mobility, a technology company of the Globalvia group, with the support of the software architect and the team leader responsible for the current system, as well as an external team with experience in the area.