Please use this identifier to cite or link to this item: http://repositorio.ufpa.br/jspui/handle/2011/5608
metadata.dc.type: Dissertação
Issue Date: 20-Feb-2014
metadata.dc.creator: FRANÇA, Arilene Santos de
metadata.dc.contributor.advisor1: SANTANA, Ádamo Lima de
Title: Otimização do processo de aprendizagem da estrutura gráfica de Redes Bayesianas em BigData
metadata.dc.description.sponsorship: CAPES - Coordenação de Aperfeiçoamento de Pessoal de Nível Superior
Citation: FRANÇA, Arilene Santos de. Otimização do processo de aprendizagem da estrutura gráfica de Redes Bayesianas em BigData. Orientador: Ádamo Lima de Santana. 2014. 41 f. Dissertação (Mestrado em Engenharia Elétrica.) - Instituto de Tecnologia, Universidade Federal do Pará, Belém, 2014. Disponível em: http://repositorio.ufpa.br/jspui/handle/2011/5608. Acesso em:.
metadata.dc.description.resumo: A automação na gestão e análise de dados tem sido um fator crucial para as empresas que necessitam de soluções eficientes em um mundo corporativo cada vez mais competitivo. A explosão do volume de informações, que vem se mantendo crescente nos últimos anos, tem exigido cada vez mais empenho em buscar estratégias para gerenciar e, principalmente, extrair informações estratégicas valiosas a partir do uso de algoritmos de Mineração de Dados, que comumente necessitam realizar buscas exaustivas na base de dados a fim de obter estatísticas que solucionem ou otimizem os parâmetros do modelo de extração do conhecimento utilizado; processo que requer computação intensiva para a execução de cálculos e acesso frequente à base de dados. Dada a eficiência no tratamento de incerteza, Redes Bayesianas têm sido amplamente utilizadas neste processo, entretanto, à medida que o volume de dados (registros e/ou atributos) aumenta, torna-se ainda mais custoso e demorado extrair informações relevantes em uma base de conhecimento. O foco deste trabalho é propor uma nova abordagem para otimização do aprendizado da estrutura da Rede Bayesiana no contexto de BigData, por meio do uso do processo de MapReduce, com vista na melhora do tempo de processamento. Para tanto, foi gerada uma nova metodologia que inclui a criação de uma Base de Dados Intermediária contendo todas as probabilidades necessárias para a realização dos cálculos da estrutura da rede. Por meio das análises apresentadas neste estudo, mostra-se que a combinação da metodologia proposta com o processo de MapReduce é uma boa alternativa para resolver o problema de escalabilidade nas etapas de busca em frequência do algoritmo K2 e, consequentemente, reduzir o tempo de resposta na geração da rede.
Abstract: Automation at data management and analysis has been a crucial factor for companies which need efficient solutions in an each more competitive corporate world. The explosion of the volume information, which has remained increasing in recent years, has demanded more and more commitment to seek strategies to manage and, especially, to extract valuable strategic informations from the use of data mining algorithms, which commonly need to perform exhausting queries at the database in order to obtain statistics that solve or optimize the parameters of the model of knowledge discovery selected; process which requires intensive computing to perform calculations and frequent access to the database. Given the effectiveness of uncertainty treatment, Bayesian networks have been widely used for this process, however, as the amount of data (records and/or attributes) increases, it becomes even more costly and time consuming to extract relevant information in a knowledge base. The goal of this work is to propose a new approach to optimization of the Bayesian Network structure learning in the context of BigData, by using the MapReduce process, in order to improve the processing time. To that end, it was generated a new methodology that includes the creation of an Intermediary Database, containing all the necessary probabilities to the calculations of the network structure. Through the analyzes presented at this work, it is shown that the combination of the proposed methodology with the MapReduce process is a good alternative to solve the scalability problem of the search frequency steps of K2 algorithm and, as a result, to reduce the response time generation of the network.
Keywords: Redes bayesianas
BigData
Mineração de dados (Computação)
Bayesian networks
Data mining
Bigdata
metadata.dc.subject.cnpq: CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::METODOLOGIA E TECNICAS DA COMPUTACAO::LINGUAGENS DE PROGRAMACAO
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::MATEMATICA DA COMPUTACAO::MODELOS ANALITICOS E DE SIMULACAO
CNPQ::CIENCIAS EXATAS E DA TERRA::PROBABILIDADE E ESTATISTICA::PROBABILIDADE E ESTATISTICA APLICADAS
metadata.dc.publisher.country: Brasil
Publisher: Universidade Federal do Pará
metadata.dc.publisher.initials: UFPA
metadata.dc.publisher.department: Instituto de Tecnologia
metadata.dc.publisher.program: Programa de Pós-Graduação em Engenharia Elétrica
metadata.dc.rights: Acesso Aberto
Appears in Collections:Dissertações em Engenharia Elétrica (Mestrado) - PPGEE/ITEC

Files in This Item:
File Description SizeFormat 
Dissertacao_OtimizacaoProcessoAprendizagem.pdf1,74 MBAdobe PDFView/Open


This item is licensed under a Creative Commons License Creative Commons