Please use this identifier to cite or link to this item: http://hdl.handle.net/10773/40918
Title: Deep reinforcement learning-based time series forecasting in electric energy harvesting
Other Titles: Previsão de séries temporais através de aprendizagem profunda por reforço no contexto da colheita de energia elétrica
Author: Fonte, Tiago Mateus Silveira Lourenço da
Advisor: Santos, Marco Paulo Soares dos
Lopes, Luís Seabra
Keywords: Energy harvesting
Time series forecasting
Reinforcement learning
Deep learning
Electromagnetic generator
Defense Date: 14-Dec-2023
Abstract: Clean and renewable energy production methods have been highly researched over the last decades to fight climate changes caused by greenhouse gas emissions. Energy harvesters surged as a promising technique to overcome the inherent limitations of small and large scale forms of renewable energy production. However, power density, efficiency and energy management of such electric generators are highly dependent on forecasting methods that can accurately predict future energy values for varying mechanical excitations. Many forecasting methods have been researched in the past, but those based on deep reinforcement learning (DRL) have not yet been the subject of much research as they are relatively recent. In this study, a deep reinforcement learning-based time series forecasting model is developed and proven to predict future power outputs of an electromagnetic energy generator . Firstly, datasets related to the instantaneous power output of the generator were gathered and processed for training and testing procedures. Secondly, the proposed model was developed based on the deep deterministic policy gradient (DDPG) algorithm and optimized using the black hole (BH) heuristic optimization algorithm. Finally, a deep learning (DL) model, based on the long short-term memory (LSTM) algorithm was developed and optimized with the BH algorithm to establish an accuracy and computation time-wise comparison between DRL and DL. Experiments showed that the proposed model and the comparison model were equally able to accurately predict the future power values of the energy generator. Considering the chosen dataset for the optimization procedure, the proposed model was able to outperform the comparison model at the cost of training time. The mean squared error (MSE), the root mean squared error (RMSE) and the coefficient of determination (R2) evaluation measures of the proposed model were, respectively, 30.19%, 65.77% and 0.22% better than the comparison model. Moreover, the proposed model was 94.80% faster than the comparison model at predicting future power values. The findings within this investigation might achieve significant impact in both small and large-scale domains, as the validation of this forecasting model is a revolutionary gateway to the creation of inteligent and highly predictive energy generators.
Diversas formas de produção de energia limpa e renovável têm sido profundamente investigadas nas últimas décadas para combater as alterações climáticas causadas pelas emissões de gases de efeito de estufa. Os geradores de energia surgiram como uma técnica promissora para superar as limitações inerentes às formas de produção de energia elétrica convencionais, tanto na pequena como na grande escala. No entanto, a densidade de potência, eficiência e a distribuição de energia são dependentes de métodos de previsão de energia de elevada precisão para prever futuros valores de energia, mas para excitações mecânicas que variam com o tempo. Vários métodos de previsão já foram intensamente investigados, mas técnicas baseadas na aprendizagem profunda por reforço ainda não foram alvo de grande volume de investigação por serem relativamente recentes. Neste estudo, um modelo de previsão de séries temporais baseado em aprendizagem profunda por reforço é desenvolvido e validado para prever os valores de potência futura de um gerador de energia eletromagnético. Primeiramente, conjuntos de dados relacionados com a potência instantânea do dispositivo foram obtidos e processados para treino e teste. De seguida, o modelo proposto foi desenvolvido com base no algoritmo de gradiente de política determinística profunda e otimizado através do algoritmo de otimização heurístico baseado em buracos negros. Finalmente, um modelo de aprendizagem profunda, baseado no algoritmo de memória de longo e curto prazo foi desenvolvido e otimizado com o algoritmo do buraco negro. O objetivo deste modelo é estabelecer um termo de comparação entre os valores de precisão e tempos de computação do método de aprendizagem profunda por reforço e do método de aprendizagem profunda. Os resultados experimentais demonstraram que o modelo proposto e o modelo de comparação foram igualmente capazes de prever com precisão os valores futuros de potência do dispositivo. Tendo em conta o conjunto de dados escolhido para o procedimento de otimização, o modelo proposto foi capaz de superar ligeiramente o modelo de comparação em detrimento do tempo de treino. As medidas de avaliação do erro quadrático médio, da raiz do erro quadrático médio e do coeficiente de determinação do modelo proposto foram respetivamente, 30.19%, 65.77% e 0.22% melhor do que o modelo de comparação. Além disso, o modelo proposto foi 94.80% mais rápido do que o modelo de comparação na previsão de valores de potência futuros. As descobertas desta investigação poderão alcançar um impacto significativo nos domínios de pequena e grande escala, uma vez que a validação deste modelo de previsão é uma porta de entrada revolucionária para a criação de geradores de energia inteligentes e altamente preditivos.
URI: http://hdl.handle.net/10773/40918
Appears in Collections:UA - Dissertações de mestrado
DEM - Dissertações de mestrado

Files in This Item:
File Description SizeFormat 
Documento_Tiago_Fonte.pdf11.35 MBAdobe PDFembargoedAccess


FacebookTwitterLinkedIn
Formato BibTex MendeleyEndnote Degois 

Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.