Edge-based IPFS for content distribution

Abstract

Over the last few years, there has been an enormous increase in both internet and mobile users. At the same time, the population in the cities is growing at a high rate as well. These events combined have led to a huge flow of information and network traffic in urban areas. To meet today’s users needs, who are constantly assessing content, it is mandatory to deploy a decentralized capable infrastructure, especially in congested places, such as cities. The surfacing concept of a Smart City, a technologically urban area that uses different technologies and sensors to collect data and uses that data to improve its inhabitant’s quality of life, adds even more traffic to the network. This dissertation’s main objective is to propose an architecture for a Content Distribution System (CDN) in a Smart City, making use of the edge nodes to provide the content as close as possible to the users. This architecture integrates with the pre-existent architecture of the Aveiro infrastructure, which already contains a set of edge nodes and sensors, distributed all over the city. The protocol selected to implement the CDN was Interplanetary File System (IPFS). It was deployed, using docker, a network of IPFS nodes. It was developed a web page where it is displayed all the available content. This page is in contact with both the Plex Media Server and IPFS, both of which can provide content to the page, depending of the decision making of the developed Content Manager. Additionally, the IPFS protocol was tested in certain circumstances, to emulate several scenarios and services that could happen in the city, forcing metrics like delay, packet loss, and bandwidth. The deployment of the protocol near the edge was compared with the typical direct streaming approach. In the ATCLL, the communication between User Equipment and edge nodes is made using a cellular network, and for that reason, the system was tested together with IT 5G NSA cellular network. The tests showed that all the metrics contribute to the peer selection process of IPFS and that streaming with IPFS has advantages like higher buffering time and reduced transport network load.

Ao longo dos últimos anos houve um enorme aumento de utilizadores da internet e de dispositivos móveis. Além disso, a população nas cidades tem crescido a uma taxa elevada. Ambos estes eventos combinados levaram a um enorme fluxo de informação e tráfego de rede nas áreas urbanas. Para atender à procura dos utilizadores, que consomem conteúdo constantemente, é necessária a implementação de uma infraestrutura capaz de satisfazer as necessidades dos utilizadores, principalmente em locais congestionados, como as cidades. Além disso, com o aparecimento do conceito Smart City, uma área tecnologicamente urbana que utiliza diferentes tecnologias e sensores para recolher dados, e utiliza esses dados para gerir recursos e serviços de modo a melhorar a qualidade de vida dos seus habitantes, adiciona ainda mais tráfego à rede. O principal objetivo desta dissertação é propor uma arquitetura para um Sistema de Distribuição de Conteúdos numa Smart City, fazendo uso dos edge nodes para colocar os conteúdos o mais próximo possível dos utilizadores. Esta arquitetura integra com a arquitetura pré-existente da infra-estrutura em Aveiro, que já conta com uma série de edge nodes e sensores, distribuidos por toda a cidade.O protocolo utilizado para implementar esta arquitetura foi o Interplanetary File System (IPFS). Foi implementada, em docker, uma rede de nós IPFS na forma de cluster. Foi ainda desenvolvida uma página web onde é disponibilizado todo o conteúdo. Esta página encontra-se em contacto com o Plex Media Server e com o IPFS, ambos os quais podem fornecer conteúdo à mesma, dependendo da tomada de decisão do Gestor de Conteúdos desenvolvido. Foi testado como o IPFS se comportaria em determinadas circunstâncias, num ambiente de laboratório controlado, emulando diversos cenários e serviços que poderiam acontecer na cidade, forçando também algumas métricas como atraso, perda de pacotes e largura de banda. A implementação do protocolo próximo do edge foi ainda comparado com o método tradicional de stream direto. No ATCLL a comunicação entre os User Equipments e os edge nodes é feita através de uma rede celular, e por essa razão, o sistema foi testado em cojunto com a rede celular 5G NSA do IT. Os testes mostraram que todas as métricas contribuem para o processo de seleção de peers do IPFS e que o streaming com IPFS tem vantagens como maior tempo de buffering e uma redução de carga na rede de transporte.