Orchestration strategies for time-constrained smart city services

Abstract

As the scale and complexity of a smart city infrastructure increases, so does the need for comprehensive orchestration strategies that maximize automation, efficiency, fault-tolerance, flexibility, and observability. However, this type of infrastructure inherently presents some challenges that must be considered before opting to deploy one of the existing orchestration solutions. For some types of critical smart city services, maintaining an upper bound for the time required for producing the results can be more important than the results themselves. Without careful planning and tuning, these timing constraints can frequently be violated due to interference from other applications running on the resource-constrained nodes that typically comprise a smart cities’ edge computing infrastructure. Deploying one of the freely available orchestration solutions, without modification, can actually exacerbate these issues by introducing overhead and mismanaging deployments due to not being able to discriminate between critical and low priority services. This dissertation proposes a three-pronged approach to address these issues. Firstly, the applications themselves should be designed using best practices that increase orchestration efficiency and minimize processing and communication latency. As a case study, a new ETSI C-ITS protocol stack was implemented using a microservice architecture that represents a paradigm shift in the way that C-V2X applications are designed, in how they interact with each other and with the VANET, and also in how they can be orchestrated in an efficient manner. Secondly, critical applications should be executed using specialised configurations that mitigate interference by other processes, such as Real-Time scheduling. A comprehensive experimental evaluation was performed in order to study the effects of several different runtime configurations on the performance of an application in an edge computing single board computer. Finally, smart city orchestration tools should be extended with domain-specific logic, new functionalities and dynamic orchestration that promote a more optimal placement of services in worker nodes and the long-term stability of the cluster. In order to validate their implementation, each component was individually tested on a virtualised cluster using bespoke methodologies for each one. Results show that all the components performed within the levels that were expected and, in general, exhibited significant improvements relative to Kubernetes’s default behaviour.

À medida que a escala e a complexidade da infraestrutura de uma cidade inteligente aumentam, também aumenta a necessidade da existência de estratégias de orquestração que maximizem a automação, eficiência, tolerância a falhas, flexibilidade, e observabilidade do sistema. No entanto, estes tipos de infraestruturas apresentam, por natureza, um conjunto de desafios que devem ser devidamente considerados. Para alguns tipos de serviços críticos de cidades inteligentes, manter um limite superior de tempo para a produção de resultados pode ser mais importante do que os resultados em si. Sem uma planificação cuidadosa, estas restrições temporais podem ser frequentemente violadas devido a interferência causada por outras aplicações que estejam a ser executadas no mesmo nó com recursos escassos, que tipicamente compõem a infraestrutura de computação na Edge de uma cidade inteligente. A instalação de uma solução de orquestração pré-existente, sem modificações, pode exacerbar estes problemas devido ao overhead introduzido e ao facto do lançamento dos serviços ser sub-ótimo, consequente da falta de discriminação entre serviços críticos e serviços pouco prioritários. Esta dissertação propõe uma estratégia tripartida para endereçar estes problemas. Em primeiro lugar, as próprias aplicações devem ser construídas de acordo com boas práticas que aumentam a eficiência do processo de orquestração e minimizam a latência de processamento e de comunicação. Como caso de estudo, foi implementada uma nova suite protocolar ETSI C-ITS utilizando uma arquitetura baseada em micro-serviços, que representa uma mudança de paradigma na forma como as aplicações C-V2X são implementadas, como comunicam com as redes veiculares e entre si, e como podem ser orquestradas de forma eficiente. Em segundo lugar, as aplicações críticas devem ser executadas com configurações especializadas para mitigar a interferência proveniente de outros processos, como, por exemplo, o escalonamento em tempo real. Foi realizada uma avaliação experimental detalhada com o objetivo de estudar os efeitos que a utilização de vários tipos diferentes de configurações de runtime têm no desempenho de uma aplicação a ser executada numa single board computer de computação edge. Finalmente, as ferramentas de orquestração para cidades inteligentes devem ser estendidas com lógica específica ao domínio e novas funcionalidades e de orquestração dinâmica, que promovem uma alocação mais ótima de serviços para nós, e a estabilidade do cluster a longo termo. Para validar o funcionamento da sua implementação, cada componente desenvolvido foi submetido a testes individuais e costumizados num cluster virtualizado. Os resultados demonstram que todos os componentes apresentam níveis de desempenho dentro do esperado e que, no geral, representam melhorias significativas face ao comportamento nativo do Kubernetes.