Hybrid CAVIAR Simulations and Reinforcement Learning Applied to 5G Systems: Experiments with Scheduling and Beam Selection

Aprendizado por reforço, do inglês Reinforcement Learning (RL), é um paradigma de aprendizagem adequado para problemas em que um agente tem que maximizar uma determinada recompensa, enquanto interage com um ambiente em constante mudança. Esta classe de problema aparece em diversos tópicos de pesquisa da 5a Geração (5G) e da 6a Geração (6G) das redes móveis. No entanto, a falta de conjuntos de dados ou ambientes disponíveis gratuitamente para treinar e avaliar os agentes de RL é um obstáculo prático que atrasa a adoção de RL em redes 5G e futuras. Esses ambientes devem ser capazes de fechar o chamado reality gap, onde os agentes de aprendizagem por reforço, treinados em ambientes virtuais, são capazes de generalizar suas decisões quando expostos a situações reais, nunca antes vistas. Portanto, este trabalho descreve uma metodologia de simulação denominada CAVIAR, ou Communication Networks, Artificial Intelligence and Computer Vision with 3D Computer-Generated Imagery, voltada para pesquisa sobre métodos de RL aplicados à camada física (PHY) dos sistemas de comunicações sem fio. Neste trabalho, essa metodologia de simulação é utilizada para gerar um ambiente para as tarefas de escalonamento de usuários e seleção de feixes, onde, a cada passo, o agente RL precisa escalonar um usuário e então escolher o índice de um codebook de beamforming para atendê-lo. Um aspecto fundamental desta proposta é que a simulação do sistema de comunicação e o software de inteligência artificial devem estar intimamente integrados, de modo que as ações realizadas pelo agente possam refletir de volta no loop de simulação. Esse aspecto torna a compensação de tempo de processamento versus realismo da simulação, um elemento a ser considerado. Este trabalho também descreve a modelagem dos sistemas de comunicação e agentes RL usados para experimentação, e apresenta estatísticas sobre a dinâmica do ambiente, como tráfego de dados, bem como resultados para sistemas baseline. Por fim, é discutido como os métodos descritos neste trabalho podem ser aproveitados no contexto do desenvolvimento de gêmeos digitais.