Otimização não linear de mínimos quadrados

Abstract

O problema de otimização de mínimos quadrados é apresentado como uma classe importante de problemas de minimização sem restrições. A importância dessa classe de problemas deriva das bem conhecidas aplicações à estimação de parâmetros no contexto das análises de regressão e de resolução de sistemas de equações não lineares. Apresenta-se uma revisão dos métodos de otimização de mínimos quadrados lineares e de algumas técnicas conhecidas de linearização. Faz-se um estudo dos principais métodos de gradiente usados para problemas não lineares gerais: Métodos de Newton e suas modificações incluindo os métodos Quasi-Newton mais usados (DFP e BFGS). Introduzem-se depois métodos específicos de gradiente para problemas de mínimos quadrados: Gauss-Newton e Levenberg-Marquardt. Apresenta-se uma variedade de exemplos selecionados na literatura para testar os diferentes métodos usando rotinas MATLAB. Faz-se uma análise comparativa dos algoritmos baseados nesses ensaios computacionais que exibem as vantagens e desvantagens dos diferentes métodos.

The least squares optimization problem is presented as an important class of unconstrained minimization problems. The importance of that class of problems is due to the well-known applications to parameter estimation in the context of regression analysis and from methods for solving systems of nonlinear equations. A review of linear least squares optimization methods and some linearization techniques is carried out. A study of the major gradient methods used for general nonlinear problems is presented: Newton Methods and its modifications, including the frequently used Quasi-Newton methods (DFP and BFGS). Some specific gradient methods for non-linear least squares problems: Gauss-Newton and Levenberg-Marquardt methods. Several selected examples are used for testing the methods using MATLAB routines. Finally, based on those computational tests, a comparative analysis of the algorithms is made in order to highlight the advantages and disadvantages of the different methods.