O princípio da minimização da entropia do erro - MEE - foi recentemente
proposto como um novo paradigma de aprendizagem, no qual uma medida da
entropia do erro é usada como funcional de risco. O princípio pode ser
usado, por exemplo, para o treino de redes neuronais, tendo sido
inicialmente aplicado a problemas de regressão e em anos mais recentes,
ao treino de classificadores baseados em redes neuronais. Neste
seminário apresentam-se os principais resultados relacionados com a
utilização de duas definições de entropia: Shannon e Rényi.
Apresentam-se também duas novas funções de custo para o treino de redes
neuronais: a maximização da densidade na origem e a sua versão
generalizada sob a forma de uma função exponencial dependente de um
único parâmetro, podendo este ser ajustado por forma a emular uma
família infinita de funcionais de risco. São também apresentados os
principais resultados obtidos de uma análise teórica cuidada ao
princípio da minimização da entropia do erro em classificação de dados,
analisando os casos de máquinas tipo partição única e perceptrão. Esta
análise permite uma melhor compreensão dos comportamentos e evidenciar
as diferenças entre o MEE teórico e o MEE prático. |