Принцип максимума энтропии

-

Принцип максимальной энтропии - это понятие теории вероятности, представляющее собой утверждение, что распределение вероятностей, которое наилучшим образом отражает текущее состояние данных - это распределение с наибольшей информационной энтропией.
В анализе данных этот принцип используется для построения статистических классификаторов.
С практической точки зрения, чем выше энтропия как мера неопределённости, тем сложнее делать предсказания класса. Поэтому можно предположить, что для улучшения качества классификации энтропию множества нужно уменьшать. В пределе мы получим единственный класс, предсказание которого будет полностью достоверным.
Противоположной будет ситуация, когда классы равновероятны и неопределённость классификации максимальна, как и энтропия.
Класс Показать все ификаторы на основе критерия максимума энтропии похожи на логистическую регрессию. Только минимизируется в этом случае не логарифмическое правдоподобие, а энтропия. Принцип был впервые изложен Э. Т. Джейнсом в 1957 г.
Существует две трактовки принципа максимума энтропии. В первой трактовке этот принцип гласит, что система самопроизвольно приходит к такому распределению параметров, в котором шенноновская энтропия распределения максимальна. При этом распределение дополнительно должно соответствовать условиям, накладываемым структурой и правилами системы. На основании этой трактовки можно, например, найти форму распределения молекул газа по их энергии - если допустить, что молекулы содержатся в замкнутом и изолированном от внешнего мира сосуд Скрыть

Работа сделана мною лично, зачтено на 5