идентификация законов распределения величин по результатам измерений. Критерия согласия Пирсона

Идентификация законов распределения величин по результатам измерений. Критерий согласия Пирсона. Анализ существующих критериев согласия. ...

Оглавление 1. Введение. Основные понятия. ............................................................ 2
2. Теоретическая часть. ............................................................................ 5
2.1 Функция распределения и плотность вероятности. ......................... 5
2.2 Задачи решаемые с помощью критериев согласия. ....................... 11
2.2.1 Законы распределения. ............................................................... 11
2.2.2 Задача идентификации закона распределения погрешностей измерений. ....................................................................................................... 19
2.3 Анализ существующих критериев согласия. .................................. 24
2.4. Критерий согласия Пирсона ............................................................ 29
Расчётная Часть. Применение критерия Пирсона. .................................. 32
Выводы ......................................................................................................... 42
Использованная литература. ...................................................................... 43

1. ВВЕДЕНИЕ. ОСНОВНЫЕ ПОНЯТИЯ. Измерение – это нахождение значения физической величины опытным путем с помощью специальных технических средств. Познавательный процесс, заключающейся в сравнение путем физического эксперимента данной физической величины с известной физической величиной, принятой за единицу измерения. Найденное значение называют результатом измерения. Основными характеристиками измерений являются: принцип измерения, метод измерения, погрешность, точность, достоверность и правильность измерений. Принцип измерений – физическое явление или их совокупность, положенные в основу измерений. Метод измерений – совокупность принципов и средств измерений. Погрешность измерений – разность между полученным при измерении значением величины и ее истинным значением. Погрешность измерений св язана с несовершенством методов и средств измерений, с недостаточным опытом наблюдателя, с посторонними влияниями на результат измерения. Оценка и учет погрешностей измерений являются одним из самых важных разделов метрологии. Точность измерений – характеристика измерения, отражающая близость их результатов к истинному значению измеряемой величины. Количественно точность выражается величиной, обратной модулю относительной погрешности. Достоверность измерений – характеристика качества измерений, разделяющая все результаты на достоверные и недостоверные в зависимости от того, известны или неизвестны вероятностные характеристики их отклонений от истинных значений соответствующих величин. Результаты измерений, достоверность которых неизвестна, могут служить источником дезинформации. Правильность измерений – качество измерений, отражающее близость к нулю систематических погрешностей, т. е. погрешностей, которые остают
3
ся постоянными или закономерно изменяются в процессе измерения. Правильность измерений зависит от того, насколько верно (правильно) были выбраны методы и средства измерений. При любой степени совершенства и точности измерительной аппаратуры, рационально спланированной методике измерений, тщательности выполнения измерительных операций результат измерений отличается от истинного значения физической величины. Эти отклонения называют погрешностями измерений. Δ = х – Х, (1) где х – результат измерения, Х – истинное значение измеряемой величины. Это соотношение служит исходным для теоретического анализа погрешностей. На практике же из-за невозможности определить истинное значение вместо него берут действительное значение измеряемой величины, например, среднеарифметическое результатов наблюдений при измерениях с многократными наблюдениями. Истинным называется значение физической величины, идеальным образом характеризующее свойство данного объекта, как в количественном, так и качественном отношении. Оно не зависит от средств нашего познания и является той абсолютной истиной, к которой мы стремимся, пытаясь выразить её в виде числовых значений. Действительным называется значение физической величины, найденное экспериментально и настолько близкое к истинному, что в поставленной измерительной задаче оно может быть использовано вместо него. При технических измерениях в качестве такого значения принимают результат измерения полученный с применением измерительного средства более высокого класса точности, чем тот, для которого находится погрешность. Следует также различать погрешность результата измерения и погрешность средства измерений. Эти два понятия во многом близки друг к другу и классифицируются по одинаковым признакам.
4
Погрешность средства измерений – разность между показанием средства измерения и истинным (действительным) значением измеряемой физической величины. Она характеризует точность средства измерений (характеристику качества средства измерения, отражающую близость его погрешности к нулю). По характеру проявления погрешности делятся на случайные, систематические, прогрессирующие и промахи, или грубые погрешности. Случайная погрешность – составляющая погрешности измерения, изменяющаяся случайным образом (по знаку и значению) в серии повторных измерений одного и того же размера физической величины, проведенных с одинаковой тщательностью в одних и тех же условиях. В появлении таких погрешностей, изображенных на рис. 1 (а), не наблюдается какой-либо закономерности, они обнаруживаются при повторных измерениях одной и той же величины в виде некоторого разброса получаемых результатов. Случайные погрешности неизбежны, неустранимы и всегда присутствуют в результате измерения, однако их можно существенно уменьшить, увеличив число наблюдений. Систематическая погрешность – составляющая погрешности измерения, остающаяся постоянной или закономерно меняющаяся при повторных измерениях одной и той же физической величины. Постоянная и переменная систематические погрешности показаны на рис. 1 (б). Их отличительный признак заключается в том, что они могут быть предсказаны, обнаружены и благодаря этому почти полностью устранены введением соответствующей поправки. Прогрессирующая (дрейфовая) погрешность – это непредсказуемая погрешность, медленно меняющаяся во времени. Прогрессирующие погрешности могут быть скорректированы поправками только в данный момент времени, а далее вновь непредсказуемо изменяются. Их изменение во времени представляет собой нестационарный случайный процесс, поэтому в рамках
5
хорошо разработанной теории стационарных случайных процессов они могут быть описаны лишь с известными оговорками.
Рис. 1. Изменение: а – случайной, б – постоянной и переменной систематических погрешностей от измерения к измерению Прогрессирующая погрешность – это понятие, специфичное для нестационарного случайного процесса изменения погрешности во времени, оно не может быть сведено к понятиям случайной и систематической погрешностей.

Можно показать, что треугольный закон распределения погрешностей является композицией двух равномерных законов с одинаковыми дисперсиями. Такая композиция, например, имеет место при измерении временного интервала цифровым методом, если начало -38101076325измеряемого интервала не синхронизировано с последовательностью счетных импульсов (рис.8). При отсутствии синхронизации начало интервала может с одинаковой вероятностью попасть в интервал времени от нулевого до первого счетного импульса. Эта погрешность подчинена равномерному закону с предельными значениями 0 и То. Если интервал Тх не измерен, то случайные погрешности независимы, а закон распределения общей погрешности дискретизации Δtд треугольный с предельными значениями ±T0. Рис.9 Треугольный закон распределения: а – дифференциальная функция; б – интегральная функцияАрксинусоидальный закон распределенияПлотность вероятности этого закона имеет вид: (15)где a – параметр распределения.Интегральная функция F(x) арксинусоидального распределения выражается следующим уравнением: (16)Рис. 10 – Арксинусоидальный закон распределения: а – дифференциальная функция; б – интегральная функцияПо этому закону распределены погрешности электрических средств измерений как электрических, так и неэлектрических измеряемых величин, появляющихся от наводки на входе прибора или линии связи синусоидального напряжения силовых цепей с частотой 50 или 400 Гц. Распределение Вейбулла.Случайная величина распределена по закону Вейбулла, если она имеет плотность распределения (16)Функция распределения в этом случае определяется следующим выражением: (17)Семейство распределений Вейбулла является двухпараметрическим и описывает положительные случайные величины. Считается, что распределению Вейбулла подчиняются времена безотказной работы многих технических устройств. Если β = 1, то распределение Вейбулла превращается в экспоненциальное распределение, а если β = 2 – в так называемое распределение Рэлея.Рис. 11 Графики плотности и функции распределения Вейбулла.Гамма-распределение. Другим распределением, также достаточно хорошо описывающим времена безотказной работы различных технических устройств, является гамма-распределение с плотностью распределения (18)где Г(γ) = – гамма-функция Эйлера.Рис. 12 Графики плотности и функции гамма-распределения.Как видно из рисунков 11 и 12 распределение Вейбулла и гамма- распределение весьма близки между собой. Основным преимуществом распределения Вейбулла перед гамма-распределением является то, что его функция распределения выражается в явном виде. Поэтому раньше, когда ЭВМ еще не были достаточно распространены, распределение Вейбулла использовалось гораздо чаще, чем гамма-распределение. Хотя в общем случае гамма-распределение и не выражается в явном виде, оно обладает некоторыми весьма важными свойствами. Так, если γ = k, т. е. γ принимает целые значения, то мы получаем распределение Эрланга, находящее важные применения в теории массового обслуживания. Если же γ = k/2 – полуцелое, а λ = 1/2, то гамма-распределение превращается в так называемое распределение χ2 (хи-квадрат), роль которого в математической статистике невозможно переоценить; параметр k называется в этом случае числом степеней свободы распределения χ2 Наконец, при γ = 1 мы имеем дело все с тем же экспоненциальным распределением. 2.2.2 Задача идентификации закона распределения погрешностей измерений.Под задачей идентификации закона распределения наблюдаемой случайной величины (структурно-параметрической идентификации), как правило, понимают задачу выбора такой параметрической модели закона распределения вероятностей, которая наилучшим образом соответствует результатам экспериментальных наблюдений. Случайные ошибки средств измерений не так уж часто подчиняются нормальному закону, точнее, не так часто хорошо описываются моделью нормального закона. В основе измерительных приборов и систем лежат различные физические принципы, различные методы измерений и различные преобразования измерительных сигналов. Погрешности измерений как величины являются следствием влияния множества факторов, случайного и неслучайного характера, действующих постоянно или эпизодически. Поэтому понятно, что только при выполнении определенных предпосылок (теоретических и технических) погрешности измерений достаточно хорошо описываются моделью нормального закона.Истинный закон распределения (если он существует, что не обязательно), описывающий погрешности конкретной измерительной системы, остается неизвестным, не смотря на все попытки его идентифицировать. На основании данных измерений и теоретических соображений мы можем только подобрать вероятностную модель, которая в некотором смысле наилучшим образом приближает этот истинный закон. Это точно соотносится к основным законом метрологии, истинное значение величины невозможно определить, но оно существует и к нему можно приближаться сколь угодно близко. Если построенная модель закона распределения адекватна, то есть применяемые критерии не дают оснований для ее отклонения, то на основе данной модели можно вычислить все необходимые вероятностные характеристики случайной составляющей погрешности измерительного средства, которые будут отличаться от истинных значений только за счет неисключенной систематической (ненаблюдаемой или нерегистрируемой) составляющей погрешности измерений. Ее малость и характеризует правильность измерений.Множество возможных законов распределения вероятностей, которые можно использовать для описания наблюдаемых случайных величин, неограниченно. Бессмысленно ставить целью задачи идентификации нахождение истинного закона распределения наблюдаемой величины. Мы можем лишь решать задачу выбора наилучшей модели из некоторого множества. Например, из того множества параметрических законов и семейств распределений, которые используются в приложениях, и упоминание о которых можно найти в литературных источниках. Часть этих законов упомянута выше.Число моделей непрерывных законов распределений, используемых в задачах статистического анализа (при контроле качества, исследованиях надежности и т. д.), немногим превышает 100, а для описания наблюдаемых случайных величин в прикладных исследованиях в основном применяют порядка 30 параметрических законов и семейств распределений.Это не покрывает многообразия случайных величин, встречаемых на практике. Корректное применение критериев согласия часто приводит (и должно приводить) к отклонению гипотез о принадлежности выборки удобному и привычному закону распределения, например нормальному, так как законы реальных случайных величин, являющиеся следствием многочисленных причин, сложнее тех моделей, которые обычно используют для их описания. Следовательно, и модели должны быть более сложными.Целью первичной обработки экспериментальных наблюдений обычно является установление закона распределения, наиболее хорошо описывающего случайную величину, выборку которой наблюдают. Насколько хорошо наблюдаемая выборка описывается теоретическим законом, проверяют с использованием различных критериев согласия. Целью проверки гипотезы о согласии опытного распределения с теоретическим является стремление удостовериться в том, что данная модель теоретического закона не противоречит наблюдаемым данным и использование ее не приведет к существенным ошибкам при вероятностных расчетах. Некорректное использование критериев согласия может приводить к необоснованному принятию (чаще всего) или необоснованному отклонению проверяемой гипотезы.Исходные данные для выбора закона распределения получают из гистограммы. Для ее построения по результатам многократных наблюдений строят вариационный ряд – располагают результаты в порядке возрастания и выбирают минимальное и максимальное значения – крайние члены вариационного ряда. Предварительно исключаются грубые промахи. Отрезок xn – x1 между ними делят на m интервалов одинаковой протяженности d. По вариационному ряду определяют число т результатов, попавших в каждый интервал, а затем вычисляют относительные частоты ni/n.Относительные частоты являются оценками вероятности pi попадания результатов в данный интервал, т. е. pi = m/n. Нормированные по ширине интервала относительные частоты ni/nd могут служить оценкой среднего значения плотности вероятностей на интервале. Границы интервалов откладывают на числовой оси, а на каждом интервале строят столбик высотой ni/nd. По совокупности столбиков оценивают форму изменения плотности вероятностей. В пределе при п →∞ и d → 0 гистограмма превращается в плавную кривую.Методика построения эмперической кривой распределения.1. Исходной информацией для построения эмпирических кривых распределения является выборка, из которой исключены известные систематические погрешности.2. Первым шагом в построении эмпирических кривых распределения является построение по исправленным результатам измерений x1 , x2 , ... xn вариационного ряда (упорядоченной выборки) – последовательности значений результатов измерений, расположенных в порядке возрастания от наименьшего до наибольшего.3. Далее весь полученный диапазон Xmaх – Xmin - разбивается на оптимальное число m, как правило, одинаковых интервалов длиной:Δх =( Xmaх – Xmin)/m (19)Оптимальным является такое число интервалов m, при котором возможное максимальное сглаживание случайных флуктуаций данных сопровождается с минимальным искажением от сглаживания самой кривой искомого распределения. Для практического применения целесообразно использовать известные выражения:mmin = 0,55n0,4 (20)mmax = 1,25n0,4 (21)Они получены для наиболее часто встречающихся на практике распределений с эксцессом, находящимся в пределах от 1,8 до 6, т.е. от равномерного до распределения Лапласа.Рекомендуется брать нечетное число интервалов и не менее 5.4. Далее определяют интервалы группирования экспериментальных данных в виде:Δ1 = (x1, x1 + Δx)Δ2 = (x1 + Δx, x1 + 2Δx)……………………….Δn = (xn – Δx, xn)и подсчитывают число попаданий ni (частоты) результатов измерений в каждый интервал группирования. Сумма этих чисел должна равняться числу измерений.5. Отношение частоты ni к общему числу наблюдений n называют частостью, и каждый из интервалов группирования рассчитывается по формуле:P'i = ni/n где i =1, 2, ...m (22)6. Проведенные расчеты позволяют построить гистограмму и полигон. При выборе масштабов по осям абсцисс и ординат выдерживают соотношение P'imaх : R ≈ 5 :8, наиболее распространенное при изображении кривых распределения.Для построения полигона на оси абсцисс откладывают интервалы значений измеряемой величины. В серединах интервалов отмечают ординаты, пропорциональные частотам или частостям, и ординаты соединяют прямыми линиями.6057902177415В большинстве случаев конечной целью построения гистограммы является установление аналитической формы плотности вероятности. Для этого необходимо сначала определить аналитическую модель закона распределения. Выбор модели производят по форме гистограммы. В простейшем случае просто визуально подбирают аналитическую модель, форма графика которой похожа на гистограмму. На рис.13 приведено сопоставление эмпирической кривой с предполагаемым нормальным законом распределения.Рис. 13 Визуальное сопоставление гистограммы и предпологаемого закона распределения.2.3 Анализ существующих критериев согласия.Очень простым, но приближенным методом оценки согласия результатов эксперимента с тем или иным законом распределения является графический метод. Опытные данные наносят на так называемую вероятностную бумагу (специальным образом разграфленная бумага, построенная так, что график функции распределения изображается на ней прямой линией) и сравнивают с графиком принятой функции распределения. Если экспериментальные точки ложатся вблизи прямой со случайными отклонениями влево и вправо, то опытные данные соответствуют рассматриваемому закону распределения. Систематическое и значительное отклонения экспериментальных точек от аппроксимирующей прямой свидетельствует об ошибочности принятой модели для обоснования закона распределения исследуемой случайной величины.21082027940Рис. 14 График эмпирической функции распределения вариации измерений величины сопротивления резисторов одного номинала на нормальной вероятностной сеткеСуществуют и аналитические методы аппроксимации гистограммыСуществует ряд подходов, общим для которых является попытка идентифицировать вид закона распределения на основании значений оценок некоторых числовых характеристик, вычисляемых по выборочным данным. Например, по значениям оценок коэффициентов асимметрии и эксцесса , где – центральный момент случайной величины порядка r, . Подставив в выражения для коэффициентов асимметрии и эксцесса оценки соответствующих моментов, получим точку в плоскости(), положение которой укажет нам наиболее предпочтительный закон распределения. Так же часто используют коэффициент контрэксцесса .Найдя по результатам измерений значения асимметрии, эксцесса и контрэксцесса, можно сопоставить эти значения с известными из математической статистики значениям теоретического закона распределения и, таким образом, идентифицировать форму эмпирического закона. В таблице 1 приведены значения этих параметров для ряда законов распределения.Таблица 1 – Значения асимметрии, эксцесса и контрэксцесса для законов распределенияМетод привлекателен, получив результаты расчётов коэффициентов можно сразу указать вид закона (определить структуру модели). Однако работоспособность такого подхода на практике не выдерживает критики из-за плохой устойчивости оценок центральных моментов высоких порядков. Выборочные оценки таких моментов не являются робастными. Они очень чувствительны к незначительным отклонениям выборочных данных от предполагаемого закона, к наличию выбросов. Применение метода моментов требует наличия обширной информации. Известно, что для надежной оценки первого момента (математического ожидания) требуется выборка n > 30 , для оценки вторых моментов: n >100 , а при оценке третьих моментов требования к объему выборки становятся реально невыполнимыми: n =1000.В топологических методах при объемах выборок, типичных для задач метрологии, степень неопределенности при идентификации закона оказывается очень высокой. Действенность подхода можно продемонстрировать только на идеализированных модельных данных.При классическом подходе к структурно-параметрической идентификации закона распределения алгоритм выбора закона распределения, целиком базируется на аппарате математической статистики. Такой подход к идентификации закона распределения заключается в последовательной реализации следующей двухэтапной процедуры для каждого вида параметрической модели из рассматриваемого множества законов. На первом этапе процедуры на основании выборочных данных строится модель закона определенного вида (из рассматриваемого множества моделей), оцениваются параметры этой модели. На втором этапе оценивается степень адекватности полученной модели экспериментальным наблюдениям, как правило, с применением различных критериев согласия.Безусловно, классический подход базируется на более основательном математическом аппарате, включающем методы статистического анализа, учитывающие специфику решаемых задач и вид законов, входящих в рассматриваемое множество моделей. При таком подходе и корректном использовании методов статистического анализа выводы о наиболее подходящем законе распределения всегда будут более обоснованы, чем при топологическом.Топологический подход можно рекомендовать лишь как способ, позволяющий в первом приближении очертить некоторую группу моделей законов распределения, пригодную для описания наблюдаемой случайной величины.Проверка гипотезы о предполагаемом законе неизвестного распределения производится так же, как проверка гипотезы о параметрах распределения, т. е. при помощи специально подобранной случайной величины – критерия согласия.Критерий согласия называют критерий проверки гипотезы о предполагаемом законе неизвестного распределения.Среди наиболее известных критериев следует отметить критерии - ω2 (омега квадрат) Мизеса-Смирнова – мощный критерий, но сложный в расчетах;- χ2 (хи квадрат) Пирсона – достаточно достоверный при n > 50 и m > 5;- D (ди) Колмогорова-Смирнова – быстрая, но не очень точная оценка при n > 35 .Сравнение критериев согласия.Недостатком критерия согласия Пирсона является потеря части первоначальной информации, связанная с необходимостью группировки результатов наблюдений в интервалы и объединения отдельных интервалов с малым числом наблюдений. В связи с этим рекомендуется дополнять проверку соответствия распределений по критерию χ2другими критериями. Особенно это необходимо при сравнительно малом объеме выборки (n ≈ 100).Проверка статистических гипотез о согласии эмпирических данных с теоретическим законом распределения с применением критериев согласия типа χ2 обусловлена рядом условий, которые обеспечивают корректное решение задачи. Не во всяком источнике, который используется в качестве руководства исследователем, находят отражение эти условия. Вследствие этого, не смотря на кажущуюся простоту, практика использования критериев согласия типа χ2 изобилует примерами его некорректного или неэффективного применения, особенно при проверке сложных гипотез.При использовании критериев согласия типа χ2 неоднозначность в построении и вычислении статистик связана с выбором числа интервалов и с тем, каким образом область определения случайной величины разбивается на интервалы (с выбором граничных точек интервалов). Такой произвол отражается на статистических свойствах применяемых критериев согласия и, в частности, на мощности критериев, на их способности различать близкие конкурирующие гипотез. Выбор числа интервалов и способа разбиения на интервалы следует осуществлять с позиций обеспечения максимальной мощности применяемого критерия. Однако этому не уделяется внимания ни в регламентирующих документах, ни в литературных источниках.Способ группирования оказывает особенно сильное влияние на предельное распределение. Мощность критериев типа χ2 также существенно зависит от числа интервалов k. Известно, что, начиная с некоторого значения, при дальнейшем росте числа интервалов k мощность падает. Вообще говоря, для каждой пары альтернатив можно подобрать оптимальное значение числа интервалов, которое зависит от этой пары альтернатив, способа группирования и объема выборки n. Для определения числа интервалов предлагалось достаточно много эмпирических формул. При выводе и построении этих формул опирались на различные требования, но никогда – на требование максимальной мощности. На основании этих формул получают различные, возрастающие с ростом объема выборки рекомендуемые числа интервалов. Причем, далеко не оптимальные, чаще всего существенно завышенные.Критерий Колмогорова - Смирнова базируется на распределении максимального отклонения накопленной частности от значения функции распределения. Его существенным преимуществом перед критерием Пирсона является отсутствие этапа группировки и соответственно потери информации. Он применяется для негруппированных данных или для группированных в случае малой ширины интервала (например, равной цене деления шкалы измерителя, счетчика циклов нагружения и т.д.). Критерий согласия Колмогорова - Смирнова в своем классическом виде является более мощным, чем критерий χ2 и может быть использован для проверки гипотезы о соответствии эмпирического распределения любому теоретическому непрерывному распределению F(x) с заранее известными параметрами. Последнее обстоятельство накладывает ограничения на возможность широкого практического приложения этого критерия при анализе результатов механических испытаний, так как параметры функции распределения характеристик механических свойств, как правило, оценивают по данным самой выборки.