Akademik

- функция от случайных величин, применяемая для оценки неизвестных параметров теоретич. распределения вероятностей. Методы теории О. с. служат основой современной теории ошибок; обычно в качестве неизвестных параметров выступают измеряемые физич. постоянные, а в качестве случайных величин - результаты непосредственных измерений, подверженные случайным ошибкам. Напр., если - независимые одинаково нормально распределенные случайные величины (результаты равноточных измерений, подверженных независимым нормально распределенным случайным ошибкам), то в качестве О. с. для неизвестного среднего значения а (приближенного значения измеряемой физич. постоянной) применяется среднее арифметическое

О. с. как функция от случайных величин чаще всего задается теми или иными формулами, выбор к-рых определяется требованиями практики. При этом различают оценки точечные и оценки интервальные.

Точечные оценки. Точечной оценкой наз. такая О. с., значение к-рой представимо геометрически в виде точки в том же пространстве, что и значения неизвестных параметров (размерность пространства равна числу оцениваемых параметров). Именно точечные О. с. и используются как приближенные значения для неизвестных физич. величин. В дальнейшем для простоты предполагается, что оценке подлежит один единственный параметр; в этом случае точечная О. с. представляет собой функцию от результатов наблюдений, принимающую числовые значения.

Точечную О. с. наз. несмещенной, если ее математич. ожидание совпадает с оцениваемой величиной, т. е. если О. с. лишена систематич. ошибки. Среднее арифметическое (1) - несмещенная О. с. для математич. ожидания одинаково распределенных случайных величин X_i (не обязательно нормальных). В то же время выборочная дисперсия

является смещенной О. с. для дисперсии , так как ; в качестве несмещенной О. с. для s² обычно берут функцию

См. также Несмещенная оценка.

За меру точности несмещенной О. с. а для параметра ачаще всего принимают дисперсию Da.

О. с. с наименьшей дисперсией наз. наилучшей. В приведенном примере среднее арифметическое (1) - наилучшая О. с. Однако если распределение вероятностей случайных величин X_i отлично от нормального, то О. с. (1) может и не быть наилучшей. Напр., если результаты наблюдений Х _i распределены равномерно в интервале (b, с), то наилучшей О. с. для математич. ожидания а=(b+с)/2 будет полусумма крайних значений

(3)

В качестве характеристики для сравнения точности различных О. с. применяют эффективность - отношение дисперсий наилучшей оценки и данной несмещенной оценки. Напр., если результаты наблюдений Х _i распределены равномерно, то дисперсии оценок (1) и (3) выражаются формулами

и (4)

Так как оценка (3) наилучшая, то эффективность оценки (1) в данном случае есть

При большом количестве наблюдений побычно требуют, чтобы выбранная О. с. стремилась по вероятности к истинному значению параметра а, т. е. чтобы для всякого e > 0

такие О. с. наз. состоятельными (пример состоятельной О. с,- любая несмещенная оценка, дисперсия к-рой при стремится к нулю; см. также Состоятельная оценка). Поскольку важную роль при этом играет порядок стремления к пределу, то асимптотически наилучшими являются асимптотически эффективные О. с., то есть такие О. с., для к-рых при

Напр., если распределены одинаково нормально, то О. с. (2) представляет собой асимптотически эффективную оценку для неизвестного параметра , так как при дисперсия оценки и дисперсия наилучшей оценки асимптотически эквивалентны:

и, кроме того,

Фундаментальное значение для теории О. с. и ее приложений имеет тот факт, что квадратичное отклонение О. с. для параметра аограничено снизу нек-рой величиной (этой величиной Р. Фишер (R. Fischer) предложил характеризовать количество информации относительно неизвестного параметра a, содержащийся в результатах наблюдений). Напр., если независимы и одинаково распределены с плотностью вероятности р(х; а).и если - О. с. для нек-рой функции g(a).от параметра а, то в широком классе случаев

где

Функцию b(а) наз. смещением, а величину, обратную правой части неравенства (5), наз. количеством информации (по Фишеру) относительно функции g(a), содержащейся в результате наблюдений. В частности, если а - несмещенная О. с. параметра а, то ,

и

(6)

причем количество информации nIa в этом случае пропорционально количеству наблюдений (функцию I(а).наз. количеством информации, содержащейся в одном наблюдении).

Основные условия, при к-рых справедливы неравенства (5) и (6), - гладкость оценки акак функции от X_i, а также независимость от параметра амножества тех точек х, где р( х, а)=0. Последнее условие не выполняется, напр., в случае равномерного распределения, и поэтому дисперсия О. с. (3) не удовлетворяет неравенству (6) [согласно (4) эта дисперсия есть величина порядка n^-2, в то время как по неравенству (6) она не может иметь порядок малости выше, чем п ^-1].

Неравенства (5) и (6) справедливы и для дискретно распределенных случайных величин X_i нужно лишь в определении информации I(а).плотность р(х; а).заменить вероятностью события {Х=х}.

Если дисперсия несмещенной О. с. a* для параметра асовпадает с правой частью неравенства (6), то - наилучшая оценка. Обратное утверждение, вообще говоря, неверно: дисперсия наилучшей О. с. может превышать . Однако если , то дисперсия наилучшей оценки асимптотически эквивалентна правой части (6), т. е. . Таким образом, с помощью количества информации (по Фишеру) можно определить асимптотич. эффективность несмещенной О. с. а, полагая

(7)

Особенно плодотворным информационный подход к теории О. с. сказывается тогда, когда плотность (в дискретном случае - вероятность) совместного распределения случайных величин пред-ставима в виде произведения двух функций h(x₁,х ₂,...,х _п).[у( х ₁, х ₂,..., х _n);а], из к-рых первая не зависит от а, а вторая представляет собой плотность распреде-деления нек-рой случайной величины Z=y(X₁, Х ₂,..., Х _п), наз. достаточной статистикой или исчерпывающей статистикой.

Один из наиболее распространенных методов нахождения точечных О. с.- моментов метод. Согласно этому методу, теоретич. распределению, зависящему от неизвестных параметров, ставят в соответствие дискретное выборочное распределение, к-рое определяется результатами наблюдений X_i и представляет собой распределение вероятностей воображаемой случайной величины, принимающей значения с одинаковыми вероятностями, равными 1/n (выборочное распределение можно рассматривать как точечную О. с. для теоретич. распределения). В качестве О. с. для моментов теоретич. распределения принимают соответствующие моменты выборочного распределения; напр., для математич. ожидания аи дисперсии s² метод моментов дает следующие О. с.: выборочное среднее (1) и выборочную дисперсию (2). Неизвестные параметры обычно выражаются (точно или приближенно) в виде функций от нескольких моментов теоретич. распределения. Заменяя в этих функциях теоретич. моменты выборочными, получают искомые О. с. Этот метод, часто приводящий на практике к сравнительно простым вычислениям, дает, как правило, О. с. невысокой асимптотической эффективности (см. выше пример оценки математического ожидания равномерного распределения).

Другой метод нахождения О. с., более совершенный с теоретич. точки зрения,- максимального правдоподобия метод, или наибольшего правдоподобия метод. Согласно этому методу, рассматривают функцию правдоподобия L(а), к-рая представляет собой функцию неизвестного параметра аи получается в результате замены в плотности совместного распределения аргументов x_i самими случайными величинами X_i; если X_i- независимы и одинаково распределены с плотностью вероятности р(x; а), то

(если X_i распределены дискретно, то в определении функции правдоподобия Lследует плотности заменить вероятностями событий ). В качестве О. с. максимального правдоподобия для неизвестного параметра апринимают такую величину a, для к-рой L(a) достигает наибольшего значения (при этом часто вместо Lрассматривают т. н. логарифмическую функцию правдоподобия ; в силу монотонности логарифма точки максимумов функций L(a).и l(a) совпадают). Примерами О. с. максимального правдоподобия являются оценки по наименьших квадратов методу.

Основное достоинство О. с. максимального правдоподобия заключается в том, что при нек-рых общих условиях эти оценки состоятельны, асимптотически эффективны и распределены приближенно нормально.

Перечисленные свойства означают, что если a есть О. с. максимального правдоподобия, то при

(если Xнезависимы, то ). Таким образом, для функции распределения нормированной О. с. имеет место предельное соотношение

(8)

Преимущества О. с. максимального правдоподобия оправдывают вычислительную работу по отысканию максимума функции L(или l). В нек-рых случаях вычислительная работа существенно сокращается благодаря следующим свойствам: во-первых, если a* - такая О. с., для к-рой неравенство (6) обращается в равенство, то О. с. максимального правдоподобия единственна и совпадает с a*, во-вторых, если существует достаточная статистика Z, то О. с. максимального правдоподобия есть функция Z.

Пусть, напр., независимы и распределены одинаково нормально так, что

поэтому

Координаты а= а ₀ и s= s₀ точки максимума функции I( а,s).удовлетворяют системе уравнений

Таким образом, и, значит, в данном случае О. с. (1) и (2) - оценки максимального правдоподобия, причем - наилучшая О. с. параметра а, распределенная нормально (, ), а - асимптотически эффективная О. с. параметра s², распределенная при больших пприближенно нормально (). Обе оценки представляют собой независимые достаточные статистики.

Еще один пример, в к-ром

Эта плотность удовлетворительно описывает распределение одной из координат частиц, достигших плоского экрана и вылетевших из точки, расположенной вне экрана (a - координата проекции источника на экран- предполагается неизвестной). Для указанного распределения математич. ожидание не существует, т. к. соответствующий интеграл расходится. Поэтому отыскание О. с. для аметодом моментов невозможно. Формальное применение в качестве О. с. среднего арифметического (1) лишено смысла, т. к. распределено в данном случае с той же плотностью р(х; a), что и каждый единичный результат наблюдений. Для оценки аможно воспользоваться тем обстоятельством, что рассматриваемое распределение симметрично относительно точки х=а и, значит, а - медиана теоретич. распределения. Несколько видоизменяя метод моментов, в качестве О. с. для апринимают т. н. выборочную медиану m, к-рая при является несмещенной О. с. для a, причем если пвелико, то m распределена приближенно нормально с дисперсией

В то же время

поэтому и, значит, согласно (7) асимптотич. эффективность равна . Таким образом, для того чтобы выборочная медиана m была столь же точной О. с. для a, как и оценка наибольшего правдоподобия a, нужно количество наблюдений увеличить на 25%. Если затраты на эксперимент велики, то для определения аследует воспользоваться О. с. а, к-рая в данном случае определяется как корень уравнения

В качестве первого приближения выбирают a₀=u и далее решают это уравнение последовательными приближениями по формуле

См. также Точечная оценка.

Интервальные оценки. Интервальной оценкой наз. такая О. с., к-рая геометрически представима в виде множества точек, принадлежащих пространству параметров. Интервальную О. с. можно рассматривать как множество точечных О. с. Это множество зависит от результатов наблюдений и, следовательно, оно случайно; поэтому каждой интервальной О. с. ставится в соответствие вероятность, в к-рой эта оценка "накроет" неизвестную параметрич. точку. Такая вероятность, вообще говоря, зависит от неизвестных параметров; поэтому в качестве характеристики достоверности интервальной О. с. принимают коэффициент доверия - наименьшее возможное значение указанной вероятности. Содержательные стати-стич. выводы позволяют получать лишь те интервальные О. с., коэффициент доверия к-рых близок к единице.

Если оценивается один параметр a, то интервальной О. с. обычно является нек-рый интервал (b, g).(т. н. доверительный интервал), конечные точки к-рого (b и g представляют собой функции от результатов наблюдений; коэффициент доверия со в данном случае определяется как нижняя грань вероятности одновременного осуществления двух событий {b < a} и (g > a}, вычисляемая по всем возможным значениям параметра a:

Если середину такого интервала принять за точечную О. с. для параметра a, то с вероятностью не менее чем со можно утверждать, что абсолютная погрешность этой О. с. не превышает половины длины интервала . Иными словами, если руководствоваться указанным правилом оценки абсолютной погрешности, то ошибочное заключение будет получаться в среднем менее чем в случаев. При фиксированном коэффициенте доверия со наиболее выгодны кратчайшие доверительные интервалы, для к-рых математич. ожидание длины достигает наименьшего значения.

Если распределение случайных величин X_i зависит только от одного неизвестного параметра а, то построение доверительного интервала обычно осуществляется с помощью какой-либо точечной О. с. а. Для большинства практически интересных случаев функция распределения разумно выбранной О. с. а монотонно зависит от параметра а. В этих условиях для отыскания интервальной О. с. следует в F(х; а )подставить х=a. и определить корни а ₁= a₁(a, w) и а ₂=a₂(a, w) уравнений

(9) где

[для непрерывных распределений ]. Точки с координатами и ограничивают доверительный интервал с коэффициентом доверия w. Разумеется, интервал, построенный столь простым способом, во многих случаях может отличаться от оптимального (кратчайшего). Однако если a - асимптотически эффективная О. с. для a, то при достаточно большом количестве наблюдений такая интервальная О. с. практически несущественно отличается от оптимальной. В частности, это верно для О. с. наибольшего правдоподобия, т. к. она распределена асимптотически нормально (см. (8)). В тех случаях, когда решение уравнений (9) затруднительно, интервальную О. с. вычисляют приближенно с помощью точечной О. с. максимального правдоподобия и соотношения (8):

где х - корень уравнения

Если , то истинный коэффициент доверия интервальной оценки стремится к w. В более общем случае распределение результатов наблюдений X_i - зависит от нескольких параметров а, b,.... В этих условиях указанные выше правила построения доверительных интервалов часто оказываются неприменимыми, т. к. распределение точечной О. с. a, зависит, как правило, не только от a, но и от остальных параметров. Однако в практически интересных случаях О. с. a можно заменить такой функцией от результатов наблюдений X_i и неизвестного параметра я, распределение к-рой не зависит (или "почти не зависит") от всех неизвестных параметров. Примером такой функции может служить нормированная О. с. максимального правдоподобия ; если в знаменателе аргументы a, b,... заменить их оценками максимального правдоподобия a, b,. . . , то предельное распределение останется тем же самым, что и в формуле (8). Поэтому приближенные доверительные интервалы для каждого параметра в отдельности можно строить так же, как и в случае одного параметра.

Как уже отмечалось выше, если ,... - независимые и одинаково нормально распределенные случайные величины, то и s² - наилучшие О. с. для параметров a и s² соответственно. Функция распределения О. с. выражается формулой

и, следовательно, она зависит не только от a, но также и от s. В то же время распределение т. н. отношения Стьюдента

не зависит ни от a, ни от s, причем

где постоянная выбирается так, чтобы выполнялось равенство . Таким образом, доверительному интервалу

соответствует коэффициент доверия

Распределение оценки s² зависит лишь от s², причем функция распределения О. с. s² аадается формулой

где постоянная D_n-1 определяется условием (так наз. -распределением с п-1степенями свободы).

Так как с ростом s вероятность монотонно возрастает, то для построения интервальной О. с. применимо правило (9). Таким образом, если х ₁ и x₂ - корни уравнений и = , то доверительному интервалу

соответствует коэффициент доверия w. Отсюда, в частности, следует, что доверительный интервал для относительной ошибки задается неравенствами

Подробные таблицы функций распределения Стьюдента и -распределения имеются в большинстве руководств по математич. статистике.

До сих пор предполагалось, что функция распределения результатов наблюдений известна с точностью до значений нескольких параметров. Однако в приложениях часто встречается случай, когда вид функции распределения неизвестен. В этой обстановке для оценки параметров могут оказаться полезными т. н. непараметрические методы статистики (т. е. такие методы, к-рые не зависят от исходного распределения вероятностей). Пусть, напр., требуется оценить медиану ттеоретич. непрерывного распределения независимых случайных величин X₁, Х ₂,..., Х _п (для симметричных распределений медиана совпадает с математич. ожиданием, если, конечно, оно существует). Пусть Y₁ - те же величины X_i но расположенные в порядке возрастания. Тогда, если k - целое число, удовлетворяющее неравенствам n/2, то

Таким образом, - интервальная О. с. для тс коэффициентом доверия w=w_n,k. Этот вывод верен при любом непрерывном распределении случайных величин X_i.

Выше отмечалось, что выборочное распределение - точечная О. с. для неизвестного теоретич. распределения. Более того, функция Выборочного распределения F_n(x).- несмещенная О. с. для функции теоретич. распределения F(x). При этом, как показал А. Н. Колмогоров, распределение статистики

не зависит от неизвестного теоретич. распределения и при стремится к предельному распределению К(у), к-рое наз. распределением Колмогорова. Таким образом, если у - решение уравнения К(y)=w, то с вероятностью w можно утверждать, что график функции теоретич. распределения F(у).целиком "покрывается" полосой, заключенной между графиками функций (при различие допредельного и предельного распределений статистики l_n практически несущественно). Такую интервальную О. с. наз. доверительной зоной. См. также Интервальная оценка.

Статистические оценки в теории ошибок. Теория ошибок - раздел математич: статистики, посвященный численному определению неизвестных величин по результатам измерений. В силу случайного характера ошибок измерений и, быть может, случайной природы самого изучаемого явления не все такие результаты равноправны: при повторных измерениях нек-рые из них встречаются чаще, другие - реже.

В основе теории ошибок лежит математич. модель, согласно к-рой до опыта совокупность всех мыслимых результатов измерения трактуется как множество значений нек-рой случайной величины. Поэтому важную роль приобретает теория О. с. Выводы теории ошибок носят статистич. характер. Смысл и содержание таких выводов (как, впрочем, и выводов теории О. с.) проявляются лишь в свете закона больших чисел (пример такого подхода - статистич. толкование смысла коэффициента доверия, указанного выше).

Полагая результат измерения Xслучайной величиной, различают три основных типа ошибок измерений: систематические, случайные и грубые (качественные описания таких ошибок даны в ст. Ошибок теория). При этом ошибкой измерения неизвестной величины аназ. разность X-а, математич. ожидание этой разности E( Х-а)=b наз. систематической ошибкой (если b=0, то говорят, что измерения лишены систематич. ошибок), а разность d=Х- а-b наз. случайной ошибкой . Таким образом, если приведено пнезависимых измерений величины a, то их результаты можно записать в виде равенств

(10)

где аи b- постоянные, a d_i - случайные величины. В более общем случае

(11)

где b_i - не зависящие от d_i случайные величины, к-рые равны нулю с вероятностью, весьма близкой к единице (поэтому всякое другое значение маловероятно). Величину b_i наз. грубой ошибкой.

Задача оценки (и устранения) систематич. ошибки обычно выходит за рамки математич. статистики. Исключения составляют т. н. метод эталонов, согласно к-рому для оценки bпроизводят серию измерений известной величины а(в этом методе b - оцениваемая величина и а - известная систематич. ошибка), а также дисперсионный анализ, позволяющий оценивать систематич. расхождения между несколькими сериями измерений.

Основная задача теории ошибок - отыскивание О. с. для неизвестной величины аи оценка точности измерений. Если систематич. ошибка устранена (b=0) и наблюдения грубых ошибок не содержат, то согласно (10) Х _i=a+d_i и, значит, в этом случае задача оценки асводится к отысканию в том или ином смысле оптимальной О. с. для математич. ожидания одинаково распределенных случайных величин X_i. Как было показано в предыдущих разделах, вид такой О. с. (точечной или интервальной) существенно зависит от закона распределения случайных ошибок. Если этот закон известен с точностью до нескольких неизвестных параметров, то для оценки, а также для оценки аможно применять, напр., метод максимального правдоподобия; в противном случае следует сначала по результатам наблюдений Х _i найти О. с. для неизвестной функции распределения случайных ошибок d_i ("непараметрическая" интервальная О. с. такой функции указана выше). В практич. работе часто довольствуются двумя О. с. и (см. (1) и (2)). Если d_i распределены одинаково нормально, то эти О. с. наилучшие; в других случаях эти оценки могут оказаться малоэффективными.

Наличие грубых ошибок усложняет задачу оценки параметра а. Обычно доля наблюдений, в к-рых бывает невелика, а математич. ожидание ненулевых |b_i| значительно превышает (грубые ошибки возникают в результате случайного просчета, неправильного чтения показаний измерительного прибора и т. п.). Результаты измерений, содержащие грубые ошибки, часто бывают хорошо заметны, т. к. они сильно отличаются от других результатов измерений. В этих условиях наиболее целесообразный способ выявления (и устранения) грубых ошибок - непосредственный анализ измерений, тщательная проверка неизменности условий всех экспериментов, запись результатов "в две руки" и т. д. Статистич. методы выявления грубых ошибок следует применять лишь в сомнительных случаях.

Простейший пример таких методов - статистпч. выявление одного резко выделяющегося наблюдения, когда подозрительным может оказаться либо Y₁=minX₁, либо Y _п=mахХ _i (предполагается, что в равенствах (11) b=0 и закон распределения величин d_i известен). Для того чтобы выяснить, обосновано ли предположение о наличии одной грубой ошибки, для пары Y₁, Y_n вычисляют совместную интервальную О. с. (доверительную область), полагая все b_i равными нулю. Если эта О. с. "накрывает" точку с координатами (Y₁, Y_n), то подозрение о наличии грубой ошибки следует считать статистически необоснованным; в противном случае гипотезу о присутствии грубой ошибки надо признать подтвердившейся (при этом обычно забракованное наблюдение отбрасывают, т. к. сколько-нибудь надежно оценить величину грубой ошибки по одному наблюдению статистически не представляется возможным).

Пусть, напр., анеизвестно, b=0 и d_i независимы и распределены одинаково нормально (дисперсия неизвестна). Если все b_i=0, то распределение случайной величины

но зависит от неизвестных параметров (О. с. Xи вычисляются по всем пнаблюдениям согласно формулам (1) и (2)). Для больших значений

где w_r (t) -функция распределения Стьюдента, определенная выше.

(12)

Таким образом, с коэффициентом доверия можно утверждать, что при отсутствии грубой ошибки выполняется неравенство Z< zили, что то же самое,

(Погрешность оценки коэффициента доверия по формуле (12) не превышает w²/2.) Поэтому если все результаты измерений X_i лежат в пределах то нет оснований считать какое-нибудь измерение содержащим грубую ошибку.

Лит.:[1] Крамер Г., Математические методы статистики, пер. с англ., 2 изд., М., 1975, гл. 33, 34; [2] Дунин - Барконский И. В., Смирнов Н. В., Теория вероятностей и математическая статистика в технике. (Общая часть), М., 1955; [3] Липник Ю. В., Метод наименьших квадратов и основы математико-статистической теории обработки наблюдений, 2 изд., М., 1У62; [4]Ван дер Варден Б. Л., Математическая статистика, пер. с нем., М.. 1960;[5] Арлей Н., Бух К. Р., Введение в теорию вероятностей и математическую статистику, пер. с англ., М., 1951; [0] Колмогоров А. Н., "Изв. АН СССР. Сер. матем.", 1942, т. 6, № 1-2, с. 3-32.

Л. Н. Большев.