Статистические модели случайных явлений

1. СТАТИСТИЧЕСКИЕ МОДЕЛИ СЛУЧАЙНЫХ ЯВЛЕНИЙ

1.1. Случайные величины

1.1.1 Функции распределения вероятностей случайных величин

Простейшая модель физического эксперимента - последовательность независимых опытов (испытаний), когда в результате каждого очередного испытания произойдет, либо не произойдет некоторое событие. Иначе говоря, в каждом испытании имеет место один из двух возможных исходов или с вероятностью соответственно и . В последовательности независимых испытаний событие может произойти раз с вероятностью

.

Итак, можно говорить, что некоторая дискретная случайная величина принимает одно из значений с вероятностью . Эта совокупность вероятностей и называется распределением вероятностей дискретной случайной величины :

Пример реального физического явления, моделью которого является приведенное выше биномиальное распределение, _ последовательность передаваемых информационных символов 0 или 1:

Здесь - вероятность ошибочного приема любого символа в -разрядной комбинации; - вероятность того, что число ошибочно принятых символов равно .

Для непрерывной случайной величины не удается ввести подобное распределение вероятностей. Непрерывная случайная величина является простейшей моделью непрерывного случайного процесса (СП), рассматриваемого в определенный момент времени.

Произвольная -я реализация случайного процесса имеет вид:

При этом _ значение случайной величины , являющейся выборочным значением случайного процесса в момент времени .

Универсальным как для дискретных, так и для непрерывных случайных величин является понятие функции распределения вероятностей (интегральной функции распределения):

где символ означает вероятность события .

Для непрерывной случайной величины функция непрерывна:

Для дискретной случайной величины:

Плотность вероятности (дифференциальная функция распределения) случайной величины :

.

Для непрерывной случайной величины функция непрерывна:

При этом:

.

Для дискретной случайной величины :

.

Плотность вероятности смешанной случайной величины содержит как непрерывную, так и дискретную части:

,

причем:

.

Рассмотрим пример: прохождение непрерывного случайного процесса через нелинейное безынерционное устройство с характеристикой вида :

Имеем . Эта запись означает, что каждому значению случайной величины соответствует определенное значение случайной величины, причем в рассматриваемом примере

Тогда

При этом, очевидно,

В то же время дискретная часть плотности вероятности величины :

Тогда функция распределения величины имеет вид:

На приведенном выше рисунке, составляющие дискретной части плотности вероятности , содержащие - функции, условно показаны вертикальными стрелками красного цвета.

1.1.2. Числовые характеристики случайных величин

Основными числовыми характеристиками случайных величин являются моменты распределения - начальные и центральные. Начальные моменты -го порядка (соответственно для непрерывных и дискретных величин):

Аналогично центральные моменты -го порядка:

.

В частности, математическое ожидание и дисперсия случайной величины (соответственно для непрерывной и дискретной величин):

;

.

Для симметричных относительно распределений имеем:

.

Более того, всегда

.

Тогда _ «младший» из моментов, характеризующих асимметрию распределения.

Безразмерная величина

называется коэффициент асимметрии.

Так, для нормального распределения, когда

,

имеем и, следовательно, В то же время для распределения Релея, когда

,

Имеем

Иногда используют численную характеристику «сглаженности» кривой распределения около моды (максимального значения):

.

В частности, для нормального распределения получаем . В то же время для релеевского распределения .

Значения часто используются, чтобы характеризовать степень отличия данного распределения от нормального.

1.2 Совокупность случайных величин

1.2.1 Функции распределения вероятностей совокупности случайных величин

Для полного описания случайного процесса, конечно, не достаточно иметь распределение вероятностей его значений лишь в один момент времени. Обычно необходимо описывать взаимную зависимость значений СП в различные моменты времени как на приведенном ниже рисунке, где представлена произвольная -ая реализация случайного процесса :

При этом можно говорить о совокупности случайных величин как более сложной и адекватной модели СП. В этом случае необходимо перейти к рассмотрению случайного -мерного вектора принимающего значения

Вероятность

называется _ мерной функцией распределения вероятностей случайного вектора , или совокупности случайных величин

Очевидно, что

.

Если

то величины называются статистически независимыми.

Призводная - го порядка

называется -мерной плотностью вероятностей случайного вектора , или совокупности случайных величин .

Соответственно

,

откуда следует условие нормировки:

.

Для статистически независимых величин, очевидно, имеем

.

Далее имеем:

.

Но

Следовательно,

.

Тогда для любой :

.

1.2.2. Числовые характеристики совокупности случайных величин

В общем случае вводятся смешанные начальный и центральный моменты совместного распределения совокупности случайных величин:

Отсюда легко получить любые начальные и центральные моменты для каждой :

;

Одна из важнейших характеристик совокупности случайных величин - смешанный центральный момент вида:

_ ковариация случайных величин и .

Представим в виде:

.

Безразмерное отношение:

называется коэффициентом корреляции случайных величин и .

В частности, для статистически независимых имеем:

Случайные величины, для которых , называются некоррелированными. Итак, статистически независимые случайные величины некоррелированны. Обратное в общем случае неверно.

Рассмотрим физический смысл понятия корреляции случайных величин. Для этого перейдем от величин к величинам вида:

,

принимающие значения , соответственно.

Введем в рассмотрение неотрицательную величину

Заметим, что отсюда, в частности, следует:

.

Далее, пусть . Тогда, используя запись величины с отрицательным знаком в подынтегральном выражении, получаем . Но это значит, что для всех значений величин выполняется т.е. , или

,

откуда получаем .

Аналогично, для , используя запись с положительным знаком в подынтегральном выражении, получаем , так что .

Итак, условие означает линейную зависимость случайных величин и .

Рассмотрим в качестве примера двумерное нормальное распределение

где

Прямым вычислением легко показать:

 т.е. .

Для некоррелированных нормальных величин имеем:

Отсюда следует важное свойство: некоррелированность нормальных случайных величин означает также и их статистическую независимость.

1.3. Примеры некоторых часто встречающихся распределений

1.3.1. Биномиальное распределение

Вероятность того, что в последовательности из независимых испытаний некоторое событие произойдет ровно раз, равна

.

Из условий нормировки:

.

Основные моменты:

.

Рассмотрим задачу о случайном блуждании частицы вдоль оси при возможном перемещении на каждом шаге на единицу вправо (с вероятностью p) или влево (с вероятностью ), причем вероятность каждого очередного перемещения не зависит от того, что было на любом из предыдущих шагов. Такая модель описывает, например, цифровой накопитель, на вход которого поступают числа +1 или -1 в случайном порядке.

Определим вероятность того, что при нулевом начальном условии после приема импульсов сумма окажется равной величине :

Нахождение частицы в точке с координатой является результатом некоторого числа шагов вправо и шагов влево от нулевого начального положения, причем .

Тогда имеем:

,

откуда

.

Тогда вероятность совпадает с вероятностью того, что при испытаниях событие «сдвиг на шаг вправо» произойдет ровно раз. В остальных испытаниях происходят противоположные события («сдвиг на шаг влево»). Следовательно,

При этом

т.е. .

При больших вычисление затруднительно. Однако рассмотрим значения для различных при

Как видно из рисунков, с ростом пунктирная кривая, характеризующая распределение вероятностей, стремится к гауссовой. Действительно, можно показать, что при

где ; , причем

наибольшая точность достигается при стремлении значения к величине 0,5.

В случае же , т.е. при описании потока редких событий в последовательности независимых испытаний, имеет место другое асимптотическое выражение биномиального распределения. Пусть

Тогда

_ распределение Пуассона.

Это распределение представляет и самостоятельный интерес как модель потока редких событий (поток заряженных частиц, последовательность молниевых разрядов, поток заявок на обслуживание, поток отказов радиоаппаратуры и т.д.).

1.3.2. Распределение Пуассона

Рассмотрим поток редких событий, происходящих в моменты времени не связанные жесткой временной сеткой.

Будем считать, что выполнены 3 условия :

· стационарность (вероятность того, что на интервале произошло событий, зависит только от величины интервала и не зависит от расположения этого интервала на оси времени;

· отсутствие последействия (вероятность того, что на данном интервале произошло событий, не зависит от того, сколько событий произошло на любых предыдущих интервалах времени);

· ординарность (вероятность того, что на достаточно малом промежутке времени произошло 2 и более событий пренебрежительно мала по сравнению с вероятностью одного события).

Тогда вероятность того, что на интервале длительностью произошло событий, описывается распределением Пуассона:

где - среднее число событий в единицу времени.

Покажем справедливость этого выражения для случая , т.е. докажем наличие экспоненциальной зависимости от величины :

.

Для доказательства рассмотрим интервал времени , где удовлетворяет условию ординарности потока. Тогда, с учетом условия отсутствия последействия, имеем:

.

В силу условия ординарности:

.

В свою очередь, также в силу условия ординарности, для среднего числа событий на интервале имеем:

откуда:

.

Итак, примем:

т.е.

.

Тогда:

.

При имеем:

.

Интегрируя полученное дифференциальное уравнение методом разделения переменных, имеем:

.

Начальное условие:

,

т.е. , так что окончательно:

.

Аналогично можно доказать справедливость исходной формулы и при .

Моменты распределения Пуассона:

.

1.3.3. Экспоненциальное и связанные с ним распределения

Для описания потока редких событий часто является важным не только определение вероятности наступления событий за отрезок времени , но также и определение статистических характеристик (функции распределения, плотности вероятностей, моментов распределения) величины временного интервала между соседними событиями. Такой поток событий является, например, простейшей моделью отказов элементов радиоаппаратуры. Тогда одним из важнейших параметров является вероятность безотказной работы в течение определенного интервала времени, а также вероятность того, что интервал безотказной работы не окажется меньше заданного значения.

Решение этих задач приводит к экспоненциальному распределению. Мы уже встречались с таким распределением, рассматривая распределение Пуассона при . Рассмотрим несколько иную постановку задачи.

Интегральная функция распределения случайной величины интервала между соседними событиями, очевидно, равна:

.

Но вероятность может быть вычислена как вероятность того, что на интервале времени не произошло ни одного события в пуассоновском потоке редких событий:

.

Итак,

.

При этом -- средняя частота событий (среднее число событий в единицу времени).

Тогда _ средний интервал времени между соседними событиями. При этом:

.

Соответственно, плотность вероятностей величины :

.

Как и следовало ожидать,

При этом:

Пример. Пусть среднее время наработки на отказ некоторого радиоэлектронного устройства составляет = 100 дней. Какова вероятность того, что в течение 100 дней не произойдет ни одного отказа?

Имеем:

Дальнейшим обобщением задачи, связанной с потоком случайных событий, является рассмотрение в качестве случайной величины интервала между некоторым (произвольно взятым) событием и -ым следующим за ним событием. Функция распределения этой величины называется распределением Эрланга -го порядка, а соответствующая плотность вероятностей имеет вид:

В частном случае = 1, естественно, получаем экспоненциальное распределение:

Можно показать:

Обобщением распределения Эрланга является Г-распределение. Пусть , а целочисленные заменены на непрерывную величину . Тогда имеем:

,

Где

_ интеграл Эйлера.

Заметим, что при целочисленных :

Можно показать:

1.3.4. Распределение Рэлея

Среди важных и часто встречающихся на практике распределений, связанных с гауссовским (нормальным), рассмотрим распределение Релея. Впервые оно было введено лордом Релеем в 1880 году при рассмотрении огибающей суммы большого числа гармонических колебаний различных частот. В дальнейшем выяснилось, что при пристрелке оружия, если разбросы попаданий в каждом из двух взаимно перпендикулярных направлений независимы и имеют одинаковые нормальные распределения с параметрами то значения промаха как отклонения от центра мишени в любом направлении будут распределены по закону Релея.

Рассмотрим подробнее задачу нахождения распределения величины где _ отклонения от центра мишени в двух взаимно перпендикулярных направлениях. Значения величин обозначим соответственно :

Функция распределения величины равна вероятности того, что конец вектора с проекциями и не выйдет за пределы окружности радиуса или

где

.

Перейдем к полярным координатам заменой переменных:

Тогда имеем:

где якобиан преобразования

Итак,

Соответственно,

Модальное значение определяется из уравнения

,

откуда

Соответственно

.

При этом

1.3.5. Равномерное распределение

Часто рассматривается колебание вида:

где и _ детерминированные функции, _ заданная частота колебания несущей, а - случайная начальная фаза. Обычно допускаются с равной вероятностью любые значения начальной фазы в пределах . В этом случае мы имеем дело с равномерно распределенной случайной величиной . В общем случае равномерного распределения имеем:

Здесь

Функция распределения имеет вид:

Пример 1. Шум квантования , где _ истинное выборочное значение функции -- значение ближайшего -го уровня квантования. Плотность вероятностей значений случайной величины примем

Тогда

Пример 2. Распределение начальной фазы .

1.4. Условные функции распределения и плотности вероятностей

1.4.1. Условные распределения двух случайных величин

Пусть имеется событие , появляющееся одновременно с одним из взаимно несовместимых событий (гипотез) , составляющих полную группу. Так, например, событие заключается в регистрации (в месте приема) некоторого определенного символа алфавита, объем которого равен . При этом событие -- передача некоторого символа . Вероятность -- вероятность того, что переданным символом является , а принятым -- некий символ (один из возможных передаваемых символов ). Тогда

где

-- вероятность одновременного осуществления и ;

-- условная вероятность при условии осуществления ;

-- априорная вероятность .

С другой стороны, очевидно,

Так что апостериорная вероятность события (гипотезы) равна

_ формула Байеса.

Понятие условных вероятностей событий распространяется и на случайные величины. Так, для двух зависимых непрерывных случайных величин и имеем :

Здесь _ двумерная плотность вероятностей величин и .

Введем в рассмотрение функцию:

.

Имеем :

Здесь _ условная функция распределения величины , зависящей от величины .

Производная

, равна, очевидно,

Здесь _ условная плотность вероятности непрерывной случайной величины , зависящей от .

Аналогично безусловным плотностям выполняется условие нормировки:

.

Легко получить также аналог формулы полной вероятности:

.

Интегрируя по y, получаем связь и :

.

Аналогично выражению для , легко получить:

Тогда получаем для непрерывных случайных величин и аналог формулы Байеса:

Пример. Условная гауссовская (нормальная) плотность вероятностей.

Пусть двумерная плотность вероятностей величин и подчиняется гауссовскому (нормальному) распределению (см. 1.2.2.), где и _ математическое ожидание и дисперсия соответственно величин и . Тогда

Как и следовало ожидать, при , когда и статистически независимы, получаем:

Интересно отметить, что при («полная» статистическая зависимость) имеем:

.

Например, при значения по мере приближения к значению 1 все более группируются вокруг :

1.4.2. Условные числовые характеристики

Рассмотрим условные числовые характеристики зависимых случайных величин. Условное математическое ожидание:

.

Условная дисперсия:

Так, для нормальных величин и имеем:

Очевидно, что при условные моменты совпадают с безусловными:

Однако при

1.4.3. Условные распределения совокупности случайных величин

Рассмотрим совокупность случайных величин , описываемую -мерной плотностью вероятностей . Тогда, аналогично случаю двух случайных величин (1.4.1) имеем:

Отсюда, в частности, следует: