Сходимости «почти наверное» и «по вероятности»

Напомню, что случайная величина есть (измеримая) функция из некоторого абстрактного множества

в множество действительных чисел. Последовательность случайных величин

есть, тем самым, последовательность функций, определённых на одном и том же пространстве элементарных исходов

. Существуют разные виды сходимости последовательности функций. Всякий раз давать определение какой-либо сходимости мы будем, опираясь на сходимость числовых последовательностей как на уже известное основное понятие.

В частности, при каждом новом мы имеем новую числовую последовательность . Поэтому, во-первых, можно говорить о знакомой из математического анализа (почти) поточечной сходимости последовательностей функций: о сходимости «почти всюду», которую в теории вероятностей называют сходимостью «почти наверное».

Заметим сразу: чтобы говорить о сходимости «почти наверное», требуется (по крайней мере, по определению) знать, как устроены отображения

. В задачах же теории вероятностей, как правило, известны не сами случайные величины, а лишь их распределения.

Можем ли мы, обладая только информацией о распределениях, говорить о какой-либо сходимости последовательности случайных величин к случайной величине ?

Можно, например, потребовать, чтобы вероятность тех элементарных исходов , для которых не попадает в «-окрестность» числа , уменьшалась до нуля с ростом . Такая сходимость в функциональном анализе называется сходимостью «по мере», а в теории вероятностей — сходимостью «по вероятности».

Пример 54. Рассмотрим последовательность

, в которой все величины имеют разные распределения: величина

принимает значения 0 и

с вероятностями

Докажем, что эта последовательность сходится по вероятности к нулю.

Зафиксируем произвольное . Для всех , начиная с некоторого такого, что , верно равенство . Поэтому

Итак, случайные величины с ростом могут принимать всё большие и большие значения, но со всё меньшей и меньшей вероятностью.

Например, последовательность можно задать на вероятностном пространстве так:

А именно, положим для и для . Заметим, что в данном случае (сходимости к постоянной) сходимость по вероятности имеет место совершенно независимо от того, как именно заданы случайные величины на , поскольку определяется лишь их распределениями.

Замечание 23. Иное дело — сходимость «почти наверное». Если, скажем, задать случайные величины как показано на графиках, то сходимость «почти наверное» будет иметь место. Действительно, для всякого

найдётся такое

, что

, и поэтому для всех

все

равны нулю.

Можно попробовать задать случайные величины на [0, 1] как-нибудь иначе, чтобы не было сходимости почти наверное. Для этого нужно заставить отрезок длины , на котором , «бегать» по отрезку [0, 1], чтобы любая точка попадала внутрь этого отрезка бесконечное число раз, и, тем самым, для любого существовала подпоследовательность .

Однако заметим, что если вероятности сходятся к нулю достаточно быстро (например, равны — чтобы ряд из них сходился), то сходимость п.н. к нулю всегда имеет место (см. теорему 2 §1 гл.6 на стр. 134 учебника А.А.Боровкова «Теория вероятностей»).

Сходимость по вероятности не обязательно сопровождается сходимостью математических ожиданий или моментов других порядков: из

не следует, что

. Действительно, в примере 54 имеет место сходимость

, но

. При этом вообще последовательность

неограниченно возрастает.

А если вместо значения взять (с той же вероятностью ), то получим . Но теперь хотя бы предел у последовательности математических ожиданий конечен.

Если же принимает значения 0 и с теми же вероятностями, что и в примере 54, то , но уже вторые моменты сходиться ко второму моменту не будут: .

Сходимость по вероятности обладает обычными свойствами пределов числовых последовательностей — например, такими:

Доказательство. При первом прочтении его можно пропустить.

1. В доказательстве мы будем пользоваться свойством монотонности вероятности: если из события следует событие ( влечёт ), то вероятность не превосходит вероятности : если , то .

Остановимся и ответим на следующие «глупые вопросы». Верно ли, что:

  а) модуль суммы не превосходит суммы модулей?
  б) если и , то ?
  в) если , то хоть одно из чисел больше единицы?
  г) вероятность объединения событий не превосходит суммы их вероятностей?
  д) вероятность пересечения событий не превосходит вероятности каждого?

Если на все вопросы вы ответили «да», можно двигаться дальше. Если не на все — ваш контрпример ошибочен. Если вы вообще не поняли, о чём это, лучше вернуться к началу курса.

Докажем, что для сходимости по вероятности предел суммы равен сумме пределов. Зафиксируем . Требуется доказать, что при . Но (ср. с вопросами выше):

поэтому

Тогда по свойству монотонности вероятности

при в силу того, что и .

2. Для доказательства второго утверждения нам понадобится, кроме положительных ответов на «глупые вопросы» (а)-(д), следующее «хорошее свойство»: для любой случайной величины , согласно свойству (F2) функций распределения, вероятность стремится к нулю при .

Представим как . Затем получим из (а) и монотонности вероятности, что

Подумайте, что делать с первым слагаемым в правой части, а мы пока рассмотрим второе слагаемое (третье ничем принципиально от второго не отличается). Обозначим через событие под знаком второй вероятности. Зафиксируем некоторое и разобьем событие по полной группе событий и :

Первую вероятность оцениваем в соответствии с вопросом (д), вторую — пользуясь тем, что из неравенств и следует неравенство . Получаем:

Осталось для любого фиксированного устремить к бесконечности, получив для верхнего предела оценку , после чего мы можем устремить к бесконечности , пользуясь «хорошим свойством».

QED

Доказательство. Простое доказательство первого утверждения можно предложить в двух случаях, которыми мы и ограничимся: если

(и тогда достаточно, чтобы

была непрерывна в точке

) или если функция

равномерно непрерывна (а что это значит?).

И в том, и в другом случае для любого найдётся такое , что для любого , удовлетворяющего условию , выполняется неравенство .

Т.е. событие влечёт событие . Следовательно, вероятность первого не больше, чем вероятность второго. Но, какое бы ни было , вероятность первого события стремится к единице по определению сходимости по вероятности:

Следовательно, вероятность второго события также стремится к единице.

QED

Доказательство. При первом прочтении его можно пропустить.

Ограничимся для простоты случаем, когда для любого .

Зафиксируем . По определению предела, при , если для всякого найдётся такое, что для всех выполняется неравенство . Ничто не мешает нам дополнительно потребовать, чтобы было не меньше, чем , т.е. чтобы среди всех возможных мы заранее выбрали наименьшее (примем , если при всех ).

Итак, событие влечёт событие . Но тогда

по свойству (F2) функций распределения. Тогда и стремится к единице. В силу произвольности выбора , это означает сходимость .

Осталось только проверить, является ли событием, т.е. является ли при каждом функция измеримым отображением из в . Для этого достаточно установить, что — событие. Имеем при :

поскольку — случайная величина. При первый сомножитель просто отсутствует. Итак, , что и требовалось доказать.

QED

Чтобы доказывать сходимость по вероятности, достаточно уметь вычислять

при больших

. Но для этого нужно знать распределение

, что не всегда возможно. Скажем,

может быть суммой (или ещё хуже!) нескольких других случайных величин, распределения которых не устойчивы по суммированию, и вычислить распределение их суммы по формуле свертки или как-то ещё будет слишком сложно.

Если бы мы имели неравенства, позволяющие оценить сверху чем-либо, что мы умеем устремлять к нулю и что проще вычисляется, то сходимость по вероятности мы получили бы по свойству зажатой последовательности: .

Итак, неравенства Чебышёва⁽¹⁾.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

§ 1. Сходимости «почти наверное» и «по вероятности»