Теперь продолжим рассуждения. Пусть рпк - вероятность того, что "орел" выпал к раз, и пусть Gn{z) -соответствующая производящая функция Очевидно, что

Рпк=РР(п-щк-1)+ЯР(п-1)к, (Т7)

где 9=1 -р - вероятность выпадения решки". Как и раньше, из (17) получаем, что Gn{z) - {q + pz)Gn-i{z), и в силу очевидного начального условия Gi{z) = q+pz имеем

G„{z){q+pzr (18)

Отсюда по теореме А получаем

mean(Gn) = г mean(Gi) = рп;

var(G„) = п var(Gi) = (р - р)п = pqn. Таким образом для числа выпадений "орла" получаем следующие характеристики:

(min 0. avepn, max n, dev л/pqn). (19)

Ha рис. 11 показаны значения pnk при p = , n = 12. Если среднее квадратичное отклонение пропорционально y/ri и разность между максимумом и минимумом пропорциональна п, можно считать, что ситуация "устойчива" относительно среднего.

0123456789 10 И 12

Рис. 11. Распределение вероятностей для задачи о бросании монеты: 12 независимых испытаний с вероятностью успеха, равной 3/5 в каждом испытании.

Давайте решим еще одну простую задачу. Предположим, при выполнении некоторого процесса существуют равновероятные возможности получения значений 1,2,..., п. Производящая функция в этом случае имеет вид

U 11 11 гП+1 *

С{г) = -г + -г + --- + ~г = ----i. (20)

п п п п г - 1

После достаточно трудоемких выкладок находим, что

пг»+-(п-И)г"-Ц. ---

„ , . п(п - 1)2"+1 - 2(п + 1)(п - 1)2" + п(п + 1)2"-1 - 2 G (г) =--.

Теперь, чтобы найти среднее и дисперсию, нужно вычислить G(l) и G"{1); но если просто подставить значение г = 1 в формулы, то получится выражение вида О/О.

Поэтому возникает необходимость найти предел при z, стремящемся к единице, но это нетривиальная задача.

К счастью, существует гораздо более простой способ дальнейшего решения задачи. По теореме Тейлора (Taylor) имеем

G{1 + z) = Gil) + Gil)z + z + .... (21)

Таким образом, нужно просто заменить в формуле (20) z на z + 1 и найти коэффициенты:

G{l + z)

l(l+z)»+i-l-z п + 1 (п + 1)(н-1) , ~ п Z 2 + 6

Следовательно, G{1) = (п -f- 1), G"{1) = (n -f- l)(n - 1). В результате получаем следующие статистические характеристики для равномерного распределения:

" + 1 J /(n+l)(n-l)\ mm 1, ave -max n, dev W----j. (22)

В таком случае среднее квадратичное отклонение, равное приблизительно 0.289п, указывает на явно неустойчивую ситуацию.

В завершение этого раздела докажем теорему А и обоснуем введенные нами понятия с точки зрения классической теории вероятностей. Пусть X - случайная величина, которая принимает только неотрицательные целые значения и X = к с вероятностью pi- для любого к. Тогда G(z) = ро + piz + P2Z + называется производящей функцией вероятностей для X, а G(e) = ро + Pie* Ч-рг + - характеристической функцией этого распределения. Распределение, соответствующее произведению двух таких производящих функций, называется сверткой двух соответствующих распределений и представляет собой распределение суммы двух независимых случайных величин, имеющих распределения, соответствующие перемножаемым производящим функциям.

Среднее значение случайной величины X часто называют ее математическим ожиданием и обозначают через Е X. Тогда дисперсия случайной величины X равна ЕА - (ЕХ)2. В этих обозначениях производящая функция, соответствующая распределению случайной величины X, имеет вид G{z) = Ez-, т. е. представляет собой математическое ожидание случайной величины z-, если X принимает только целые неотрицательные значения. Аналогично, если Л - утверждение, которое либо истинно, либо ложно, вероятность того, что X истинно, равна Рг(А) = Е[Х] согласно обозначению Айверсона (см. 1.2.3-(16)).

Среднее и дисперсия - это просто два так называемых семиинварианта или кумулянта, введенных Тиеле (Thiele) в 1903 году. Семиинварианты ki, К2, кз,... определяются правилом

+ + f + - = lnG(e). (23)

Имеем

в частности,

G{e)

так как G(l) = = 1, и

e2G"(e) e<G(e*) e2«G(e)

«2 =

= G"(1) + G(1)-G(1).

G(e) G(e<) G(e)2

Поскольку семиинварианты определяются с помощью логарифма производящей функции, теорема А очевидна; фактически ее можно обобщить, распространив на все семиинварианты.

Нормальное распределение - это такое распределение, для которого все семиинварианты, за исключением среднего и дисперсии, равны нулю Для нормального распределения можно значительно улучшить неравенство Чебышева. вероятность того, что разница между значением нормально распределенной случайной величины и средним меньше среднего квадратичного отклонения, равна

л/2¥

т. е. приблизительно 0.68268949213709. Вероятность, что эта разница меньше удвоенного среднего квадратичного отклонения, приблизительно равна 0.95449973610364, и вероятность того, что она меньше, чем утроенное среднее квадратичное отклонение, примерно равна О 99730020393674. Распределения, заданные соотношениями (8) и (18), приблизительно нормальны при больших значениях п (см. упр. 13 и 14).

Часто возникает необходимость убедиться в том, что вероятность большого отклонения случайной величины от ее среднего достаточно мала. Удобные оценки таких вероятностей дают две чрезвычайно простые, но очень важные формулы, которые называются неравенствами для хвостов распределений. Если G(z) -вероятностная производящая функция случайной величины X, то

Рг{Х <г) < x-Gix) для О < а; < 1; (24)

Рг(Л > г) < x-Gix) для а; > 1. (25)

Доказать эти формулы несложно. Если G{z) = ро + piz + pz -f- •, то

Vx{X < г) = Ро + Pl + • • -f- < a;~po + a;~pi -f- • • -f- -l-prj < a;-G(a;)

при 0 < a; < 1 и

Pr(X > r) = PM + PH+i + • • • < + a;f-l+-Pм+l + < x-G{x)

при a; > 1. Выбирая такие значения a;, которые минимизируют или приближенно минимизируют правые части неравенств (24) и (25), можно получить оценки сверху, достаточно близкие к истинным значениям вероятностей слева.

В упр. 21-23 неравенства (24) и (25) проиллюстрирован! для нескольких важных случаев. Эти неравенства являются частными случаями более общего закона, на который указал А. Н. Колмогоров (А. N. Kolmogorov) в мше Grundbegriffe der W&hrscheinlidikeitsrechnmg (Springer, 1933): если f{t) > s > О для всех t > г, то