La ley fuerte de los grandes números y el teorema del límite central
Convergencia casi segura, función característica y el origen de la campana
La ley débil dice que, para cada \(n\) grande, es muy improbable que el promedio \(\bar X_n\) esté lejos de \(\mu\). Quedaron dos preguntas abiertas, y esta sección responde ambas. La primera: ¿converge la trayectoria \(\bar X_1,\bar X_2,\bar X_3,\dots\) que produce un experimento concreto? Eso es lo que afirma la ley fuerte. La segunda: ¿cómo se ve la desviación \(\bar X_n-\mu\) una vez la medimos en unidades de \(\sigma/\sqrt n\)? Eso es lo que dice el teorema del límite central, y explica por qué la campana de la sección sobre la normal como límite no era un accidente de la binomial y la Poisson.
1 La ley fuerte de los grandes números
1.1 Convergencia casi segura
Sean \(X_1,X_2,\dots\) y \(X\) variables aleatorias definidas sobre el mismo espacio de probabilidad \((\Omega,\mathcal F,P)\). Decimos que \(X_n\) converge a \(X\) casi seguramente (c.s.) si
\[P\big(X_n\to X\big)=1\]
es decir, si el conjunto de resultados \(\omega\in\Omega\) para los cuales la sucesión numérica \(X_n(\omega)\) converge a \(X(\omega)\) tiene probabilidad uno. Lo escribimos \(X_n\xrightarrow{\text{c.s.}}X\).
La diferencia con la convergencia en probabilidad es de fondo. Allí, para cada \(n\) se mira un evento distinto, \(\{|X_n-X|>\varepsilon\}\), y se pide que su probabilidad tienda a cero. Aquí se fija un resultado \(\omega\), es decir una trayectoria completa, y se pide que esa sucesión de números converja. Se puede demostrar (no lo haremos) que la convergencia casi segura implica la convergencia en probabilidad, pero no al revés. De ahí los nombres: la ley fuerte contiene a la débil.
Sean \(X_1,X_2,\dots\) variables aleatorias i.i.d. con media \(\mu\) y varianza finita \(\sigma^2\). Entonces
\[\bar X_n=\frac{X_1+\cdots+X_n}{n}\xrightarrow{\text{c.s.}}\mu\]
es decir, \(P\big(\lim_{n\to\infty}\bar X_n=\mu\big)=1\).
Esto es lo que quedó pendiente en la ley débil. Si cada \(X_i\) es Bernoulli\((p)\), la ley fuerte afirma que, con probabilidad uno, la sucesión de proporciones de éxitos se acerca a \(p\) y se queda cerca. Observe que no dice que toda trayectoria converge: la sucesión que siempre da éxito es un resultado posible del experimento, pero el conjunto de las trayectorias que no convergen a \(p\) tiene probabilidad cero.
1.2 Idea de la demostración
Los detalles técnicos de este teorema se salen del alcance del curso, pero la idea se ve en pocas líneas. Sin pérdida de generalidad suponemos \(\mu=0\) (si no, trabajamos con \(X_i-\mu\), que tiene media cero y la misma varianza, y el promedio de estas variables es \(\bar X_n-\mu\)). Entonces \(E(\bar X_n)=0\) y
\[E(\bar X_n^2)=\frac1{n^2}\sum_{k,j=1}^nE(X_kX_j)\]
Por independencia, si \(k\ne j\) entonces \(E(X_kX_j)=E(X_k)E(X_j)=0\). Solo sobreviven los términos con \(k=j\):
\[E(\bar X_n^2)=\frac1{n^2}\sum_{i=1}^nE(X_i^2)=\frac{n\sigma^2}{n^2}=\frac{\sigma^2}{n}\longrightarrow0\]
Intuitivamente, que \(E(\bar X_n^2)\to0\) debe ser lo mismo que decir \(P(\bar X_n^2\to0)=1\), tal como vimos que una variable \(Z\ge0\) con \(E(Z)=0\) cumple \(P(Z=0)=1\), y esto es lo mismo que \(P(\bar X_n\to0)=1\).
Émile Borel probó en 1909 la ley fuerte para el lanzamiento de una moneda justa, en un lenguaje que hoy reconocemos como teoría de la medida: el conjunto de los números de \([0,1]\) cuya expansión binaria tiene una proporción de unos que tiende a \(1/2\) tiene medida uno (son los llamados números normales). Francesco Paolo Cantelli lo redescubrió en 1916 y 1917, sin citar a Borel, y lo extendió a variables acotadas. Andréi Kolmogorov, hacia 1930, mostró que para variables i.i.d. basta con que exista la media. Es la misma historia de la ley débil, que va de Bernoulli (1713) a Khinchin (1929), pero con una afirmación más fuerte sobre qué significa converger.
2 El teorema del límite central
Sean \(X_1,X_2,\dots\) variables aleatorias i.i.d. con media \(\mu\) y varianza \(0<\sigma^2<\infty\). Entonces
\[Y_n=\frac{\bar X_n-\mu}{\sigma/\sqrt n}=\frac{X_1+\cdots+X_n-n\mu}{\sigma\sqrt n}\longrightarrow Y\sim N(0,1)\]
en el sentido de que \(P(Y_n\le y)\to\Phi(y)\) para todo \(y\in\mathbb R\), donde \(\Phi\) es la función de distribución de la normal estándar (convergencia en distribución).
Observe que no se pide que las \(X_i\) sean normales. Pueden ser Bernoulli, uniformes, exponenciales, lo que sea con media y varianza finitas, y el promedio estandarizado se parece igual a la campana. Lo que ya vimos con la binomial (una suma de Bernoulli independientes) y con la Poisson (una suma de Poisson independientes, cuando \(\lambda\) es entero) son dos casos particulares.
2.1 La función característica
Para entender la idea de la demostración necesitamos un concepto nuevo. Si \(X\) es una variable aleatoria, su función característica es
\[\varphi_X(t)=E\big(e^{itX}\big)=E\big(\cos tX\big)+i\,E\big(\sin tX\big),\qquad t\in\mathbb R\]
Si \(X\) tiene densidad \(f_X\), entonces \(\varphi_X(t)=\int_{-\infty}^{\infty}e^{itx}f_X(x)\,dx\). Como \(|e^{itx}|=1\), la integral existe siempre, sea cual sea la distribución de \(X\). Sus propiedades básicas son:
- \(\varphi_X(0)=1\), porque \(e^{i\cdot0\cdot X}=1\).
- \(|\varphi_X(t)|\le1\), porque \(\Big|\int e^{itx}f_X(x)\,dx\Big|\le\int|e^{itx}|f_X(x)\,dx=\int f_X(x)\,dx=1\).
- Si \(E(|X|^k)<\infty\), entonces \(\varphi_X^{(k)}(0)=i^k\,E(X^k)\).
Veamos la propiedad 3 con \(k=1\) y \(k=2\). Derivando bajo la integral,
\[\varphi_X'(0)=\left(\partial_t\int_{-\infty}^{\infty}e^{itx}f_X(x)\,dx\right)_{t=0}=\left(\int_{-\infty}^{\infty}ix\,e^{itx}f_X(x)\,dx\right)_{t=0}=i\,E(X)\]
Muestre que \(\varphi_X''(0)=-E(X^2)\).
- Unicidad. Si \(\varphi_X(t)=\varphi_Y(t)\) para todo \(t\), entonces \(X\) y \(Y\) tienen la misma distribución. Con densidades \(f\) y \(g\), la hipótesis dice
\[\int_{-\infty}^{\infty}e^{itx}f(x)\,dx=\int_{-\infty}^{\infty}e^{ity}g(y)\,dy\qquad\Longrightarrow\qquad\int_{-\infty}^{\infty}e^{itx}\big(f(x)-g(x)\big)\,dx=0\quad\text{para todo }t\]
y esto solo es posible si \(f=g\) (salvo en un conjunto de medida cero), porque la integral es la transformada de Fourier de \(f-g\) y esta transformada solo se anula idénticamente para la función cero. Es el teorema de unicidad de la transformada de Fourier, que no demostramos. Por eso la función característica “caracteriza” la distribución.
2.2 La función característica de la normal
El último ingrediente que necesitamos es la función característica de la normal estándar.
Demuestre que si \(X\sim N(0,1)\), entonces \(\varphi_X(t)=e^{-t^2/2}\). Siga estos pasos:
- Derive \(\varphi_X\) con respecto a \(t\).
- Integre por partes para deshacerse de la \(x\).
- Plantee una ecuación diferencial para \(\varphi_X\).
- Resuélvala.
Por la unicidad, \(e^{-t^2/2}\) es la función característica de la normal estándar y de ninguna otra distribución.
2.3 Idea de la demostración
Suponemos otra vez \(\mu=0\) (restando \(\mu\) a cada \(X_k\) la variable \(Y_n\) no cambia). Sea \(\varphi\) la función característica común de las \(X_k\). Entonces
\[\varphi_{Y_n}(t)=E\big(e^{itY_n}\big)=E\Big(e^{\frac{it}{\sigma\sqrt n}(X_1+\cdots+X_n)}\Big)=E\Big(\prod_{k=1}^ne^{\frac{it}{\sigma\sqrt n}X_k}\Big)=\prod_{k=1}^nE\Big(e^{\frac{it}{\sigma\sqrt n}X_k}\Big)=\varphi\Big(\frac{t}{\sigma\sqrt n}\Big)^n\]
donde la cuarta igualdad es la independencia (la regla \(E(UV)=E(U)E(V)\) vale también para variables complejas, aplicándola a las partes real e imaginaria).
Ahora desarrollamos \(\varphi\) en serie de Taylor alrededor de \(0\), hasta orden dos, lo cual es posible porque \(E(X^2)<\infty\). Por las propiedades 1 y 3, \(\varphi(0)=1\), \(\varphi'(0)=iE(X)=0\) y \(\varphi''(0)=-E(X^2)=-\sigma^2\), así que
\[\varphi(s)=\varphi(0)+\varphi'(0)\,s+\frac{\varphi''(0)}{2}\,s^2+o(s^2)=1-\frac{\sigma^2}{2}\,s^2+o(s^2)\qquad(s\to0)\]
Con \(s=t/(\sigma\sqrt n)\), que tiende a \(0\) cuando \(n\to\infty\) para \(t\) fijo,
\[\varphi_{Y_n}(t)=\Big(1-\frac{t^2}{2n}+o\Big(\frac1n\Big)\Big)^n=\Big(1+\frac{a_n}{n}\Big)^n\longrightarrow e^{-t^2/2}\qquad\text{con }a_n\to-\frac{t^2}{2}\]
usando que \((1+a_n/n)^n\to e^a\) siempre que \(a_n\to a\). Es decir, para cada \(t\), \(\varphi_{Y_n}(t)\) converge a la función característica de la \(N(0,1)\). El paso que omitimos es el teorema de continuidad de Lévy, que es la unicidad llevada al límite: si las funciones características convergen a la de una distribución, entonces las distribuciones convergen a ella. Por lo tanto \(Y_n\to Y\sim N(0,1)\).
Esto ya lo habíamos hecho con las aproximaciones de la binomial y de la Poisson por la normal. El método de Laplace con la fórmula de Stirling dio el mismo límite, pero distribución por distribución. La función característica lo hace para todas a la vez, porque de cada \(X_k\) solo usa los dos primeros momentos.
Abraham de Moivre obtuvo en 1733 la forma de campana como límite de la binomial con \(p=1/2\), usando la fórmula de Stirling, mientras buscaba una versión cuantitativa de la ley de Bernoulli. Laplace la generalizó en su Théorie analytique des probabilités (1812) a otras distribuciones. Aleksandr Lyapunov (1900 y 1901) dio las primeras condiciones generales rigurosas y las demostró con funciones características, el camino que acabamos de seguir. George Pólya le puso el nombre en 1920, “teorema central del límite”, para subrayar el papel central del teorema en la teoría de la probabilidad, no que describa el centro de una distribución. Jarl Lindeberg (1922) dio condiciones más generales y William Feller (1935) probó que son también necesarias. De Moivre y Lyapunov llegaron a la misma campana por caminos distintos: uno por la fórmula de Stirling sobre los coeficientes binomiales, el otro por el desarrollo de Taylor de la función característica.
3 Ejemplos
Los tres teoremas responden preguntas distintas sobre el mismo promedio \(\bar X_n\):
- La ley débil controla, para cada \(n\), la probabilidad de que \(\bar X_n\) esté lejos de \(\mu\). Con Chebyshev da una cota que se garantiza.
- La ley fuerte habla de la trayectoria completa: con probabilidad uno, la sucesión \(\bar X_1,\bar X_2,\dots\) converge a \(\mu\).
- El teorema del límite central dice que \(\bar X_n-\mu\) es del orden de \(\sigma/\sqrt n\) y tiene forma de campana. Da probabilidades aproximadas, no cotas.
3.1 Ley débil
Un laboratorio mide la concentración de un contaminante en una muestra de agua. El instrumento da lecturas independientes, cada una igual a la concentración verdadera \(\mu\) más un error aleatorio de media \(0\) y desviación estándar \(0{,}5\) (microgramos por litro). Se promedian \(n\) lecturas. ¿Cuántas lecturas garantizan que el promedio quede a menos de \(0{,}1\) de \(\mu\) con probabilidad al menos \(0{,}95\), sin suponer nada más sobre la distribución del error?
Las lecturas \(X_i\) son i.i.d. con media \(\mu\) y varianza \(0{,}25\). Por Chebyshev aplicado a \(\bar X_n\),
\[P\big(|\bar X_n-\mu|\ge0{,}1\big)\le\frac{0{,}25}{n\,(0{,}1)^2}=\frac{25}{n}\]
Queremos \(P(|\bar X_n-\mu|<0{,}1)\ge0{,}95\), es decir \(P(|\bar X_n-\mu|\ge0{,}1)\le0{,}05\). Basta con \(25/n\le0{,}05\), o sea
\[n\ge500\]
Quinientas lecturas bastan, pero la cota es generosa porque solo usa la varianza. Más adelante, con el teorema del límite central, veremos que se necesitan muchas menos.
Se lanzan puntos independientes \((U_i,V_i)\) con distribución uniforme en el cuadrado \([0,1]^2\). Sea \(X_i=1\) si \(U_i^2+V_i^2\le1\) y \(X_i=0\) en otro caso. El área del cuarto de círculo es \(\pi/4\), así que \(X_i\sim\text{Bernoulli}(p)\) con \(p=\pi/4\). Por la ley débil, \(\bar X_n\to\pi/4\) en probabilidad, y entonces \(\hat\pi_n=4\bar X_n\to\pi\). ¿Cuántos puntos garantizan \(P(|\hat\pi_n-\pi|<0{,}01)\ge0{,}99\)?
Como \(|\hat\pi_n-\pi|<0{,}01\) equivale a \(|\bar X_n-p|<0{,}0025\), Chebyshev da
\[P\big(|\bar X_n-p|\ge0{,}0025\big)\le\frac{p(1-p)}{n\,(0{,}0025)^2}\]
y pedimos que esto sea a lo sumo \(0{,}01\):
\[n\ge\frac{p(1-p)}{(0{,}0025)^2\,(0{,}01)}\]
Con \(p(1-p)=\frac\pi4\big(1-\frac\pi4\big)\approx0{,}1685\) resulta \(n\ge2\,696\,767\). Si no conociéramos \(p\), usaríamos \(p(1-p)\le1/4\) y obtendríamos \(n\ge4\,000\,000\).
La garantía es sobre la probabilidad: con ese \(n\), la probabilidad de equivocarse en más de \(0{,}01\) es a lo sumo \(0{,}01\). No dice que una simulación concreta acierte, y tampoco una simulación demuestra que el área valga \(\pi/4\). Eso es un cálculo de área, y la simulación solo exhibe una realización de \(\bar X_n\).
3.2 Ley fuerte
Considere un juego de chance hipotético: el jugador paga \(\$1\,000\) por jugada y elige un número de tres cifras (de \(000\) a \(999\)). Si el número que sale al azar coincide con el suyo, recibe \(\$700\,000\). Las jugadas son independientes. La ganancia neta de la \(i\)-ésima jugada es entonces
\[X_i=\begin{cases}699\,000 & \text{con probabilidad }1/1000\\[2pt] -1\,000 & \text{con probabilidad }999/1000\end{cases}\]
con media
\[E(X_i)=699\,000\cdot\frac1{1000}-1\,000\cdot\frac{999}{1000}=699-999=-300\]
y varianza finita (la variable toma solo dos valores). El capital tras \(n\) jugadas es \(S_n=X_1+\cdots+X_n=n\bar X_n\). Por la ley fuerte, con probabilidad uno \(\bar X_n\to-300\). Entonces existe un \(N\) (que depende de la trayectoria) tal que \(\bar X_n<-250\) para todo \(n\ge N\), y por lo tanto \(S_n<-250\,n\) para todo \(n\ge N\). En consecuencia
\[S_n\to-\infty\quad\text{con probabilidad uno}\]
Con probabilidad uno el jugador termina arruinado y, a partir de cierto momento, ya no vuelve a estar en ventaja. Para \(n\) pequeño la trayectoria puede ir muy bien (un solo acierto la lleva a \(+699\,000\)), pero eso no contradice nada: la ley fuerte habla del comportamiento para \(n\) grande. La ley débil, por sí sola, no alcanza para esta conclusión, porque habla de cada \(n\) por separado y no controla la trayectoria completa.
Sean \(U_1,U_2,\dots\) i.i.d. uniformes en \((0,1)\) y \(G_n=(U_1U_2\cdots U_n)^{1/n}\) su media geométrica. ¿Converge \(G_n\)?
No es un promedio de las \(U_i\), pero su logaritmo sí es un promedio:
\[\log G_n=\frac1n\sum_{i=1}^n\log U_i\]
con \(Y_i=\log U_i\) i.i.d. Calculamos
\[E(Y_i)=\int_0^1\log x\,dx=-1\qquad E(Y_i^2)=\int_0^1(\log x)^2\,dx=2\qquad\text{Var}(Y_i)=2-1=1<\infty\]
Por la ley fuerte, \(\log G_n\to-1\) c.s. Como la exponencial es continua,
\[G_n\xrightarrow{\text{c.s.}}e^{-1}\approx0{,}3679\]
3.3 Teorema del límite central
Se encuesta a \(n=1\,000\) personas elegidas al azar sobre si apoyan una medida, y suponemos que la verdadera proporción es \(p=0{,}5\). ¿Con qué probabilidad la proporción muestral queda a menos de \(0{,}03\) de \(p\)?
Las respuestas \(X_i\) son Bernoulli\((0{,}5)\), con \(\mu=0{,}5\) y \(\sigma=0{,}5\). Entonces
\[P\big(|\bar X_n-p|\le0{,}03\big)=P\left(|Y_n|\le\frac{0{,}03}{0{,}5/\sqrt{1000}}\right)=P\big(|Y_n|\le1{,}897\big)\approx2\Phi(1{,}897)-1\approx0{,}942\]
El valor exacto de la binomial, \(P(470\le X\le530)\), es \(0{,}9463\). La aproximación con corrección de continuidad (el intervalo \([469{,}5,\,530{,}5]\)) da también \(0{,}9463\).
Ahora la pregunta inversa: ¿cuántas personas se necesitan para que la proporción muestral esté a menos de \(0{,}03\) de \(p\) con probabilidad \(0{,}95\), sin saber \(p\)? Como \(\sigma\le1/2\) siempre, y \(\Phi(1{,}96)=0{,}975\), el teorema del límite central sugiere
\[n\ge\left(\frac{1{,}96\cdot0{,}5}{0{,}03}\right)^2\approx1067{,}1\qquad\text{es decir, }n\approx1068\]
mientras que Chebyshev, que garantiza en lugar de aproximar, exige
\[n\ge\frac{1}{4\,(0{,}03)^2\,(0{,}05)}\approx5556\]
La diferencia entre \(5556\) y \(1068\) es el precio de no usar la forma de la distribución del promedio.
El tiempo de espera de un bus en una estación se modela como una variable exponencial de media \(3\) minutos, independiente de un viaje a otro. En \(40\) viajes, ¿cuál es la probabilidad de que el tiempo total de espera supere \(140\) minutos?
Cada \(X_i\) tiene media \(3\) y varianza \(9\). Para \(S=X_1+\cdots+X_{40}\), la media es \(120\) y la varianza es \(360\), con \(\sigma_S=\sqrt{360}\approx18{,}97\). Por el teorema del límite central,
\[P(S>140)=P\left(\frac{S-120}{18{,}97}>\frac{140-120}{18{,}97}\right)\approx1-\Phi(1{,}054)\approx0{,}146\]
Aquí podemos comparar con el valor exacto. Por la sección de distribuciones continuas especiales, \(S\) es una gamma (la suma de \(40\) exponenciales independientes), y por la identidad \(P(T_n\le t)=P(N_t\ge n)\) del proceso de Poisson de tasa \(1/3\) por minuto,
\[P(S>140)=P(N_{140}\le39)\qquad N_{140}\sim\text{Poisson}\left(\frac{140}{3}\right)\]
que vale \(0{,}1462\). La aproximación normal coincide con él en las tres cifras mostradas, aunque cada sumando es una variable muy asimétrica.
4 Ejercicios
Para los ejercicios con la normal puede usar \(\Phi(0{,}87)=0{,}8078\), \(\Phi(1{,}10)=0{,}8643\) y \(\Phi(1{,}96)=0{,}975\).
Ley débil
Se quiere estimar la proporción \(p\) de hogares de una localidad que tienen acceso a internet. ¿Cuántos hogares deben encuestarse para asegurar, sin ninguna información previa sobre \(p\), que la proporción muestral difiera de \(p\) en menos de \(0{,}02\) con probabilidad al menos \(0{,}95\)?
Sean \(U_1,U_2,\dots\) i.i.d. uniformes en \((0,1)\). Demuestre que \(\frac1n\sum_{i=1}^nU_i^2\) converge en probabilidad a \(1/3\), y halle un \(n\) tal que la probabilidad de que el promedio esté a menos de \(0{,}05\) de \(1/3\) sea al menos \(0{,}9\).
Ley fuerte
Sean \(X_1,X_2,\dots\) i.i.d. exponenciales de media \(1/\lambda\). Demuestre que \(\frac1n\sum_{i=1}^nX_i^2\to2/\lambda^2\) casi seguramente.
Se lanza indefinidamente una moneda con probabilidad \(p\) de cara. Sea \(D_n\) el número de caras menos el número de sellos en los primeros \(n\) lanzamientos. (a) Si \(p=1/2\), demuestre que \(D_n/n\to0\) casi seguramente. (b) Si \(p>1/2\), demuestre que \(D_n\to+\infty\) casi seguramente.
En la ruleta americana hay \(38\) casillas, de las cuales \(18\) son rojas. Un jugador apuesta repetidamente una unidad al rojo: gana una unidad si sale rojo y pierde una unidad en caso contrario. Demuestre que, con probabilidad uno, su capital tiende a menos infinito.
Función característica
Calcule la función característica de una Bernoulli\((p)\) y, usando independencia, la de una Binomial\((n,p)\). Verifique, derivando en cero, que \(E(X)=np\) y que \(E(X^2)=npq+n^2p^2\), con \(q=1-p\).
Sea \(X\sim N(0,1)\) y \(Y=\sigma X+\mu\) con \(\sigma>0\). Halle \(\varphi_Y\). Concluya que si \(X_1\sim N(\mu_1,\sigma_1^2)\) y \(X_2\sim N(\mu_2,\sigma_2^2)\) son independientes, entonces \(X_1+X_2\sim N(\mu_1+\mu_2,\sigma_1^2+\sigma_2^2)\).
Teorema del límite central
El peso de cada paquete que llega a una bodega es uniforme entre \(1\) y \(3\) kg, independiente de los demás. Aproxime la probabilidad de que \(36\) paquetes pesen en total más de \(75\) kg.
El número de llamadas diarias a una línea de atención es Poisson de media \(25\), independiente de un día a otro. Aproxime la probabilidad de que en \(30\) días el total supere \(780\) llamadas.
Una variable tiene desviación estándar \(3\) y media desconocida \(\mu\). ¿Cuántas observaciones independientes se necesitan para que el promedio quede a menos de \(0{,}5\) de \(\mu\) con probabilidad aproximada \(0{,}95\)? Compare con el \(n\) que garantiza Chebyshev.
Sea \(X_\lambda\sim\text{Poisson}(\lambda)\). Calcule su función característica y, con el mismo método de la demostración del teorema del límite central, demuestre que \((X_\lambda-\lambda)/\sqrt\lambda\) converge a \(N(0,1)\) cuando \(\lambda\to\infty\).