Laboratorio Virtual  > Espacios de Probabilitdad  > 1 2 3 [4] 5 6 7 8

4. Medidas de Probabilidad


Supongamos que tenemos un experimento aleatorio  con  espacio muestral  S. La probabilidad de un evento es una medida de cuan posible es que el evento ocurra cuando se realiza el experimento.

Axiomas

Matemáticamente, una medida de probabilidad  (o distribución) P para un experimento aleatorio es una función valuada-real definida sobre la colección de eventos, que satisface los siguientes axiomas:

  1. P(A) 0 para todo A.
  2. P(S) = 1
  3. P[unionj en J Aj] = sumj en J P(Aj)    si {Aj: j in J} es un conjunto contable de eventos, disjuntos de a pares.

El Axioma 3 es conocido como  aditivitividad contable, y establece que la probabilidad de una unión de un grupo finito de eventos o de un grupo contable de eventos disjuntos es la suma de las correspondientes probabilidades . Los axiomas son conocidos como axiomas  Kolmogorov , en honor a Andrey Kolmogorov.

Los axiomas 1 and 2 son realmente una convención; elegimos medir la probabilidad de un evento con un número entre  0 y 1 ( opuesto, digamos, a un número entre -5 y 7). El axioma 3 sin embargo, es fundamental e imposible de escaparle. Es necesario para la probabilidad precisamente por  la misma razón de que es necesario para otras medidas del  "tamaño" de un conjunto, tal como 

En otras palabras, la aditividad contable (la extensión del axioma 3 a un conjunto indentado no contable J)  no es razonable para la probabilidad, así como no lo es para otras medidas. Por ejemplo, un intervalo de largo positivo en  R es una unión no contable de muchos puntos, cada uno de los cuales tiene largo 0.

Hemos ahora definido los tres ingredientes esenciales que modelan un experimento aleatorio: 

  1. El espacio muestral S
  2. el álgebra de eventos A,
  3. la medida de la probabilidad P

Juntos estos ingredientes definen un espacio de probabilidad (S, A, P).

La Ley de los grandes números

Intuitivamente, la probabilidad de un evento mide la frecuencia relativa de ocurrencia del evento después de un término largo. Específicamente, supongamos que repetimos indefinidamente el experimento. (Note que ésto realmente crea un experimento compuesto nuevo). Para un evento A en un experimento básico, llamemos con Nn(A) el número de veces que A occurre (la frequencia de A) en las primeras  n realizaciones. (Note que ésta es una variable aleatoria en un experimento compuesto). Así,

Pn(A) = Nn(A) / n

es la frequencia relativa  de A en las primeras n realizaciones. Si hemos elegido la medida de probabilidad correcta, entonces en algún sentido esperamos que la frecuencia relativa de cada evento converja a la probabilidad del evento:

Pn(A) converges to P(A) a medida que n converges to infinity.

La afirmación precisa de ésto es la  ley de los grandes números o ley de los promedios, uno de los teoremas fundamentales en probabilidad. Para enfatizar este punto, note que en general existirán muchas medidas de probabilidad  posibles  para un experimento, en el sentido de los axiomas. Sin embargo, solamente la verdadera medida de probabilidad satisfacerá a la ley de los grandes números.

Se deduce que si tenemos los datos de n realizaciones del experimento, la frecuencia relativa observada Pn(A) puede usarse como una aproximación para  P(A); esta aproximación es llamada probabilidad empírica de A.

Mathematical Exercise 1. Muestre que Pn satisfice los axiomas de una medida de probabilidad (dados los datos de n corridas del experimento)

La Distribución de una Variable Aleatoria

Supongamos que  X es una variable aleatoria para el experimento, que toma valores en un conjunto T.

Mathematical Exercise 2. Muestre que P(X in B) como una función de  B subset T, define una medida de probabilidad en T Ayuda: Recuerde que la imágen inversa conserva todas las operaciones entre conjuntos.

La medida de probabilidad en el ejercicio anterior es llamada  distribución de probabilidad de X. Así, toda variable aleatoria X para un experimento define un nuevo espacio de probabilidad:

  1. Un conjunto de resultados T (los valores posibles de X).
  2. Un conjunto de eventos (los subconjuntos de T).
  3. Una medida de probabilidad en estos eventos (la distribución de probabilidad de  X).

Más aún, recuerde que el resultado de un experimento en sí puede pensarse como una variable aleatoria. Específicamente, si tomamos a X como la función identidad en  S, entonces  X  es una variable aleatoria y 

P(X in A) = P(A).

Así, toda medida de probabilidad puede pensarse como la distribución de una variable aleatoria. 

Medidas

Como podemos construir medidas de probabilidad? Como se observó antes, existen otras medidas del "tamaño" de un conjunto; en muchos casos, éstas pueden convertirse en medidas de probabilidadi.

Primero, una  medida m(no negativa)  en S es un mapeo sobre el subconjuno (medible) de S que satisface los axiomas 1 y 3 de más arriba. En general, m(A) puede ser infinita para un subconjunto  A. Sin embargo, si m(S) es positiva y finita, entonces m puede fácilmente rescalarse en una medida de probabilidad.

Mathematical Exercise 3. Muestre que si m es una medida en  S con m(S) finita y positiva, entonces  P definida más arriba es una medida de probabilidad en S.

P(A) = m(A) / m(S) para A subset S.

En el contexto del Ejercicio 3, m(S) es la constante de  normalización. En las próximas dos subsecciones, consideramos algunos casos especiales muy importantes.

Distributiones Discretas 

Supongamos que  S es un conjunto finito no vacío. Claramente, la  medida contable  # es una medida finita en S:

#(A) = el número de elmentos en  A para A subset S.

La medida de probabilidad correspondiente es la llamada  distribución uniforme discreta en S, y es particularmente importante en experimentos de muestro y de combinatoria:

P(A) = #(A) / #(S) para A subset S.

Podemos dar una construcción más general para espacios muestrales contables que pueden usarse para definir muchas medidas de probabilidad.

Mathematical Exercise 4. Supongamos que S es  no vacío y contable, y que g es una función no'negativa valuada-real definida en  S. Muestre que  m definida antes es una medida en  S:

m(A) = sumx en A g(x) para A subset S.

Así, si m(S) es finita y positiva, entonces P(A) = m(A) / m(S) define una medida de probabilidad mediante el Ejercicio 3. Las Distribuciones de este tipo se dicen que son discretas. Distribuciones discretas se estudian en detalle en el capítulo sobre Distribuciones.

Mathematical Exercise 5. En el ejercicio previo, muestre que si  S es finito y g es una función constante, entonces la medida P de probabilidad correspondiente es la distribución uniforme en S.

Distribuciones Continuas 

Definimos una   medida n-dimensional en Rn (tambén llamada   medida de Lebesgue, en honor a Henri Lebesgue) como

mn(A) = integralA 1dx para A subset Rn.

Note que si n > 1, la integral de arriba es una integral múltiple; x = (x1, x2, ..., xn) y dx = dx1dx2...dxn. El axioma de aditividad contable se cumple debido a una propiedad esencial de las integrales, que asumiremos. En particular, observe de análisis que 

  1. m1(A) es la longitud de A para A subset R.
  2. m2(A) es el área de  A para A subset R2.
  3. m3(A) es el volumen de A para A subset R3.

Ahora, si S es un subconjunto de Rn con mn(S) positivo y finito,  entonces

P(A) = mn(A) / mn(S)

es una medida de probabilida en  S como en el Ejercicio 2, llamada   distribución uniforme continua  en S.

Podemos generalizar esta contrucción para producir muchas otras distribuciones. Supongamos que  g es una función valuada-real no negativa definida en S. Defina

m(A) = integralA g(x) dx para A subset S.

Entonces m es una medida en  S. Así si  m(S) es finita y positiva, entonces P(A) = m(A) / m(S) defineuna medida de probabilidad como en el Ejercicio 2. Las Distribuciones de este tipo se dice que son  continuas. Las distribuciones continuas  se estudian en detalle en el capítulo sobre Distribuciones.

Es importante notar de nuevo que, a diferencia de mucha otras  áreas de matemática, los espacios de dimensión baja   (n = 1, 2, 3) no juegan un rol especial, excepto para la exposición. Por ejemplo en los  datos de la Cigarra , algunas de las variables registradas son el peso del cuerpo, el largo, el ancho y el largo de las alas. Un modelo de probabilidad para estas variables especificaría una distribución en un subconjunto de R4.

Reglas básicas de  Probabilidad

Supongamos que tenemos un experimento aleatorio con espacio muestral S y medida de probabilidad P. En el ejercicio siguiente, A y B son eventos.

Mathematical Exercise 6. Muestre que P(Ac) = 1 - P(A).

Mathematical Exercise 7. Muestre que P(Ø) = 0.

Mathematical Exercise 8. Muestre que P(B intersect Ac) = P(B) - P(A intersect B).

Mathematical Exercise 9. Muestre que if A subset B entonces P(B intersect Ac) = P(B) - P(A).

Recuerde que  B intersect Ac se escribe algunas veces como  B - A cuando A subset B. Con esta notación, el resultado en el ejercicio anterior tiene la forma atractiva 

P(B - A) = P(B) - P(A).

Mathematical Exercise 10. Muestre que si A subset B entonces P(A) P(B).

Mathematical Exercise 11. Suponga que  {Aj: j in J} es una colección contable de eventos. Pruebe la  desigualdad de Boole  (llamada por George Boole):

P[unionj Aj] <= sumj P(Aj).

Ayuda: Sea J = {1, 2, ...} y defina B1 = A1, B2 = A2 intersect A1c, B3 = A3 intersect A1c intersect A2c, ... Muestre que B1, B2, ... son disjuntos de a pares y que tienen la misma unión como A1, A2, .... Use el axioma de aditividad de la probabilidad y el resultado del Ejercicio 6.

Mathematical Exercise 12. Suponga que {Aj: j in J} es una colección contable de eventos con P(Aj) = 0 para cada  j en J. Use la desigualdad de Boole para mostrar que  

P[unionj Aj] = 0.

Mathematical Exercise 13. Suponga que  {Aj: j in J} es una colección contable de eventos. Pruebe la  desigualdad de Bonferroni (llamada por Carlo Bonferroni):

P[intersectj Aj] >= 1 - sumj [1 - P(Aj)].

Hint: Apply Boole's inequality to {Ajc: j in J}

Mathematical Exercise 14. Suponga que {Aj: j in J}es una colección de eventos con  P(Aj) = 1 para cada  j en J. Use la desigualdad de Bonferroni para mostrar que:

P[intersectj Aj] = 1.

Mathematical Exercise 15. Suponga que  A y B son eventos en un experimento con  P(A) = 1. Muestre que P(Aintersect B) = P(B)

Mathematical Exercise 16. Pruebe  la  ley de probabilidad total: si {Aj: j in J} es una colección contable de eventos que forman una  partición del espacio muestral  S, entonces para cada evento B,

P(B) = sumj P(Aj intersect B).

Fórmulas de Inclusión-Exclusión

Las fórmulas de inclusión-exclusión proveen un método para calcular la probabilidad de una unión de eventos en términos de las probabilidades de diversas intersecciones de los eventos.

Mathematical Exercise 17. Muestre que si  A y B son eventos entonces

P(A union B) = P(A) + P(B) - P(A intersect B).

Mathematical Exercise 18. Muestre que si A, B, y C son eventos entonces

P(A union B union C) = P(A) + P(B) + P(C) - P(A intersect B) - P(A intersect C) - P(B intersect C) + P(A intersect B intersect C)

Los últimos dos ejercicio pueden generalizarse a una unión de  n eventos Ai, i = 1, 2, ...n. La generalización es conosida como  fórmula de inclusión-exclusión . Para simplificar la formulación, sea  N el conjuntos del índice  {1, 2, ..., n}. Defina

  1. pJ = P[intersectj en J Aj] para J subset N.
  2. qk = sum{J: #(J) = k} pJ para k in N

Mathematical Exercise 19. Muestre que P[unioni = 1, ..., n Ai] = sumk = 1, ..., n (-1)k - 1 qk.

Las desigualdades general  Bonferroni  establecen que si la suma de la derecha es truncada después de  k términos (k < n), entonces la suma truncada es una cota superior para la probabilidad de la unión si k es impar (de modo que el último término tiene un signo positivo) y es una cota  inferior  para la probabilidad de la unión si k es par (de modo que el último término tiene un signo negativo) .

Si revisas las pruebas de las propiedades básicas en los Ejercicios 6-19, verás que se cumplen para toda medida finita  m, no solo para la probabilidad. El único cambio es que el número 1 se eemplaza por m(S). En particular, la regla de  inclusión-exclusión rule es tan importante en  combinatoria (el estudio de nedida contable) como lo es en probabilidad.

Computational Exercises

Mathematical Exercise 20. Suppose that we roll 2 fair dice and record the sequence of scores. Let A denote the event that the first die score is less than 3 and B the event that the sum of the dice scores is 6.

  1. Define the sample space S mathematically.
  2. Since the dice are fair, argue that the uniform distribution on S is appropriate.
  3. Find P(A).
  4. Find P(B).
  5. Find P(A intersect B).
  6. Find P(A union B).
  7. Find P(B intersect Ac ).

Simulation Exercise 21. In the dice experiment, set n = 2. Run the experiment 100 times and compute the empirical probability of each event in the previous exercise.

Mathematical Exercise 22. Consider the experiment in which 2 cards are dealt from a standard deck and the sequence of cards recorded. For i = 1, 2, let Hi denote the event that card i is a heart.

  1. Define the sample space S mathematically
  2. Argue that if the deck is well-shuffled, then the uniform distribution on S is appropriate.
  3. Find P(H1)
  4. Find P(H1 intersect H2)
  5. Find P(H1c intersect H2)
  6. Find P(H2)
  7. Find P(H1 union H2).

Simulation Exercise 23. In the card experiment, set n = 2. Run the experiment 100 times and compute the empirical probability of each event in the previous exercise

Mathematical Exercise 24. Recall that in Buffon's coin experiment, a coin with radius r <= 1/2 is tossed "randomly" on a floor with with square tiles of side length 1, and the coordinates of the center of the coin are recorded, relative to the center of the square in which the coin lands. Let A denote the event that the coin does not touch the sides of the square.

  1. Define the sample space S mathematically.
  2. Argue that the uniform distribution on S is appropriate.
  3. Find P(A).
  4. Find P(Ac).

Simulation Exercise 25. In Buffon's coin experiment, set r = 0.2. Run the experiment 100 times and compute the empirical probability of each event in the previous exercise.

Mathematical Exercise 26. Suppose that A and B are events in an experiment with P(A) = 1 / 3, P(B) = 1 / 4, P(A intersect B) = 1 / 10. Express each of the following events in the language of the experiment and find its probability:

  1. A intersect Bc
  2. A union B
  3. Ac union Bc
  4. Ac intersect Bc
  5. A union Bc

Mathematical Exercise 27. Suppose that A, B, and C are events in an experiment with

P(A) = 0.3, P(B) = 0.2, P(C) = 0.4, P(A B) = 0.04,

P(A intersect C) = 0.1, P(B intersect C) = 0.1, P(A intersect B intersect C) = 0.01

Express each of the following events in set notation and find its probability:

  1. At least one of the three events occurs.
  2. None of the three events occurs.
  3. Exactly one of the three events occurs.
  4. Exactly two of the three events occur.

Mathematical Exercise 28. A pair of fair dice are rolled repeatedly until the sum of the scores is either 5 or 7. The sequence of scores on the final roll are recorded. Let A be the event that the sum is 5 rather than 7.

  1. Define the sample space S mathematically.
  2. Argue that since the dice are fair, S should be given the uniform distribution.
  3. Find P(A).

Probabilities of the type in the last exercise are important in the game of craps.

Mathematical Exercise 29. An experiment consists of tossing 3 fair coins and recording the sequence of scores. Let A be the event that the first coin is heads and B the event that there are exactly 2 heads.

  1. Define the sample space S mathematically.
  2. Argue that since the coins are fair, S should be given the uniform distribution.
  3. Find P(A).
  4. Find P(B)
  5. Find P(A intersect B)
  6. Find P(A union B).
  7. Find P(Ac union Bc).
  8. Find P(Ac intersect Bc).
  9. Find P(A union Bc).

Mathematical Exercise 30. An box contains 12 marbles: 5 are red, 4 are green, and 3 are blue. Three marbles are chosen at random, without replacement.

  1. Define a sample space for which the outcomes are equally likely.
  2. Find P(A) where A be the event that the chosen marbles are all the same color.
  3. Find P(B) where B be the event that the chosen marbles are all different colors

Mathematical Exercise 31. Repeat the last exercise under the assumption that the marbles are chosen with replacement.

Data Analysis Exercise 32. For the M&M data set, let R denote the event that a bag has at least 10 red candies, T the event that a bag has at least 57 candies total, and W the event that a bag weighs at least 50 grams. Find the empirical probability the following events:

  1. R
  2. T
  3. W
  4. R intersect T
  5. T intersect Wc.

Data Analysis Exercise 33. For the cicada data, let W denote the event that a cicada weighs at least 0.20 grams, F the event that a cicada is female, and T the event that a cicada is type tredecula. Find the empirical probability of

  1. W
  2. F
  3. T
  4. W intersect F
  5. F union T union W

Uniqueness and Extension

Recall that the collection of events of the experiment form a sigma algebra A. In some cases, A is generated by some smaller collection of basic events B, that is

A = sigma(B).

We often would like to know that the probabilities of the basic events completely determine the entire probability measure. This turns out to be true if the basic events are closed under intersection. Specifically, suppose that if B, C in B then B intersectC in B (B is called a pi system). If P1 and P2 are probability measures on A and P1(B) = P2(B) for B in B then P1(A) = P2(A) for any A in A.

For example, the standard (Borel) sigma algebra on R is generated by the collection of all open intervals of finite length, which is clearly closed under intersection. Thus, a probability measure P on R is completely determined by its values on the finite open intervals. In addition, the sigma algebra on R is generated by the collection of closed, infinite intervals of the form (-, x]. Thus, a probability measure P on R is completely determined by its values on these intervals.

Next, suppose that we have n sets S1, S2, ..., Sn with sigma algebras A1, A2, ..., An, respectively. Recall that the product set

S = S1 × S2 × ··· × Sn

is a natural sample space for an experiment that consists of multiple measurements, or for a compound experiment that consists of performing n basic experiments in sequence. Usually, we give S the sigma algebra A generated by the collection of product sets of the form

A = A1 × A2 × ··· × An where Ai in Ai for each i.

This collection of product sets is closed under intersection, and hence a probability measure on S is completely determined by its values on these product sets.

Generalizing, suppose that we have an infinite sequence sets S1, S2, ... with sigma algebras A1, A2, ..., respectively. The product set

S = S1 × S2 × ···.

is a natural sample space for an experiment that consists of infinitely many measurements, or for a compound experiment that consists of combining an infinite sequence of basic experiments. Usually, we give S the sigma algebra A generated by the collection of product sets of the form

A = A1 × A2 × ··· × AnSn+1 × Sn+2 × ··· where n is a positive integer and Ai in Ai for each i.

This collection of product sets is closed under intersection, and hence a probability measure on S is completely determined by its values on these product sets.