SIMULACION: CADENA DE MARKOV

CADENA DE MARKOV

Definición
Una cadena de Markov es una sucesión de ensayos similares u observaciones en la cual cada ensayo tiene el mismo número finito de resultados posibles y en donde la probabilidad de cada resultado para un ensayo dado depende sólo del resultado del ensayo inmediatamente precedente y no de cualquier resultado previo.

Propiedad de Markov: Dada una secuencia de variables aleatorias ...... , , , X1 X2 X3, tales que el valor de Xn es el estado del proceso en el tiempo n. Si la distribución de probabilidad condicional de Xn+1 en estados pasados es una función de Xn por sí sola,

entonces:

TIPOS DE CADENA

Cadenas irreducibles[]

Una cadena de Márkov se dice irreducible si se cumple cualquiera de las siguientes condiciones (equivalentes entre sí):

Desde cualquier estado de E se puede acceder a cualquier otro.
Todos los estados se comunican entre sí.
C(x)=E para algún x∈E.
C(x)=E para todo x∈E.
El único conjunto cerrado es el total.

La cadena de Ehrenfest o la caminata aleatoria sin barreras absorbentes son ejemplos de cadenas de Márkov irreducibles.

Cadenas positivo-recurrentes[

Una cadena de Márkov se dice positivo-recurrente si todos sus estados son positivo-recurrentes. Si la cadena es además irreducible es posible demostrar que existe un único vector de probabilidad invariante y está dado por:

$\pi_x = 1/\mu_x \,$

Cadenas regulares[

Una cadena de Márkov se dice regular (también primitiva o ergódica) si existe alguna potencia positiva de la matriz de transición cuyas entradas sean todas estrictamente mayores que cero.

Cuando el espacio de estados E es finito, si P denota la matriz de transición de la cadena se tiene que:

$\lim_{n \to \mathcal{1} \,}P^n= W$

donde W es una matriz con todos sus renglones iguales a un mismo vector de probabilidad w, que resulta ser el vector de probabilidad invariante de la cadena. En el caso de cadenas regulares, éste vector invariante es único.

Cadenas absorbentes[

Una cadena de Márkov con espacio de estados finito se dice absorbente si se cumplen las dos condiciones siguientes:

La cadena tiene al menos un estado absorbente.
De cualquier estado no absorbente se accede a algún estado absorbente.

Si denotamos como A al conjunto de todos los estados absorbentes y a su complemento como D, tenemos los siguientes resultados:

Su matriz de transición siempre se puede llevar a una de la forma

$P = \begin{pmatrix} Q & R \\ 0 & I \end{pmatrix}$

donde la submatriz Q corresponde a los estados del conjunto D, I es la matriz identidad, 0 es la matriz nula y R alguna submatriz.

$P_x(T_A < \mathcal{1} \,) = 1$ , esto es, no importa en donde se encuentre la cadena, eventualmente terminará en un estado absorbente.

Cadenas de Márkov en tiempo continuo[]

Si en lugar de considerar una secuencia discreta X₁, X₂,..., X_i,.. con i indexado en el conjunto $\mathbb{N}\;\!$ de números naturales, se consideran las variables aleatorias X_t con t que varía en un intervalo continuo del conjunto $\mathbb{R}\;\!$ de números reales, tendremos una cadena en tiempo continuo. Para este tipo de cadenas en tiempo continuo la propiedad de Márkov se expresa de la siguiente manera:

$P(X(t_{n+1})=x_{n+1} | X(t_n)=x_n, \ldots, X(t_1)=x_1) = P(X(t_{n+1})=x_{n+1}|X(t_n)=x_n)$

tal que $t_{n+1} > t_n > t_{n-1} > \dots > t_1$

Para una cadena de Márkov continua con un número finito de estados puede definirse una matriz estocástica dada por:

$\mathbf{P}(t_1,t_2)=[p_{ij}(t_1,t_2)]_{i,j=1,\dots,N}, \qquad p_{ij}(t_1,t_2) = P[X(t_2)=j|X(t_1)=i],\ 0\ge t_1< t_2$

La cadena se denomina homogénea si $\mathbf{P}(t_1,t_2)=\mathbf{P}(t_2-t_1)$ . Para una cadena de Márkov en tiempo continuo homogénea y con un número finito de estados puede definirse el llamado generador infinitesimal como:²