Cadenas de Markov

Las cadenas de Markov son un concepto esencial en el estudio de los procesos estocásticos, una rama de la probabilidad y la estadística. Nombradas en honor al matemático ruso Andrey Markov, las cadenas de Markov se utilizan para describir sistemas que pasan de un estado a otro de manera probabilística.

Introducción a los procesos estocásticos

Antes de profundizar en las cadenas de Markov, hablemos brevemente de qué son los procesos estocásticos. Un proceso estocástico es, esencialmente, una colección de variables aleatorias indexadas por un parámetro, que generalmente representa tiempo. Estos procesos se utilizan para modelar sistemas que evolucionan con el tiempo de manera probabilística. Cada valor o estado del sistema no está completamente determinado por ninguna ecuación conocida, sino más bien de manera probabilística.

Comprender las cadenas de Markov

Una cadena de Markov es un tipo específico de proceso estocástico donde el estado futuro del proceso depende solo del estado actual, no de la secuencia de eventos anteriores. Esta propiedad se llama propiedad "sin memoria", formalmente conocida como propiedad de Markov. En términos simples, significa que el proceso no tiene memoria de dónde estaba antes.

Cadena de Markov de tiempo discreto

La forma más común de cadenas de Markov es la de tiempo discreto. Estos sistemas se mueven a través de estados en intervalos de tiempo discretos fijos. En cada paso, el sistema puede permanecer en el mismo estado o moverse a un estado diferente con cierta probabilidad.

Ubicación del estado

El conjunto de todos los estados posibles en una cadena de Markov se llama "espacio de estados". Por ejemplo, si estamos modelando condiciones climáticas como estados, los posibles estados podrían ser "soleado", "lluvioso" y "nublado".

Matriz de transición

Las probabilidades de pasar de un estado a otro se representan en una matriz llamada "matriz de transición". Si hay n estados en el espacio de estados, la matriz de transición será una matriz de n × n en la que los elementos en la fila i y la columna j representan la probabilidad de pasar del estado i al estado j. Un ejemplo de una matriz de transición para un modelo climático simple con tres estados podría ser así:

P = [ [0.7, 0.2, 0.1],
      [0.3, 0.4, 0.3],
      [0.2, 0.1, 0.7] ]

Asegúrese de que cada fila de la matriz de transición sume 1, ya que cada fila representa el conjunto completo de estados posibles a los cuales el sistema puede pasar desde el estado actual.

Ejemplo: Modelo climático

Consideremos una simple cadena de Markov que describe cambios climáticos:

• Condiciones: "soleado", "nublado", "lluvioso"
• Matriz de Transición:

      P = [ [0.6, 0.3, 0.1],
            [0.2, 0.5, 0.3],
            [0.3, 0.3, 0.4] ]
  

Esta matriz describe el siguiente sistema: si hoy está soleado, hay un 60% de probabilidad de que mañana esté soleado, un 30% de que esté nublado y un 10% de que llueva.

Propiedades de las cadenas de Markov

Aquí hay algunas propiedades clave para comprender mejor la dinámica de las cadenas de Markov:

Inmutabilidad

Se dice que una cadena de Markov es irreductible si es posible ir de cualquier estado a cualquier estado. Esto significa que hay una probabilidad diferente de cero de transitar de un estado a otro, ya sea directamente o mediante otros estados.

Período

Un estado en una cadena de Markov tiene un período si regresa a ese estado en un número finito de pasos; el período es el máximo común divisor de la cantidad de pasos en los que el estado regresa a sí mismo.

Recurrencia y transitoriedad

Si la probabilidad de que el proceso finalmente regrese al mismo estado es 1, el estado se llama recurrente. Si la probabilidad es menor que 1, el estado se llama transitorio.

Distribución estacionaria

Una distribución estacionaria es una distribución de probabilidad que permanece inalterada a medida que el proceso evoluciona. Para una cadena de Markov con una matriz de transición P, un vector π es una distribución estacionaria si:

πP = π

Usando más cálculos y la matriz de transición dada, puede encontrar la distribución estacionaria para el proceso estocástico.

Cadenas de Markov en tiempo continuo

Si bien nos hemos centrado en las cadenas de Markov de tiempo discreto, donde el sistema hace transiciones en momentos discretos idénticos, el tiempo también puede ser continuo. En las cadenas de Markov en tiempo continuo, la transición puede ocurrir en cualquier momento continuo.

Métricas de tasa de transición

En lugar de matrices de transición, las cadenas de Markov en tiempo continuo utilizan matrices de tasa de transición, a menudo denotadas por Q, donde cada entrada qij representa la tasa de transición del estado i al estado j.

Conclusión

Las cadenas de Markov proporcionan un marco poderoso para modelar y analizar sistemas que experimentan transiciones entre estados a lo largo del tiempo. Con sus amplias aplicaciones en diversos campos, como la economía, la genética y la teoría de juegos, las cadenas de Markov se han convertido en un tema fundamental en probabilidad y estadística.

Comentarios