Posgrado
  1. Introducción al análisis real  1.1. Teoría de conjuntos y lógica en el análisis real  1.1.1. Conjuntos y operaciones en teoría de conjuntos y lógica en análisis real  1.1.2. Relaciones y funciones  1.1.3. Lógica y cuantificadores  1.1.4. Cardinalidad de conjuntos  1.2. Espacio métrico  1.2.1. Introducción a conjuntos abiertos y cerrados en espacios métricos  1.2.2. Convergencia de secuencias en un espacio métrico  1.2.3. Función continua en un espacio métrico  1.2.4. Compacidad y completitud en espacios métricos en análisis real  1.3. Secuencias y series  1.3.1. Convergencia de secuencias  1.3.2. Series infinitas  1.3.3. Convergencia uniforme  1.3.4. Serie de potencias  1.4. Discriminación  1.4.1. Teorema del valor medio  1.4.2. Serie de Taylor  1.4.3. Funciones de varias variables  1.4.4. Derivada parcial  1.5. Integración  1.5.1. Integración de Riemann y Lebesgue  1.5.2. Integrales impropias  1.5.3. Teoría de la medida: una herramienta fundamental en la integración  1.5.4. Teorema de Fubini  1.6. Análisis funcional  1.6.1. Comprendiendo los espacios de Banach  1.6.2. Espacios de Hilbert  1.6.3. Operadores en espacios  1.6.4. Teoría espectral
  2. Álgebra abstracta  2.1. Entendiendo los grupos en el álgebra abstracta  2.1.1. Definiciones y ejemplos de grupos en álgebra abstracta  2.1.2. Homomorfismos de grupos  2.1.3. Introducción a los subgrupos normales  2.1.4. Teorema de Sylow  2.2. Anillos y campos  2.2.1. Ideales y anillos cociente  2.2.2. Extensiones de campos  2.2.3. Teoría de Galois  2.2.4. Anillos de polinomios  2.3. Introducción a los módulos en álgebra abstracta  2.3.1. Homomorfismo de módulos  2.3.2. Módulos libres  2.3.3. Introducción a los productos tensoriales  2.3.4. Secuencia exacta en módulos  2.4. Álgebra lineal  2.4.1. Espacio vectorial  2.4.2. Autovalores y autovectores  2.4.3. Espacio de producto interior  2.4.4. Diagonalización
  3. Topología  3.1. Topología general  3.1.1. Conjuntos abiertos y cerrados  3.1.2. Compacidad y conexión  3.1.3. Mapas continuos  3.1.4. Axioma de separación  3.2. Topología algebraica  3.2.1. Comprensión de los grupos fundamentales en la topología algebraica  3.2.2. Homotopía y homología  3.2.3. Complejo simplicial  3.2.4. Secuencias exactas en homología  3.3. Topología diferencial  3.3.1. Comprendiendo las variedades en topología diferencial  3.3.2. Funcionamiento suave  3.3.3. Espacio tangente y cotangente  3.3.4. Fibrados vectoriales
  4. Ecuaciones diferenciales  4.1. Ecuación diferencial ordinaria  4.1.1. Ecuaciones de primer orden  4.1.2. Ecuaciones lineales de segundo orden  4.1.3. Sistemas de ecuaciones diferenciales  4.1.4. Análisis de estabilidad en ecuaciones diferenciales ordinarias  4.2. Ecuaciones en derivadas parciales  4.2.1. Clasificación de EDP  4.2.2. Entendiendo las series de Fourier en ecuaciones diferenciales parciales  4.2.3. Introducción a las funciones de Green  4.2.4. Método de caracterización  4.3. Sistemas dinámicos en ecuaciones diferenciales  4.3.1. Teoría de la sostenibilidad  4.3.2. Ciclos límite en sistemas dinámicos  4.3.3. Teoría del caos  4.3.4. Teoría de bifurcación
  5. Probabilidad y estadística  5.1. Teoría de la probabilidad  5.1.1. Variables aleatorias  5.1.2. Distribuciones de probabilidad  5.1.3. Ley de los grandes números  5.1.4. Teorema del límite central  5.2. Inferencia estadística  5.2.1. Pruebas de hipótesis  5.2.2. Intervalo de confianza  5.2.3. Métodos bayesianos  5.2.4. Estimación de máxima verosimilitud  5.3. Procesos estocásticos  5.3.1. Cadenas de Markov  5.3.2. Movimiento browniano  5.3.3. Comprendiendo los procesos de Poisson  5.3.4. Martingalas: Un estudio integral en probabilidad y estadística
  6. Análisis numérico  6.1. Soluciones numéricas de ecuaciones  6.1.1. Descubrimiento original  6.1.2. Métodos iterativos  6.1.3. Análisis de convergencia  6.1.4. Cotas de error en soluciones numéricas de ecuaciones  6.2. Álgebra lineal numérica  6.2.1. Factorización de matrices  6.2.2. Cálculo de valores propios  6.2.3. Matrices dispersas  6.2.4. Técnicas de preacondicionamiento  6.3. Integración y diferenciación numérica  6.3.1. Métodos de cuadratura  6.3.2. Introducción a las diferencias finitas  6.3.3. Análisis de errores en la integración y diferenciación numérica  6.3.4. Métodos adaptativos en integración y diferenciación numérica
  7. Análisis complejo  7.1. Números complejos  7.1.1. Forma polar  7.1.2. Conjugados complejos  7.1.3. Forma exponencial de los números complejos  7.1.4. Raíces de la unidad  7.2. Funciones analíticas  7.2.1. Ecuaciones de Cauchy–Riemann  7.2.2. Series de potencias  7.2.3. Mapeo conforme  7.2.4. Funciones armónicas  7.3. Integración en el plano complejo  7.3.1. Teorema de Cauchy  7.3.2. Teorema del residuo  7.3.3. Integración de contornos  7.3.4. Transformaciones integrales
  8. Lógica matemática y fundamentos  8.1. Lógica proposicional  8.1.1. Tablas de verdad  8.1.2. Equivalencia lógica en la lógica proposicional  8.1.3. Técnicas de demostración en lógica proposicional  8.1.4. Solución en lógica proposicional  8.2. Lógica de predicados  8.2.1. Cuantificadores en lógica de predicados  8.2.2. Sistemas formales en lógica de predicados  8.2.3. Integridad y solidez  8.2.4. Teoría de modelos  8.3. Teoría de conjuntos  8.3.1. Cardinalidad y ordinalidad  8.3.2. Sistemas axiomáticos  8.3.3. Comprender la teoría de conjuntos de Zermelo-Fraenkel  8.3.4. Fuerzas en la teoría de conjuntos
  9. Personalización  9.1. Programación lineal  9.1.1. Método simplex  9.1.2. Dualidad en la programación lineal  9.1.3. Análisis de sensibilidad en programación lineal  9.1.4. Métodos de punto interior  9.2. Programación no lineal  9.2.1. Descenso de gradiente  9.2.2. Multiplicadores de Lagrange  9.2.3. Optimización convexa  9.2.4. Programación cuadrática  9.3. Optimización Combinatoria  9.3.1. Algoritmos de grafos  9.3.2. Programación entera  9.3.3. Flujo de red  9.3.4. Algoritmos de aproximación
  10. Matemáticas discretas  10.1. Teoría de grafos  10.1.1. Representación de grafos  10.1.2. Llanura y color  10.1.3. Algoritmo de camino más corto  10.1.4. Flujo de red  10.2. Compañerismo  10.2.1. Permutación y combinación  10.2.2. Función generadora  10.2.3. Relación de recurrencia  10.2.4. Comprendiendo el Principio de Inclusión-Exclusión  10.3. Criptografía  10.3.1. Aplicaciones de la teoría de números en criptografía  10.3.2. Criptografía Simétrica y Asimétrica  10.3.3. RSA y criptografía de curvas elípticas  10.3.4. Criptografía post-cuántica

Posgrado → Probabilidad y estadística → Procesos estocásticos ↓


Cadenas de Markov


Una cadena de Markov es un sistema matemático que experimenta transiciones de un estado a otro de acuerdo con ciertas reglas probabilísticas. La característica única de una cadena de Markov es que el estado futuro depende solo del estado actual, no de la secuencia de eventos anteriores.

Introducción a las cadenas de Markov

Considere un ejemplo simple como el clima: si conoce el clima de hoy, puede predecir el clima de mañana, sin necesidad de saber el clima pasado mañana. Este es un ejemplo clásico de la propiedad de Markov, que establece que el sistema es "sin memoria". Las cadenas de Markov esencialmente modelan situaciones donde esta propiedad es verdadera.

Conceptos básicos

Antes de profundizar en las cadenas de Markov, definamos algunos términos básicos:

  • Estado: Una descripción del estado del sistema de Markov en cualquier momento.
  • Transición: El proceso de moverse de un estado a otro en una cadena de Markov.
  • Probabilidad de Transición: La probabilidad de moverse de un estado a otro.

Representación matemática

Una cadena de Markov se representa por una matriz llamada matriz de transición. Cada elemento de la matriz representa la probabilidad de moverse de un estado a otro. Veamos un ejemplo:

P = | 0.7 0.3 | | 0.4 0.6 |

En esta matriz, 0.7 es la probabilidad de permanecer en el estado 1, y 0.3 es la probabilidad de moverse del estado 1 al estado 2.

Ejemplo visual

El siguiente diagrama muestra una cadena de Markov simple con dos estados:

S1 S2 0.3 0.4

En este ejemplo, la flecha que va de S1 a S2 tiene una probabilidad de transición de 0.3, lo que significa que hay un 30% de probabilidad de pasar del estado 1 al estado 2.

Tipos de cadenas de Markov

Principalmente hay dos tipos de cadenas de Markov:

  • Cadena de Markov de tiempo discreto: Este proceso avanza en pasos o estados discretos.
  • Cadena de Markov de tiempo continuo: Los cambios (transiciones) pueden ocurrir en cualquier momento.

Distribución estable

La cadena de Markov puede alcanzar un punto donde las probabilidades de estar en cada estado se vuelven estables. Esto se llama distribución estacionaria. Se puede calcular resolviendo la siguiente ecuación:

πP = π

Aquí, π denota el vector de distribución estacionaria, y P es la matriz de transición.

Ejemplo de texto

Supongamos que eres un ingeniero de aprendizaje automático trabajando en un sistema de recomendación para una plataforma de streaming. Te encuentras con dos estados que representan acciones de usuario: “mirando” y “navegando”. El usuario puede cambiar entre estos estados basándose en ciertas probabilidades. Usando una matriz de transición, representas estas probabilidades de la siguiente manera:

P = | 0.8 0.2 | | 0.5 0.5 |

Después de varias iteraciones, encuentras que la distribución de probabilidades no cambia. Esta distribución estable te ayuda a entender el comportamiento del usuario a lo largo del tiempo.

Aplicaciones de las cadenas de Markov

Las cadenas de Markov son utilizadas en una variedad de campos, incluyendo:

  • Economía: Modelado de precios de acciones y tendencias económicas.
  • Biología: Simulación de dinámicas poblacionales.
  • Teoría de colas: Modelado de sistemas con líneas de servicio.
  • Algoritmos computacionales: como el algoritmo PageRank de Google.

Ejemplos en teoría de colas

Imagina una cola de servidor único donde los clientes llegan al azar. El sistema puede ser modelado usando una cadena de Markov, donde los estados representan el número de clientes en el sistema. Las probabilidades de transición se basan en las tasas de llegada y servicio.

Por ejemplo, considere un supermercado con un mostrador de pago. Los clientes llegan a intervalos aleatorios, y el tiempo que lleva atender a cada cliente varía. Los tiempos de llegada y servicio forman la base de las probabilidades de transición, y la longitud de la cola representa los diferentes estados de la cadena de Markov.

Resolviendo cadenas de Markov

Resolver una cadena de Markov normalmente implica encontrar la distribución estacionaria. Esto generalmente se hace de una de dos maneras:

  • Iteración: Multiplicando la distribución inicial por la matriz de transición hasta que se vuelva estacionaria.
  • Solución directa: Usar álgebra lineal para resolver πP = π, con restricciones adicionales como que π suma 1.

Cálculo de ejemplo

Vamos a resolver la cadena de Markov usando recursión. Supongamos que tenemos una distribución de estado inicial: [1, 0]. Con una matriz de transición:

P = | 0.9 0.1 | | 0.2 0.8 |

Nuestra distribución inicial dice que comenzamos en el estado 1 con certeza. Después de una transición, la distribución se convierte en:

[1, 0] * | 0.9 0.1 | = | 0.9 0.1 |

Repetir estas multiplicaciones eventualmente dará la distribución estacionaria.

Conclusión

Las cadenas de Markov son herramientas poderosas en probabilidad y estadística para modelar procesos aleatorios. Son particularmente útiles cuando el sistema exhibe propiedades de Markov, donde el siguiente estado depende solo del estado actual y, por lo tanto, resume todo lo que necesitas saber sobre el pasado. Comprender los conceptos básicos de las cadenas de Markov te ayudará a abordar una amplia variedad de problemas en ciencia e ingeniería.

Los temas bajo cadenas de Markov, tales como tipos, aplicaciones y soluciones, son muy amplios, y el estudio continuo puede sentar una base sólida para temas avanzados en procesos estocásticos.


Posgrado → 5.3.1


U
username
0%
completado en Posgrado

← Anterior (5.3)
Procesos estocásticos
Siguiente (5.3.2) →
Movimiento browniano

Comentarios 



Cadenas de Markov

https://www.buddymath.com/g/5.3.1?bmal=es