Markov Zincirlerinin Temel Özellikleri ve Çeşitli Uygulamaları

Abstract

Bu çalışmada öncelikle temel olasılık kavramları kısaca ele alınmış, rastgele değişken, stokastik süreç ve Markov süreci kavramları tanımlanmıştır. Önemli bir stokastik süreç sınıfı olan Markov zincirinin genel yapısı, başlangıç dağılımı, geçiş olasılık fonksiyonu ve geçiş matrisi ile verilmiştir. Markov zincirinin durum uzayı incelenmiş ve haberleşen, yutucu, geçici ve tekrarlı durumlar tanımlanarak sınıflandırılmıştır. indirgenemez, periyodik, düzenli Markov zincirleri ve durağan dağılımlar incelenmiş ve özellikleri verilmiştir. Son bölümde ise Markov zincirlerinin çeşitli alanlardaki uygulamaları verilmiştir.,In this study, the basic conceps of probability has been primarily discussed briefly, random variables, stochastic processes and Markov processes are defined. The general structure of Markov chains, the important class of stochastic processes, is given with the initial distribution, the transition probability function and the transition matrix. The state space of the Markov chain is studied and classified with defining communicating, absorbing, transient and recurrent states. İrreducible, periodic, regular Markov chains and stationary distributions are studied and properties are given. In last part, applications of Markov chains on several fields are given.

In this study, the basic conceps of probability has been primarily discussed briefly, random variables, stochastic processes and Markov processes are defined. The general structure of Markov chains, the important class of stochastic processes, is given with the initial distribution, the transition probability function and the transition matrix. The state space of the Markov chain is studied and classified with defining communicating, absorbing, transient and recurrent states. İrreducible, periodic, regular Markov chains and stationary distributions are studied and properties are given. In last part, applications of Markov chains on several fields are given.