随机过程第2讲——马尔可夫过程的应用

article/2025/8/22 1:40:06

温习:随机过程第1讲——泊松过程的模拟与检验:https://blog.csdn.net/ChenQihome9/article/details/82871332


去得也突然——不知在什么时候,雨,悄悄地停了。风也屏住了呼吸,山中一下变得非常幽静。远处,一只不知名的鸟儿开始啼啭起来,仿佛在倾吐着浴后的欢悦。远处,凝聚在树叶上的雨珠继续往下滴着,滴落在路畔的小水洼中,发出异常清脆的音响—— 叮——咚——叮——咚……——节选自散文《山雨》


 定义:马尔可夫过程是具有马尔可夫性的一类特殊随机过程。这种马尔科夫性意味着:当过程在某时刻 T(k) 所处的状态已知的条件下,过程在时刻 T (T>T(k)) 处的状态只会与过程在 T(k) 时刻的状态有关,而与过程在 T(k) 以前所处状态无关,这种特性也称为无后效性。

%% 马尔科夫过程的应用
cd F:\我的重要文档\CSDN专栏\随机过程\马尔科夫过程  %这个F:\路径是自己选择的在电脑上运行的路径
%{
马尔科夫的相关概念见下面文档
%}
%% 一、万科A股票价格上涨下跌的预测
stockdata=xlsread('F:\我的重要文档\CSDN专栏\随机过程\马尔科夫过程\万科A.xlsx'); %这个F:\路径是有自己选择的在电脑上运行的路径,并且注意加上文件名
wanke=stockdata(:,1);    %取Excel的第一列
for i=1:length(wanke)-1  %length获取wanke数据的长度if wanke(i+1)>wanke(i)H(i,1)=1; %股票价格上涨取1elseH(i,1)=0; %股票价格下跌取0end;     
end;   %上涨为1下跌为0%{
因为股票的形式存在四种情况,比如
uu:从上涨到上涨;ud:从上涨到下跌;du:从下跌到上涨;dd:从下跌到下跌
因此构建uu、ud、du、dd
%}
uu=0;ud=0;du=0;dd=0; 
for i=1:length(H)-1if H(i,1)==1 && H(i+1,1)==1   uu=uu+1; %统计从上涨到上涨的次数,即在H(i,1)=1的情况下,H(i+1,1)还是等于1  elseif H(i,1)==1 && H(i+1,1)==0   ud=ud+1; %同理,统计从上涨到下跌的次数;elseif H(i,1)==0 && H(i+1,1)==1   du=du+1; %同理,统计从下跌到上涨的次数;elseif H(i,1)==0 && H(i+1,1)==0   dd=dd+1;%同理,统计从下跌到下跌的次数;end; 
end;
%建立转移矩阵P  
P=[uu/(uu+ud)  ud/(uu+ud) ; du/(du+dd)  dd/(du+dd) ];%作相应的比值,构建转移矩阵
plot(wanke);
%{
推论:马氏链的绝对概率由其初始分布及一步转移概率唯一确定。
即马氏链的转移概率与初始分布,不仅可以完全确定其初始分布,
也可以完全确定其有限维分布族,从而确定马氏链的概率特性。
%}
disp('转移矩阵');
disp(P);
chushi=[sum(H)/(length(H)-1) 1-sum(H)/(length(H)-1) ];  %得出的是初始矩阵
zhuangtai = chushi*P;
disp('初始矩阵');
disp(chushi)

相关的程序结果解读: 

利用现在的数据对照判断的结果,在2017年09月05日的一周后出现上涨

 


http://chatgpt.dhexx.cn/article/fXdbptMX.shtml

相关文章

强化学习(2): 马尔可夫过程

前言 本文重点介绍MDP,因为MDP是目前最适合表征强化学习问题的模型。 一个具体的赌徒例子,来说明强化学习的算法如何与MDP构建联系,并且求解出最优策略。链接如下:link 一、马尔可夫性 其假设未来的状态仅取决与当前的状态。过…

贝叶斯网络、马尔可夫模型、马尔可夫过程、马尔可夫链、马尔可夫网络基本概念

知识储备与简要概括 可数集【Countable set】: 是指每个元素都能与自然数集N的每个元素之间能建立一一对应的集合。如果将可数集的每个元素标上与它对应的那个自然数记号,那么可数集的元素就可以按自然数的顺序排成一个无穷序列a1,a2&#…

强化学习笔记:马尔可夫过程 马尔可夫奖励过程

1 马尔可夫性质 (Markov Property) 我们设状态的历史为(包含了之前的所有状态) 如果一个状态转移是符合马尔可夫性质的,也就是满足如下条件: 也就是说,从当前状态转移到状态的概率,就…

马尔可夫性质、马尔可夫链和马尔可夫过程

关注:灰质,有趣有料的AI技术分享 前言 研究决策问题就一定听说过马尔可夫过程(Markov Process),这是一类非常重要的方法。现在非常热门的强化学习都是基于马尔可夫过程方法建立的。马尔可夫决策过程是研究随机序贯决策…

1.3 马尔可夫过程

之前介绍的奖励、智能体、动作、观察和环境可以看成RL的一级概念。以此为基础,我们将探索RL的二级概念,包括状态(state)、事件(episode)、历史(history)、价值(value&…

一文看懂马尔科夫过程

1.马尔科夫决策过程(MDPs)简介 马尔科夫决策过程是对强化学习(RL)问题的数学描述。几乎所有的RL问题都能通过MDPs来描述: 最优控制问题可以用MDPs来描述;部分观测环境可以转化成POMDPs;赌博机问题是只有一个状态的MDPs;注:虽然大部分DL问题都能转化为MDPs,但是以下所描述…

马尔可夫Markov决策过程 MDP、马尔可夫奖励过程MRP

引言 在概率论及统计学中,马尔可夫过程(英语:Markov process)是一个具备了马尔可夫性质的随机过程,因为俄国数学家安德雷马尔可夫得名。马尔可夫过程是不具备记忆特质的(memorylessness)。换言…

零基础学习python数据分析,需要掌握哪些技能?

对于刚刚入行的小白同学来说,在学习python的过程中,一定会遇到一些疑问。比如说: 学习Python需要多久? 学习Python需要达到什么样的程度? 学Python的书籍有哪些? 为了处理数据集,我需要精通…

Python数据分析期末复习归纳

python数据分析期末复习归纳(更新中) 文章目录 python数据分析期末复习归纳(更新中)前言一、python语言基础二、内建数据结构、函数、文件(重点)元组列表内建序列函数字典函数 三、Numpy基础(重…

Python数据分析师特训营84节

刚看完了小破站的一个数据分析的课程: “2020年Python数据分析师特训营全套84节视频完结版(就业向/零基础友好)” 趁着热乎劲儿,想记录一下课程讲到的关于python的基础知识,还有numpy、pandas、matplotlib(数据分析三大利器)工具…

Python数据分析:混淆矩阵

【小白从小学Python、C、Java】 【Python全国计算机等级考试】 【Python数据分析考试必会题】 ● 标题与摘要 Python数据分析 混淆矩阵 ● 选择题 以下关于混淆矩阵说法错误的是: A TP是被正确分类的正例个数 B FN是被错误分类的正例个数 C 主对角元素是不同类别样例…

Python数据分析和处理

数据的维度 从一个数据到一组数据:一个数据表达一个含义,一组数据表达一个或多个含义 维度:一组数据的组织形式 一维数据:由对等关系的有序或无序数据构成。采用线性方式组织 二维数据:由多个一维数据组成,是一维数…

Python数据分析之理论知识

文章目录 Python数据分析概述一、数据分析的概念1.广义数据分析2.数据挖掘 二、数据分析流程1. 需求分析:2. 数据获取3.数据预处理4.分析与建模5.模型评价与优化6. 分类模型评价指标7.回归模型8.部署 三、数据分析应用场景四、总思维导图 Python数据分析概述 一、数…

如何用Python进行数据分析,详细流程讲解!

1:为什么选择Python进行数据分析? Python是一门动态的、面向对象的脚本语言,同时也是一门简约,通俗易懂的编程语言。Python入门简单,代码可读性强,一段好的Python代码,阅读起来像是在读一篇外语文章。Pyt…

如何用Python进行数据分析?

本文为CDA数据分析研究院原创作品,转载需授权 1.为什么选择Python进行数据分析? Python是一门动态的、面向对象的脚本语言,同时也是一门简约,通俗易懂的编程语言。Python入门简单,代码可读性强,一段好的Python代码,阅读起来像是在读一篇外语文章。Python这种特性称为“伪…

Python做数据分析需要学什么?

下面分别从这四个方面来带大家学习数据分析: 第一,做数据分析要精通Python吗?第二,数据分析流程是什么?学什么?第三,如何培养数据分析思维?第四,数据分析书籍推荐 一、…

Python大作业——爬虫+可视化+数据分析+数据库(数据分析篇)

个人博客 Python大作业——爬虫可视化数据分析数据库(简介篇) Python大作业——爬虫可视化数据分析数据库(爬虫篇) Python大作业——爬虫可视化数据分析数据库(可视化篇) Python大作业——爬虫可视化数…

用python进行数据分析(入门学习)

做笔记啦!!!这几天突击了一下使用python进行数据分析,觉得还是梳理一遍比较好,不然学得快忘得也快[捂脸] 所以,今天这篇文章就主要介绍一下用python进行数据分析中常用到的三个库:numpy、pandas…

111个Python数据分析实战项目,代码已跑通,数据可下载

写在前面: 这里整理了111个数据分析的案例,每一个都进行了严格的筛选,筛选标准如下: 1. 有干货:杜绝纯可视化、统计性分析,有一定比例的讲解性文字 2. 可跑通:所有代码均经过测试,…

一文看懂怎么用 Python 做数据分析

常遇到两类朋友。一类是会爬虫但不知道如何进一步做数据分析的,一类是平常用 Excel 做分析但不太会用 Python 分析的。如果和你很像,那下面这篇系统长文会很适合你,建议先收藏。 Excel 是数据分析中最常用的工具,本文通过 Python…