目录

引言

第一章 马尔柯夫过程

玩具制造商例子——状态概率

z-变换

马尔柯夫过程的z-变换分析

瞬时的、多链的和周期的性质

第二章 有报酬的马尔柯夫过程

用递推关系求解

玩具制造商的例子

有报酬的马尔柯夫过程的z-变换分析

渐近性质

第三章 用值迭代法求序贯决策过程的解

不同方式的引进

用值迭代法求解玩具制造商问题

值迭代法的估价

第四章 用策略迭代法求解序贯决策过程

定值运算

策略改进程序

迭代循环

玩具制造商问题

策略迭代法的性质的证明

第五章 策略迭代法的某些应用

出租汽车问题

棒球问题

汽车替换问题

第六章 多链过程的策略迭代法

定值运算

策略改进程序

一个多链的例子

迭代循环的性质

第七章 具有折扣的序贯决策过程

用值迭代法解有折扣的序贯决策过程

定值运算

策略改进程序

例子

迭代循环性质的证明

最优策略对于折扣因子的敏感性

具有折扣的汽车替换问题

总结

第八章 时间连续的决策过程

时间连续的马尔柯夫过程

用拉普拉斯变换求解时间连续的马尔柯夫过程

有报酬的时间连续的马尔柯夫过程

时间连续的决策问题

定值运算

策略改进程序

完全各态历经的过程

工长的抉择问题

计算方面的比较

有折扣的时间连续的决策过程

策略改进

一个例子

与时间离散情形的比较

第九章 结论

附录 瞬时和循环性态的关系

参考文献

译者补充文献

索引