ベイズの確率計算で使用されるMCMC法(マルコフ連鎖モンテカルロ法)だが、
効率的な数値積分をしているという側面がある。

数値積分は細かい区間に分けて足し合わせていけば求めることが出来る(求積法)が、
次元が大きくなると計算量が増大する。
そこで乱数を使用することで計算量を減らして積分を行うことが出来て、
例えば区間内での一様乱数を使用するのがモンテカルロ法である。

これに加えて、確率の積分(期待値の計算)をするときには重点サンプリングをすることでより計算量を削減することが出来る。
これがMCMC法で、指定の確率分布を定常分布にするようなマルコフ連鎖でサンプリングをする。
マルコフ性以外の満たすべき条件としては、
既約性 (irreducibility)、非周期性 (aperiodicity) 、(詳細)釣り合い条件がある。

これらの条件を満たすサンプリング方法はいくつか存在していて、
具体的には以下のようなアルゴリズムが有名である。
・ハミルトニアン・モンテカルロ法(HMC法)
・ギブスサンプリング法(熱浴法)
・メトロポリス・ヘイスティング法(MH法)

内容的には物理学的なシミュレーションをしているようだ。
近年ではより発展したサンプリング方法も提案されており、
ベイズ統計のソフトではHMC法の発展版であるNo-U-Turn Sampler(NUTS)が使われている。

参考:ゼロからできるMCMC マルコフ連鎖モンテカルロ法の実践的入門