你相信果能决定因吗？
在微观世界中，未来确实能改变从前。
波尔说，在没有观测前，没有任何物理量是客观存在的。
故事要从20世纪讲起，当时物理学家开始纠结一个问题，即光，到底是波还粒子。于是大家开始做一个实验：用一个发射光子的机枪对准双缝发射。假若光是由粒子组成，很自然地当他穿过双缝后呈现在屏幕上是两条杠，和子弹集中目标后会就留下孔是一样的道理;假若光是由纯波组成那么屏幕就会留下如斑马线的多道条纹。（ps:补充一个物理学知识，根据波动理论，当波穿过缝时，会形成两道波源，彼此震荡干涉，波峰于波峰之间强度叠加，波谷与波谷之间正反抵消，最终会留下斑马线）
第一次实验：把发射光子的机枪对准双缝发射，结果是标准的斑马线。
第二次实验：把机枪切换到点射模式，随时每次只发射一个光子，但经过一段时间的累积还是出现了干涉条纹。（这就百思不得其解，一个光子和谁干涉呢？第一个问题出现。）
量子力学中的第一个定理出现：叠加态原理。薛定谔的猫即是薛定谔不相信叠加态原理，即现实中不存在不死不活的猫。这让物理学家感到尤为蹊跷，并开始第三个实验。
第三次实验：在屏幕前加装两个探测器，一边一个左右排开，哪边的探测器观测到光子，就说明粒子穿过了哪条缝，观测发现粒子确实只从左侧或右侧单一穿过。就当物理学家以为真相大白时，并在屏幕上看到明显的两道杠。（第二个问题出现）
到这里量子力学第二个定理出现：观察者原理。
即你观测了，会引起叠加态的坍缩，便会看到一个确定无疑的结果。
光是波还是粒子似乎都说得过去，这时爱因斯坦一个大胆假说，并在后来演化成波粒二象性。到这里所有的疑问似乎迎刃而解。
但是十几年后发生的一件事，才是让经典物理学倒塌的关键。这就是1979年惠勒提出的：延迟选择实验。
实验:重复之前的双缝干涉实验，不过这次只有屏幕没有摄像头，物理学家计算光子好穿过双缝的时间，当他穿过后，在光子快要落到屏幕前时加上探测器。
结果：无论探测器速度多块，只要加上探测器一定是两道扛，反过来，如果一开始有摄像头，哪怕在最后一刻撤掉，屏幕上一定是斑马线。（第三个问题:探测设备是在光子穿过双缝后才对光子造成影响，但却能影响穿过干涉缝时的状态，这点就很有意思了）
理论上来讲，穿缝在前是因，被探测后是果，根据经典物理学因果律:因能决定果。但在此次实验，果却决定了因。突然头皮发麻。
#量子力学#
在微观世界中，未来确实能改变从前。
波尔说，在没有观测前，没有任何物理量是客观存在的。
故事要从20世纪讲起，当时物理学家开始纠结一个问题，即光，到底是波还粒子。于是大家开始做一个实验：用一个发射光子的机枪对准双缝发射。假若光是由粒子组成，很自然地当他穿过双缝后呈现在屏幕上是两条杠，和子弹集中目标后会就留下孔是一样的道理;假若光是由纯波组成那么屏幕就会留下如斑马线的多道条纹。（ps:补充一个物理学知识，根据波动理论，当波穿过缝时，会形成两道波源，彼此震荡干涉，波峰于波峰之间强度叠加，波谷与波谷之间正反抵消，最终会留下斑马线）
第一次实验：把发射光子的机枪对准双缝发射，结果是标准的斑马线。
第二次实验：把机枪切换到点射模式，随时每次只发射一个光子，但经过一段时间的累积还是出现了干涉条纹。（这就百思不得其解，一个光子和谁干涉呢？第一个问题出现。）
量子力学中的第一个定理出现：叠加态原理。薛定谔的猫即是薛定谔不相信叠加态原理，即现实中不存在不死不活的猫。这让物理学家感到尤为蹊跷，并开始第三个实验。
第三次实验：在屏幕前加装两个探测器，一边一个左右排开，哪边的探测器观测到光子，就说明粒子穿过了哪条缝，观测发现粒子确实只从左侧或右侧单一穿过。就当物理学家以为真相大白时，并在屏幕上看到明显的两道杠。（第二个问题出现）
到这里量子力学第二个定理出现：观察者原理。
即你观测了，会引起叠加态的坍缩，便会看到一个确定无疑的结果。
光是波还是粒子似乎都说得过去，这时爱因斯坦一个大胆假说，并在后来演化成波粒二象性。到这里所有的疑问似乎迎刃而解。
但是十几年后发生的一件事，才是让经典物理学倒塌的关键。这就是1979年惠勒提出的：延迟选择实验。
实验:重复之前的双缝干涉实验，不过这次只有屏幕没有摄像头，物理学家计算光子好穿过双缝的时间，当他穿过后，在光子快要落到屏幕前时加上探测器。
结果：无论探测器速度多块，只要加上探测器一定是两道扛，反过来，如果一开始有摄像头，哪怕在最后一刻撤掉，屏幕上一定是斑马线。（第三个问题:探测设备是在光子穿过双缝后才对光子造成影响，但却能影响穿过干涉缝时的状态，这点就很有意思了）
理论上来讲，穿缝在前是因，被探测后是果，根据经典物理学因果律:因能决定果。但在此次实验，果却决定了因。突然头皮发麻。
#量子力学#
读书打卡6
吴军博士《数学之美》
第5章 隐马尔科夫模型
隐马尔科夫模型是解决大多数自然语言处理问题的快速、有效方法，成功解决了复杂的语音识别、机器翻译等问题。
一、问题提出
【通信模型——雅格布森通信六要素】（见下图1）
【基于通信视角的自然语言处理】：几乎所有的自然语言处理问题都可以等价成通信的解码问题，例如：
（1）基于通信视角的语音识别：根据声学信号推测说话者的意思。
信息源：头脑
信道：声带、空气
信号：声音
接收器：耳朵
（2）基于通信视角的机器翻译：利用计算机，根据接收的源语言信息，推测目标语言意思。
（3）基于通信视角的自动纠错：利用计算机，根据带有拼写错误的语句推测正确意思。
【建模】根据输出o1,o2,…，求解输入为s1,s2,…的概率，如下：
P(s1,s2,…| o1,o2,…)
=(P(o1,o2,…│s1,s2,…)*P(s1,s2,…))/(P(o1,o2,…))
∝P(o1,o2,…│s1,s2,…)*P(s1,s2,…) （1）
目标是找到使概率P(s1,s2,…| o1,o2,…)最大的s1,s2,…
s1,s2,…=ArgMax_(all s1,s2,…) P(s1,s2,…| o1,o2,…) （2）
在语音识别中，P(s1,s2,…| o1,o2,…)被称为声学模型(Acoustic Model)，在机器翻译中是翻译模型（Translation Modle），在拼写校正中是纠错模型（Correction Model）。
二、预备知识
随机过程即随机变量的时间序列s1,s2,…,st（如北京每天最高气温）。
【马尔科夫假设】：随机过程中各个状态st的概率分布，只与它的前一个状态st-1有关。如天气预报，假设今天的气温只与昨天有关，而和前天及之前无关。未必适合所有应用，但可以对很多复杂问题给出近似解。
【马尔科夫链】符合马尔科夫假设的随机过程成为马尔科夫过程，也称马尔科夫链。如下图2：
四个圈表示四个状态，每条边表示一个可能的状态转换，边上的全职是转移概率。例如，状态m1到m2之间只有一条边，且边上的权值为1，表示从状态m1只能能转换到状态m2，转移概率为1。从m2出发有两条边：到m3和m4。其中权值0.6和0.4分别表示：如果某个时刻t的状态st是m2，则下一个时刻状态st+1=m3的概率P(st+1=m3|st=m2)是0.6，st+1=m4的概率P(st+1=m4|st=m2)是0.4。
把这个马尔科夫链想象成机器，随机选择一个状态作为初始状态，随后按照上述规则随机选择后续状态。运行一段时间T后，产生一个状态序列：s1,s2,…,st。根据这个序列，不难数出某个状态mi出现的次数#(mi)，以及从mi转换到mj的次数#(mi,mj)，从而估计从mi到mj的转移概率#(mi,mj)/#(mi)。每一个状态只与前一个状态有关，而不论是如何到达前一个状态。例如，状态3到状态4的概率都是0.3，不论在此之前是如何进入状态3的（从状态2进入，还是在状态3兜了几个圈）。
三、隐马尔科夫模型(Hidden Markov Model)
对马尔科夫链的扩展：任意时刻t的状态st是不可见的，所以观察者没法通过观察到一个状态序列推测转移概率s1,s2,…,st等参数。
但隐马尔科夫模型每个时刻t会输出一个符号ot，而且ot和st相关且仅和st相关（独立输出假设）。结构如下图3：
其中隐含的状态s1,s2,…是一个典型的马尔科夫链。
P(s1,s2,…,o1,o2,…)=∏_t▒〖P(s_t│s_(t-1) )*P(o_t│s_t ) 〗 (3)
基于马尔科夫假设和独立输出假设，
P(o1,o2,…│s1,s2,…)=∏_t▒〖P(o_t│s_t ) 〗(4)
P(s1,s2,…)=∏_t▒〖P(s_t│s_(t-1) ) 〗(5)
因此，通信的解码问题可以用隐马尔科夫模型解决。而很多自然语言处理问题和通信的解码问题是等价的，因此可以用隐马尔科夫模型解决。
需要一个训练算法（鲍姆-韦尔奇算法）和使用时的解码算法（维特比算法），掌握了这两类算法，基本上可以使用隐马尔科夫模型了。
四、问题求解
围绕隐马尔科夫模型的三个基本问题
（1）给定一个模型，计算某个特定的输出序列的概率（Forword-Backword算法）
（2）给定一个模型和某个特定的输出序列，找到最可能产生这个输出的状态序列（利用维特比算法计算使概率最大化的输入序列s1,s2,…,st）
（3）给定足够量的观测数据，估计隐马尔科夫模型的参数（模型训练）
P(o_t│s_t )=(P(o_t,s_t))/(P(s_t))(6)
P(s_t│s_(t-1) )=(P(s_t,s_(t-1)))/(P(s_(t-1))) (7)
【有监督训练方法】如果有足够多人工标记数据，可以数出#(o_t,s_t)，#(s_t)，#(s_t,s_(t-1))，#(s_(t-1))，根据大数定律计算比值可以直接估算出模型参数。但难以获得大量标注数据。
【无监督训练方法】通过大量观测信号o1,o2,…推算模型参数P(o_t│s_t )和P(s_t│s_(t-1) )。如鲍姆-韦尔奇算法。
【鲍姆-韦尔奇算法】Baum-Welch Algorithm思想：两个不同的隐马尔科夫模型可以产生同样的输出信号，仅通过输出倒推可能得到多个隐马尔科夫模型。但总会是一个模型M_(θ_2 )比另一个模型M_(θ_1 )更有可能产生观测到的输出，其中θ_1和θ_2是隐马尔科夫模型的参数。
首先找到一组能够产生输出序列O的模型参数得到初始模型M_(θ_0 )（一定存在，因为转移概率P和输出概率Q均为均匀分布时，模型可以产生任何输出，包括观察到的输出O）
根据和问题（1）和（2），可以算出这个模型产生O的概率P(O|M_(θ_0 ))，和这个模型产生O的所有可能路径以及这些路径的概率。这些可能的路径，实际上记录了每个状态经历了多少次，到达了哪些状态，输出了哪些符号，因此可以将他们看作标注的训练数据，并根据公式(6)、(7)计算出一组新的参数θ_1，从M_(θ_0 )到M_(θ_1 )称为一次迭代。可以证明
P(O│M_(θ_1 ) )>P(O|M_(θ_0 )) （8）
接下来，从M_(θ_1 )出发，可以找到更好的模型M_(θ_2 )。不断迭代下去，直到模型的质量没有明显提高为止。
每一次迭代不断估计新的模型参数，使得输出概率（目标函数）达到最大化，这个过程被称为期望最大化EM过程。
EM过程保证算法一定能收敛到一个局部最优点，很遗憾一般不能保证找到全局最优点。但如果目标函数是凸函数，则只有一个最优点，这种情况下EM过程可以找到最佳值。
五、隐马尔科夫模型应用
隐马尔科夫模型最初应用于通信领域，继而推广到语音和语言处理中，成为连接自然语言处理和通信的桥梁。
IBM Waston实验室贾里尼克、贝克夫妇用隐马尔科夫模型识别语音，错误率比人工智能和模式匹配方法降低了三分之二，从30%到10%。
20世纪80年代末，李开复博士采用隐马尔科夫模型成功开发了世界上第一个大词汇量连续语音识别系统Sphinx。
成功应用于机器翻译、拼写纠错、手写体识别、图像处理、基因序列分析、股票预测和投资。
文中图片来自网络，出处见图片水印，在此表示感谢。
吴军博士《数学之美》
第5章 隐马尔科夫模型
隐马尔科夫模型是解决大多数自然语言处理问题的快速、有效方法，成功解决了复杂的语音识别、机器翻译等问题。
一、问题提出
【通信模型——雅格布森通信六要素】（见下图1）
【基于通信视角的自然语言处理】：几乎所有的自然语言处理问题都可以等价成通信的解码问题，例如：
（1）基于通信视角的语音识别：根据声学信号推测说话者的意思。
信息源：头脑
信道：声带、空气
信号：声音
接收器：耳朵
（2）基于通信视角的机器翻译：利用计算机，根据接收的源语言信息，推测目标语言意思。
（3）基于通信视角的自动纠错：利用计算机，根据带有拼写错误的语句推测正确意思。
【建模】根据输出o1,o2,…，求解输入为s1,s2,…的概率，如下：
P(s1,s2,…| o1,o2,…)
=(P(o1,o2,…│s1,s2,…)*P(s1,s2,…))/(P(o1,o2,…))
∝P(o1,o2,…│s1,s2,…)*P(s1,s2,…) （1）
目标是找到使概率P(s1,s2,…| o1,o2,…)最大的s1,s2,…
s1,s2,…=ArgMax_(all s1,s2,…) P(s1,s2,…| o1,o2,…) （2）
在语音识别中，P(s1,s2,…| o1,o2,…)被称为声学模型(Acoustic Model)，在机器翻译中是翻译模型（Translation Modle），在拼写校正中是纠错模型（Correction Model）。
二、预备知识
随机过程即随机变量的时间序列s1,s2,…,st（如北京每天最高气温）。
【马尔科夫假设】：随机过程中各个状态st的概率分布，只与它的前一个状态st-1有关。如天气预报，假设今天的气温只与昨天有关，而和前天及之前无关。未必适合所有应用，但可以对很多复杂问题给出近似解。
【马尔科夫链】符合马尔科夫假设的随机过程成为马尔科夫过程，也称马尔科夫链。如下图2：
四个圈表示四个状态，每条边表示一个可能的状态转换，边上的全职是转移概率。例如，状态m1到m2之间只有一条边，且边上的权值为1，表示从状态m1只能能转换到状态m2，转移概率为1。从m2出发有两条边：到m3和m4。其中权值0.6和0.4分别表示：如果某个时刻t的状态st是m2，则下一个时刻状态st+1=m3的概率P(st+1=m3|st=m2)是0.6，st+1=m4的概率P(st+1=m4|st=m2)是0.4。
把这个马尔科夫链想象成机器，随机选择一个状态作为初始状态，随后按照上述规则随机选择后续状态。运行一段时间T后，产生一个状态序列：s1,s2,…,st。根据这个序列，不难数出某个状态mi出现的次数#(mi)，以及从mi转换到mj的次数#(mi,mj)，从而估计从mi到mj的转移概率#(mi,mj)/#(mi)。每一个状态只与前一个状态有关，而不论是如何到达前一个状态。例如，状态3到状态4的概率都是0.3，不论在此之前是如何进入状态3的（从状态2进入，还是在状态3兜了几个圈）。
三、隐马尔科夫模型(Hidden Markov Model)
对马尔科夫链的扩展：任意时刻t的状态st是不可见的，所以观察者没法通过观察到一个状态序列推测转移概率s1,s2,…,st等参数。
但隐马尔科夫模型每个时刻t会输出一个符号ot，而且ot和st相关且仅和st相关（独立输出假设）。结构如下图3：
其中隐含的状态s1,s2,…是一个典型的马尔科夫链。
P(s1,s2,…,o1,o2,…)=∏_t▒〖P(s_t│s_(t-1) )*P(o_t│s_t ) 〗 (3)
基于马尔科夫假设和独立输出假设，
P(o1,o2,…│s1,s2,…)=∏_t▒〖P(o_t│s_t ) 〗(4)
P(s1,s2,…)=∏_t▒〖P(s_t│s_(t-1) ) 〗(5)
因此，通信的解码问题可以用隐马尔科夫模型解决。而很多自然语言处理问题和通信的解码问题是等价的，因此可以用隐马尔科夫模型解决。
需要一个训练算法（鲍姆-韦尔奇算法）和使用时的解码算法（维特比算法），掌握了这两类算法，基本上可以使用隐马尔科夫模型了。
四、问题求解
围绕隐马尔科夫模型的三个基本问题
（1）给定一个模型，计算某个特定的输出序列的概率（Forword-Backword算法）
（2）给定一个模型和某个特定的输出序列，找到最可能产生这个输出的状态序列（利用维特比算法计算使概率最大化的输入序列s1,s2,…,st）
（3）给定足够量的观测数据，估计隐马尔科夫模型的参数（模型训练）
P(o_t│s_t )=(P(o_t,s_t))/(P(s_t))(6)
P(s_t│s_(t-1) )=(P(s_t,s_(t-1)))/(P(s_(t-1))) (7)
【有监督训练方法】如果有足够多人工标记数据，可以数出#(o_t,s_t)，#(s_t)，#(s_t,s_(t-1))，#(s_(t-1))，根据大数定律计算比值可以直接估算出模型参数。但难以获得大量标注数据。
【无监督训练方法】通过大量观测信号o1,o2,…推算模型参数P(o_t│s_t )和P(s_t│s_(t-1) )。如鲍姆-韦尔奇算法。
【鲍姆-韦尔奇算法】Baum-Welch Algorithm思想：两个不同的隐马尔科夫模型可以产生同样的输出信号，仅通过输出倒推可能得到多个隐马尔科夫模型。但总会是一个模型M_(θ_2 )比另一个模型M_(θ_1 )更有可能产生观测到的输出，其中θ_1和θ_2是隐马尔科夫模型的参数。
首先找到一组能够产生输出序列O的模型参数得到初始模型M_(θ_0 )（一定存在，因为转移概率P和输出概率Q均为均匀分布时，模型可以产生任何输出，包括观察到的输出O）
根据和问题（1）和（2），可以算出这个模型产生O的概率P(O|M_(θ_0 ))，和这个模型产生O的所有可能路径以及这些路径的概率。这些可能的路径，实际上记录了每个状态经历了多少次，到达了哪些状态，输出了哪些符号，因此可以将他们看作标注的训练数据，并根据公式(6)、(7)计算出一组新的参数θ_1，从M_(θ_0 )到M_(θ_1 )称为一次迭代。可以证明
P(O│M_(θ_1 ) )>P(O|M_(θ_0 )) （8）
接下来，从M_(θ_1 )出发，可以找到更好的模型M_(θ_2 )。不断迭代下去，直到模型的质量没有明显提高为止。
每一次迭代不断估计新的模型参数，使得输出概率（目标函数）达到最大化，这个过程被称为期望最大化EM过程。
EM过程保证算法一定能收敛到一个局部最优点，很遗憾一般不能保证找到全局最优点。但如果目标函数是凸函数，则只有一个最优点，这种情况下EM过程可以找到最佳值。
五、隐马尔科夫模型应用
隐马尔科夫模型最初应用于通信领域，继而推广到语音和语言处理中，成为连接自然语言处理和通信的桥梁。
IBM Waston实验室贾里尼克、贝克夫妇用隐马尔科夫模型识别语音，错误率比人工智能和模式匹配方法降低了三分之二，从30%到10%。
20世纪80年代末，李开复博士采用隐马尔科夫模型成功开发了世界上第一个大词汇量连续语音识别系统Sphinx。
成功应用于机器翻译、拼写纠错、手写体识别、图像处理、基因序列分析、股票预测和投资。
文中图片来自网络，出处见图片水印，在此表示感谢。
#宇宙可能存在方向性#
精细结构常数表示电子在第一玻尔轨道上的运动速度和真空中光速的比值。最近，澳洲新南威尔士大学的研究人员通过对遥远类星体的观测发现，宇宙各处的精细结构常数或许不是恒定的，其这种变化呈现出方向性，即宇宙可能存在偶极结构。另外一组在美国研究X射线的团队也支持了这种观点，他们也观测到了同样地宇宙“偶极”结构。该研究结果现在还亟待检验，但如果属实，将对基础物理的研究产生深远的影响，且意味着物理的“大统一场论”可能需要被搁置一段时间。
精细结构常数表示电子在第一玻尔轨道上的运动速度和真空中光速的比值。最近，澳洲新南威尔士大学的研究人员通过对遥远类星体的观测发现，宇宙各处的精细结构常数或许不是恒定的，其这种变化呈现出方向性，即宇宙可能存在偶极结构。另外一组在美国研究X射线的团队也支持了这种观点，他们也观测到了同样地宇宙“偶极”结构。该研究结果现在还亟待检验，但如果属实，将对基础物理的研究产生深远的影响，且意味着物理的“大统一场论”可能需要被搁置一段时间。
✋热门推荐