《哎呀，不可思议手帐》
花了两天时间看完 @Gloria希希 的书《哎呀，不可思议手帐》，重新燃起了对手帐的那份初心和热情[中国赞][中国赞]。是啊，当时为何在那么多千千万万的爱好中选择了手帐，不就是因为能通过手帐去记录生活、理顺自己的人生和减压吗？但不知道从什么开始，自己对写出来的东西不再满意，一直在追求版式的美，而忽略了手帐带给我的意义。
如果你想记录自己的生活，也想制作属于自己的手帐，真的推荐来看看希希的这本书，书里会教你如何选择合适的手帐工具、版面如何布局、如何来按照自己的需求安排合适的手帐本。此外还收录了文具收纳、打印技法、创意DIY等内容……其实不管是all in one，还是单一的专题手帐，方法在其中，关键的还是你如何利用手帐去梳理自身的生活，把手帐和生活相结合，记录平凡生活中美好的一切及所遇见的风景时当下的那种内心感触[鼓掌]
日本作家芥川龙之介说过：“删除我一生中的任何一个瞬间，我都不能成为今天的自己”手帐，不也是如此吗？它不仅是一种生活方式，更是一种生活哲学。也许很多人说，你花费那么多时间搞些小孩子的玩意浪费钱又浪费时间，有意思吗？但有有些事情，当下并不能显示完它的所有意义，但多年后这决定是无比珍贵的财富吧，因为它承载了年少的你的梦想、希望、欢笑和泪水[给你小心心][给你小心心]
@广州趁早读书会 @广州行动派手帐小组 @手帐小行星 @手帐说 @给你看看我的手帐吧 @读书
#Cice 's booklist##我们读书吧#
#studyaccount[超话]#
花了两天时间看完 @Gloria希希 的书《哎呀，不可思议手帐》，重新燃起了对手帐的那份初心和热情[中国赞][中国赞]。是啊，当时为何在那么多千千万万的爱好中选择了手帐，不就是因为能通过手帐去记录生活、理顺自己的人生和减压吗？但不知道从什么开始，自己对写出来的东西不再满意，一直在追求版式的美，而忽略了手帐带给我的意义。
如果你想记录自己的生活，也想制作属于自己的手帐，真的推荐来看看希希的这本书，书里会教你如何选择合适的手帐工具、版面如何布局、如何来按照自己的需求安排合适的手帐本。此外还收录了文具收纳、打印技法、创意DIY等内容……其实不管是all in one，还是单一的专题手帐，方法在其中，关键的还是你如何利用手帐去梳理自身的生活，把手帐和生活相结合，记录平凡生活中美好的一切及所遇见的风景时当下的那种内心感触[鼓掌]
日本作家芥川龙之介说过：“删除我一生中的任何一个瞬间，我都不能成为今天的自己”手帐，不也是如此吗？它不仅是一种生活方式，更是一种生活哲学。也许很多人说，你花费那么多时间搞些小孩子的玩意浪费钱又浪费时间，有意思吗？但有有些事情，当下并不能显示完它的所有意义，但多年后这决定是无比珍贵的财富吧，因为它承载了年少的你的梦想、希望、欢笑和泪水[给你小心心][给你小心心]
@广州趁早读书会 @广州行动派手帐小组 @手帐小行星 @手帐说 @给你看看我的手帐吧 @读书
#Cice 's booklist##我们读书吧#
#studyaccount[超话]#
读书打卡6
吴军博士《数学之美》
第5章 隐马尔科夫模型
隐马尔科夫模型是解决大多数自然语言处理问题的快速、有效方法，成功解决了复杂的语音识别、机器翻译等问题。
一、问题提出
【通信模型——雅格布森通信六要素】（见下图1）
【基于通信视角的自然语言处理】：几乎所有的自然语言处理问题都可以等价成通信的解码问题，例如：
（1）基于通信视角的语音识别：根据声学信号推测说话者的意思。
信息源：头脑
信道：声带、空气
信号：声音
接收器：耳朵
（2）基于通信视角的机器翻译：利用计算机，根据接收的源语言信息，推测目标语言意思。
（3）基于通信视角的自动纠错：利用计算机，根据带有拼写错误的语句推测正确意思。
【建模】根据输出o1,o2,…，求解输入为s1,s2,…的概率，如下：
P(s1,s2,…| o1,o2,…)
=(P(o1,o2,…│s1,s2,…)*P(s1,s2,…))/(P(o1,o2,…))
∝P(o1,o2,…│s1,s2,…)*P(s1,s2,…) （1）
目标是找到使概率P(s1,s2,…| o1,o2,…)最大的s1,s2,…
s1,s2,…=ArgMax_(all s1,s2,…) P(s1,s2,…| o1,o2,…) （2）
在语音识别中，P(s1,s2,…| o1,o2,…)被称为声学模型(Acoustic Model)，在机器翻译中是翻译模型（Translation Modle），在拼写校正中是纠错模型（Correction Model）。
二、预备知识
随机过程即随机变量的时间序列s1,s2,…,st（如北京每天最高气温）。
【马尔科夫假设】：随机过程中各个状态st的概率分布，只与它的前一个状态st-1有关。如天气预报，假设今天的气温只与昨天有关，而和前天及之前无关。未必适合所有应用，但可以对很多复杂问题给出近似解。
【马尔科夫链】符合马尔科夫假设的随机过程成为马尔科夫过程，也称马尔科夫链。如下图2：
四个圈表示四个状态，每条边表示一个可能的状态转换，边上的全职是转移概率。例如，状态m1到m2之间只有一条边，且边上的权值为1，表示从状态m1只能能转换到状态m2，转移概率为1。从m2出发有两条边：到m3和m4。其中权值0.6和0.4分别表示：如果某个时刻t的状态st是m2，则下一个时刻状态st+1=m3的概率P(st+1=m3|st=m2)是0.6，st+1=m4的概率P(st+1=m4|st=m2)是0.4。
把这个马尔科夫链想象成机器，随机选择一个状态作为初始状态，随后按照上述规则随机选择后续状态。运行一段时间T后，产生一个状态序列：s1,s2,…,st。根据这个序列，不难数出某个状态mi出现的次数#(mi)，以及从mi转换到mj的次数#(mi,mj)，从而估计从mi到mj的转移概率#(mi,mj)/#(mi)。每一个状态只与前一个状态有关，而不论是如何到达前一个状态。例如，状态3到状态4的概率都是0.3，不论在此之前是如何进入状态3的（从状态2进入，还是在状态3兜了几个圈）。
三、隐马尔科夫模型(Hidden Markov Model)
对马尔科夫链的扩展：任意时刻t的状态st是不可见的，所以观察者没法通过观察到一个状态序列推测转移概率s1,s2,…,st等参数。
但隐马尔科夫模型每个时刻t会输出一个符号ot，而且ot和st相关且仅和st相关（独立输出假设）。结构如下图3：
其中隐含的状态s1,s2,…是一个典型的马尔科夫链。
P(s1,s2,…,o1,o2,…)=∏_t▒〖P(s_t│s_(t-1) )*P(o_t│s_t ) 〗 (3)
基于马尔科夫假设和独立输出假设，
P(o1,o2,…│s1,s2,…)=∏_t▒〖P(o_t│s_t ) 〗(4)
P(s1,s2,…)=∏_t▒〖P(s_t│s_(t-1) ) 〗(5)
因此，通信的解码问题可以用隐马尔科夫模型解决。而很多自然语言处理问题和通信的解码问题是等价的，因此可以用隐马尔科夫模型解决。
需要一个训练算法（鲍姆-韦尔奇算法）和使用时的解码算法（维特比算法），掌握了这两类算法，基本上可以使用隐马尔科夫模型了。
四、问题求解
围绕隐马尔科夫模型的三个基本问题
（1）给定一个模型，计算某个特定的输出序列的概率（Forword-Backword算法）
（2）给定一个模型和某个特定的输出序列，找到最可能产生这个输出的状态序列（利用维特比算法计算使概率最大化的输入序列s1,s2,…,st）
（3）给定足够量的观测数据，估计隐马尔科夫模型的参数（模型训练）
P(o_t│s_t )=(P(o_t,s_t))/(P(s_t))(6)
P(s_t│s_(t-1) )=(P(s_t,s_(t-1)))/(P(s_(t-1))) (7)
【有监督训练方法】如果有足够多人工标记数据，可以数出#(o_t,s_t)，#(s_t)，#(s_t,s_(t-1))，#(s_(t-1))，根据大数定律计算比值可以直接估算出模型参数。但难以获得大量标注数据。
【无监督训练方法】通过大量观测信号o1,o2,…推算模型参数P(o_t│s_t )和P(s_t│s_(t-1) )。如鲍姆-韦尔奇算法。
【鲍姆-韦尔奇算法】Baum-Welch Algorithm思想：两个不同的隐马尔科夫模型可以产生同样的输出信号，仅通过输出倒推可能得到多个隐马尔科夫模型。但总会是一个模型M_(θ_2 )比另一个模型M_(θ_1 )更有可能产生观测到的输出，其中θ_1和θ_2是隐马尔科夫模型的参数。
首先找到一组能够产生输出序列O的模型参数得到初始模型M_(θ_0 )（一定存在，因为转移概率P和输出概率Q均为均匀分布时，模型可以产生任何输出，包括观察到的输出O）
根据和问题（1）和（2），可以算出这个模型产生O的概率P(O|M_(θ_0 ))，和这个模型产生O的所有可能路径以及这些路径的概率。这些可能的路径，实际上记录了每个状态经历了多少次，到达了哪些状态，输出了哪些符号，因此可以将他们看作标注的训练数据，并根据公式(6)、(7)计算出一组新的参数θ_1，从M_(θ_0 )到M_(θ_1 )称为一次迭代。可以证明
P(O│M_(θ_1 ) )>P(O|M_(θ_0 )) （8）
接下来，从M_(θ_1 )出发，可以找到更好的模型M_(θ_2 )。不断迭代下去，直到模型的质量没有明显提高为止。
每一次迭代不断估计新的模型参数，使得输出概率（目标函数）达到最大化，这个过程被称为期望最大化EM过程。
EM过程保证算法一定能收敛到一个局部最优点，很遗憾一般不能保证找到全局最优点。但如果目标函数是凸函数，则只有一个最优点，这种情况下EM过程可以找到最佳值。
五、隐马尔科夫模型应用
隐马尔科夫模型最初应用于通信领域，继而推广到语音和语言处理中，成为连接自然语言处理和通信的桥梁。
IBM Waston实验室贾里尼克、贝克夫妇用隐马尔科夫模型识别语音，错误率比人工智能和模式匹配方法降低了三分之二，从30%到10%。
20世纪80年代末，李开复博士采用隐马尔科夫模型成功开发了世界上第一个大词汇量连续语音识别系统Sphinx。
成功应用于机器翻译、拼写纠错、手写体识别、图像处理、基因序列分析、股票预测和投资。
文中图片来自网络，出处见图片水印，在此表示感谢。
吴军博士《数学之美》
第5章 隐马尔科夫模型
隐马尔科夫模型是解决大多数自然语言处理问题的快速、有效方法，成功解决了复杂的语音识别、机器翻译等问题。
一、问题提出
【通信模型——雅格布森通信六要素】（见下图1）
【基于通信视角的自然语言处理】：几乎所有的自然语言处理问题都可以等价成通信的解码问题，例如：
（1）基于通信视角的语音识别：根据声学信号推测说话者的意思。
信息源：头脑
信道：声带、空气
信号：声音
接收器：耳朵
（2）基于通信视角的机器翻译：利用计算机，根据接收的源语言信息，推测目标语言意思。
（3）基于通信视角的自动纠错：利用计算机，根据带有拼写错误的语句推测正确意思。
【建模】根据输出o1,o2,…，求解输入为s1,s2,…的概率，如下：
P(s1,s2,…| o1,o2,…)
=(P(o1,o2,…│s1,s2,…)*P(s1,s2,…))/(P(o1,o2,…))
∝P(o1,o2,…│s1,s2,…)*P(s1,s2,…) （1）
目标是找到使概率P(s1,s2,…| o1,o2,…)最大的s1,s2,…
s1,s2,…=ArgMax_(all s1,s2,…) P(s1,s2,…| o1,o2,…) （2）
在语音识别中，P(s1,s2,…| o1,o2,…)被称为声学模型(Acoustic Model)，在机器翻译中是翻译模型（Translation Modle），在拼写校正中是纠错模型（Correction Model）。
二、预备知识
随机过程即随机变量的时间序列s1,s2,…,st（如北京每天最高气温）。
【马尔科夫假设】：随机过程中各个状态st的概率分布，只与它的前一个状态st-1有关。如天气预报，假设今天的气温只与昨天有关，而和前天及之前无关。未必适合所有应用，但可以对很多复杂问题给出近似解。
【马尔科夫链】符合马尔科夫假设的随机过程成为马尔科夫过程，也称马尔科夫链。如下图2：
四个圈表示四个状态，每条边表示一个可能的状态转换，边上的全职是转移概率。例如，状态m1到m2之间只有一条边，且边上的权值为1，表示从状态m1只能能转换到状态m2，转移概率为1。从m2出发有两条边：到m3和m4。其中权值0.6和0.4分别表示：如果某个时刻t的状态st是m2，则下一个时刻状态st+1=m3的概率P(st+1=m3|st=m2)是0.6，st+1=m4的概率P(st+1=m4|st=m2)是0.4。
把这个马尔科夫链想象成机器，随机选择一个状态作为初始状态，随后按照上述规则随机选择后续状态。运行一段时间T后，产生一个状态序列：s1,s2,…,st。根据这个序列，不难数出某个状态mi出现的次数#(mi)，以及从mi转换到mj的次数#(mi,mj)，从而估计从mi到mj的转移概率#(mi,mj)/#(mi)。每一个状态只与前一个状态有关，而不论是如何到达前一个状态。例如，状态3到状态4的概率都是0.3，不论在此之前是如何进入状态3的（从状态2进入，还是在状态3兜了几个圈）。
三、隐马尔科夫模型(Hidden Markov Model)
对马尔科夫链的扩展：任意时刻t的状态st是不可见的，所以观察者没法通过观察到一个状态序列推测转移概率s1,s2,…,st等参数。
但隐马尔科夫模型每个时刻t会输出一个符号ot，而且ot和st相关且仅和st相关（独立输出假设）。结构如下图3：
其中隐含的状态s1,s2,…是一个典型的马尔科夫链。
P(s1,s2,…,o1,o2,…)=∏_t▒〖P(s_t│s_(t-1) )*P(o_t│s_t ) 〗 (3)
基于马尔科夫假设和独立输出假设，
P(o1,o2,…│s1,s2,…)=∏_t▒〖P(o_t│s_t ) 〗(4)
P(s1,s2,…)=∏_t▒〖P(s_t│s_(t-1) ) 〗(5)
因此，通信的解码问题可以用隐马尔科夫模型解决。而很多自然语言处理问题和通信的解码问题是等价的，因此可以用隐马尔科夫模型解决。
需要一个训练算法（鲍姆-韦尔奇算法）和使用时的解码算法（维特比算法），掌握了这两类算法，基本上可以使用隐马尔科夫模型了。
四、问题求解
围绕隐马尔科夫模型的三个基本问题
（1）给定一个模型，计算某个特定的输出序列的概率（Forword-Backword算法）
（2）给定一个模型和某个特定的输出序列，找到最可能产生这个输出的状态序列（利用维特比算法计算使概率最大化的输入序列s1,s2,…,st）
（3）给定足够量的观测数据，估计隐马尔科夫模型的参数（模型训练）
P(o_t│s_t )=(P(o_t,s_t))/(P(s_t))(6)
P(s_t│s_(t-1) )=(P(s_t,s_(t-1)))/(P(s_(t-1))) (7)
【有监督训练方法】如果有足够多人工标记数据，可以数出#(o_t,s_t)，#(s_t)，#(s_t,s_(t-1))，#(s_(t-1))，根据大数定律计算比值可以直接估算出模型参数。但难以获得大量标注数据。
【无监督训练方法】通过大量观测信号o1,o2,…推算模型参数P(o_t│s_t )和P(s_t│s_(t-1) )。如鲍姆-韦尔奇算法。
【鲍姆-韦尔奇算法】Baum-Welch Algorithm思想：两个不同的隐马尔科夫模型可以产生同样的输出信号，仅通过输出倒推可能得到多个隐马尔科夫模型。但总会是一个模型M_(θ_2 )比另一个模型M_(θ_1 )更有可能产生观测到的输出，其中θ_1和θ_2是隐马尔科夫模型的参数。
首先找到一组能够产生输出序列O的模型参数得到初始模型M_(θ_0 )（一定存在，因为转移概率P和输出概率Q均为均匀分布时，模型可以产生任何输出，包括观察到的输出O）
根据和问题（1）和（2），可以算出这个模型产生O的概率P(O|M_(θ_0 ))，和这个模型产生O的所有可能路径以及这些路径的概率。这些可能的路径，实际上记录了每个状态经历了多少次，到达了哪些状态，输出了哪些符号，因此可以将他们看作标注的训练数据，并根据公式(6)、(7)计算出一组新的参数θ_1，从M_(θ_0 )到M_(θ_1 )称为一次迭代。可以证明
P(O│M_(θ_1 ) )>P(O|M_(θ_0 )) （8）
接下来，从M_(θ_1 )出发，可以找到更好的模型M_(θ_2 )。不断迭代下去，直到模型的质量没有明显提高为止。
每一次迭代不断估计新的模型参数，使得输出概率（目标函数）达到最大化，这个过程被称为期望最大化EM过程。
EM过程保证算法一定能收敛到一个局部最优点，很遗憾一般不能保证找到全局最优点。但如果目标函数是凸函数，则只有一个最优点，这种情况下EM过程可以找到最佳值。
五、隐马尔科夫模型应用
隐马尔科夫模型最初应用于通信领域，继而推广到语音和语言处理中，成为连接自然语言处理和通信的桥梁。
IBM Waston实验室贾里尼克、贝克夫妇用隐马尔科夫模型识别语音，错误率比人工智能和模式匹配方法降低了三分之二，从30%到10%。
20世纪80年代末，李开复博士采用隐马尔科夫模型成功开发了世界上第一个大词汇量连续语音识别系统Sphinx。
成功应用于机器翻译、拼写纠错、手写体识别、图像处理、基因序列分析、股票预测和投资。
文中图片来自网络，出处见图片水印，在此表示感谢。
#严浩翔[超话]# |#严浩翔 字典里没有认命#
【助力搬家 联合礼包】
四月搬家 第一出榜
铜版纸手幅/镭射手幅/奶茶兜/捏脸扇/明信片
要求：＞186
1⃣️带每日tag转发+15字以上文案+艾特小严
抽取3位 应援物掉落三件以上 出示切耗50个以上 切耗越多可以掉落越多应援物
2⃣️热转抽1位分别送出应援物all set
3⃣️切耗168个以上可以直接领取all set（截止至搬家结束 出示群相册打卡记录，不可与以上重复领取）
感谢捕捉姐姐的授权 正文页不打扰了
联合@奈雪未眠 @·揪雾札记· @喝杯西柚气泡水
一切只为最好的@时代少年团-严浩翔 https://t.cn/A6Afjnm0
【助力搬家 联合礼包】
四月搬家 第一出榜
铜版纸手幅/镭射手幅/奶茶兜/捏脸扇/明信片
要求：＞186
1⃣️带每日tag转发+15字以上文案+艾特小严
抽取3位 应援物掉落三件以上 出示切耗50个以上 切耗越多可以掉落越多应援物
2⃣️热转抽1位分别送出应援物all set
3⃣️切耗168个以上可以直接领取all set（截止至搬家结束 出示群相册打卡记录，不可与以上重复领取）
感谢捕捉姐姐的授权 正文页不打扰了
联合@奈雪未眠 @·揪雾札记· @喝杯西柚气泡水
一切只为最好的@时代少年团-严浩翔 https://t.cn/A6Afjnm0
✋热门推荐