欢迎光临建材消费网
用户名: 密码:  注册
 
   
 
新闻热线:78465582  编辑在线:162155508
 
   
   
 您的位置:建材消费网 > 品牌 > 产品推荐 > 正文

贝叶斯分析

2017-09-30 03:21编辑:admin 阅读次数:
  导读:     开头先开个玩笑, 有人说“信贝爷, 得永生” 你是否理解此中真意? 贝叶斯分析是整个机器学习的基础框架, 它的思想之深刻远出一般人所认知的, 我们这里要从贝

开头先开个玩笑, 有人说“信贝爷, 得永生” 你是否理解此中真意?

beiyesifenxi

贝叶斯分析是整个机器学习的基础框架, 它的思想之深刻远出一般人所认知的, 我们这里要从贝叶斯统计说起。

贝叶斯统计

首先谈概率,概率这件事大家都觉得自己很熟悉, 叫你说概率的定义 , 你却不一定说的出,我们中学课本里说概率这个东西表述是一件事发生的频率,或者说这叫做客观概率。

而贝叶斯框架下的概率理论确从另一个角度给我们展开了答案, 他说概率是我们个人的一个主观概念, 表明我们对某个事物发生的相信程度。 如同 Pierre Lapalace 说的: Probability theory is nothing but common sense reduced to calculation.这正是贝叶斯流派的核心,换句话说,它解决的是来自外部的信息与我们大脑内信念的交互关系。

两种对于概率的解读区别了频率流派和贝叶斯流派。如果你不理解主观概率就无法理解贝叶斯定律的核心思想。

我们来看一下贝叶斯统计的一个有趣的案例案例:假如你是一个女生, 你在你的老公书包里发现了一个别的女人的内裤那么他出轨的概率是多少。

稍微熟悉这个问题的人对会知道做这个题目你要先考察基率,你要把这个问题分解为几步考虑:

你老公在没有任何概率情况下出轨的概率是多少? 如果他是个天生老实巴交的程序员或者风流倜傥的 CEO , 那么显然不该一视同仁

如果你老公出轨了, 那么他有一条内裤的概率是多少, 如果他没出轨, 出现这个情况概率有多少? 想想一般人即使出轨也不会犯那么傻的错误, 会不会有没出轨而出现内裤的状况? 有没有可能是某个暗恋你老公的人的陷害?

根据1 和2求解最终问题,这才是拥有大学数学能力的你该做的分析。

在这里1其实就是先验概率 P(A),而2是条件概率 P(B|A), 最终得到3后验概率 P(A|B)。这三种即是贝叶斯统计的三要素。

基于条件概率的贝叶斯定律数学方程极为简单:

A 即出轨, B 是内裤出现, 你得到1、2,就可以根据公式算出根据根据内裤出现判断出轨的概率。

先验概率在贝叶斯统计中具有重要意义,首先先验概率即我们在取得证据之前所指定的概率 P(A), 这个值通常是根据我们之前的常识,带有一定的主观色彩。 就像刚刚说的出轨的问题, 你的先验概率代表了你对你男人的信心。

有一个非常有趣的现象是如果我们的先验概率审定为1或0(即肯定或否定某件事发生), 那么无论我们如何增加证据你也依然得到同样的条件概率(此时 P(A)=0 或 1 , P(A|B)= 0或1) 这告诉我们的第一个经验就是不要过早的下论断, 下了论断你的预测也就无法进化了, 或者可以称之为信仰。

你如果想让你的认知进步,就要给各种假设留一点空间。

贝叶斯分析

贝叶斯分析的思路对于由证据的积累来推测一个事物发生的概率具有重大作用,它告诉我们当我们要预测一个事物, 我们需要的是首先根据已有的经验和知识推断一个先验概率, 然后在新证据不断积累的情况下调整这个概率。整个通过积累证据来得到一个事件发生概率的过程我们称为贝叶斯分析

贝叶斯分析中的三要素(即刚讲的贝叶斯统计三要素)在不同的问题中通常侧重点 , 很多时候我们都是在忽略先验概率的作用,比如描述一个人很书呆子气让你判断他是大学老师还是销售员的经典案例(要看先验大学老师还是销售员哪个多啊)。 但是有时候我们也不理解条件概率, 比如著名的辛普森案, 为了证明辛普森有杀妻之罪,检方说辛普森之前家暴,而辩护律师说,美国有400万女性被丈夫或男友打过,而其中只有1432人被杀,概率是2800分之一。 这其实就是勿用了后验概率, 这里的条件是被杀而且有家暴,而要推测的事件是凶手是男友(事实上概率高达90%),这才是贝叶斯分析的正当用法, 而辩护律师却把完全在混淆条件与要验证的假设。

法庭

图: 贝叶斯分析法庭也用的上哦!

贝爷4

理解贝叶斯分析最好的方法即图像法, 这里的 A 的面积即先验, 后验是阴影占蓝圈的百分比。

贝叶斯分析可以瞬间理解一些常用的理论, 如幸存者偏差,你发现一些没读过书的人很有钱,事实上是你发现就已经是幸存者了(对应上图中小红圈), 而死了的人(红圈外的大部分面积)你都没见到啊。还有阴谋论, 阴谋论的特点是条件很多很复杂, 但是条件一旦成立,结论几乎成立, 你一旦考虑了先验,这些条件成立本身即很困难, 阴谋论不攻自克。

注: 图上红圈和篮圈的面积, 很少我们在开始就知道, 这才是应用中的难点。

此处贝叶斯分析的框架也在教我们如何处理特例与一般常识的规律。如果你太注重特例(即完全不看先验概率) 很有可能会误把噪声看做信号, 而奋不顾身的跳下去。 而如果恪守先验概率, 就成为无视变化而墨守成规的人。其实只有贝叶斯流的人生存率会更高, 因为他们会重视特例, 但也不忘记书本的经验,根据贝叶斯公式小心调整信心,甚至会主动设计实验根据信号判断假设,这就是我们下一步要讲的。

贝叶斯决策

在刚刚讲到的贝叶斯统计分析的基础上, 我们就可以引出一个更核心的概念, 贝叶斯决策。

贝叶斯决策主要包含四个部分: 数据(D)、假设(W)、目标(O)、决策(S)

此处的数据即之前讲到的证据, 假设是我们要验证的事实, 目标是我们最终要取得优化的量, 决策时根据目标得到的最后行为。 与上一步贝叶斯分析增加的部分是目标和决策。假设在问题里如果是连续的往往以参数空间的形式表达。

然后我们可以按照如下步骤做:

第一, 理清因果链条,哪个是假设,哪个是证据

第二,给出所有可能假设,即假设空间

第三,给出先验概率

第四,根据贝叶斯概率公式求解后验概率,得到假设空间的后验概率分布

第五,利用后验概率求解条件期望,得到条件期望最大值对应的行为

贝叶斯决策如果一旦变成自动化的计算机算法,它就是机器学习。

OK,此处应有掌声,我们就用贝叶斯决策诠释一个最简单的机器学习分类算法- 朴素贝叶斯。

朴素贝叶斯

假设给你一个人的身高和体重资料,你不知道他的男女性别, 你可以通过我上述给出的贝叶斯决策机制解决这个问题:

首先, 此处我们的证据是身高和体重,假设是男或女。

先验概率是人口中的男女比例,而我们需要掌握的条件概率是男性和女性的身高和体重分布, 这应该是很好掌握的信息。

然后我们可以根据贝叶斯公式求解后验概率,而此处我们要做的决策时男女,目标是分类错误率最低,决策即性别分类。

此处我们用到一个基本假设就是证据是互相独立的,使我们能够求得更简单的公式:

贝爷5

贝爷43

图:朴素贝叶斯,核心在于假设证据互相独立。

用数学语言白表征这个问题, X 特征向量,h 把 X 映射成不同的分类, 我们要求得是 P(y|x) 正确率最大的假设(y)。

贝爷nnn

贝爷7

图:贝叶斯决策理论是构建有监督机器学习算法的重要基石,比如上面的性别问题我们可以在训练部分根据已有数据求出不同性别身高和体重的概率分布,而在测试部分用朴素贝叶斯分类器进行决策。

事实上, 贝叶斯决策很少只涉及 A 和 B ,而是内部包含非常关键的隐变量(参数),涉及我们对所研究事物的一些基本预设。比如下面这个特别简单的例子:

建材消费网 中国智能家居行业资讯门户网站 关注智能家居的方方面面 服务QQ:646161 e-mail:22112@163.com
Copyright © 2002-2011 建材消费网 版权所有 | 吉ICP备14005127号-2 Power by DedeCms
本站部分资源来自网友上传,如果无意之中侵犯了您的版权,请联系本站,本站将在3个工作日内删除