Naive Bayes Explained

- ：大家好, 欢迎回到机器学习课程｡ 我是Kirill Eremenko, 在今天的教程中, 我们将讨论朴素贝叶斯分类器｡ 这是一个非常有趣的机器学习算法, 今天我们将从一个非常直观的层面来了解它｡ 根据超级数据科学的使命, 即化繁为简, 我们将把这个复杂的主题分解为简单的步骤和小块的信息｡ 我准备了一些非常精彩的幻灯片｡ 所以让我们直接进入它｡ 好了, 我们得到了贝叶斯定理, 这是我们在上一节课中讨论过的｡ 所以现在我们应该对这个概念很熟悉了｡ 我们如何应用它来创建机器学习算法？ 好吧, 让我们来看看｡ 这里我们有一个数据集｡ 所以它有两个特点｡ 它有X1和X2｡ 又有两类：第一类是红色, 第二类是绿色｡ 但我们不使用这些抽象的术语, 我们要把它们转换成我们能更好理解的东西, 一些更容易操作或谈论的东西｡ 所以我们将Y变量称为X2变量｡ X1变量是年龄｡ 因此, 基本上, 我们是根据年龄和工资来表示观察结果或数据集中的人员｡ 如您所见, 图表上有30人｡ 我们将用“步行”来代替这些分类, “步行”是指步行上班｡ 绿色是“开车”, 意思是开车去上班｡ 现在我们来看看我们要解决的机器学习问题｡ 如果我们在这个集合中加入一个新的观察结果, 一个新的数据点, 会发生什么？ 我们如何对这个新数据点进行分类？ 正如你所知, 这是一个有监督的机器学习算法, 因为我们是基于先前已知的类别来分类的｡ 所以问题是, 这个人会被归类为步行上班的人还是开车上班的人？ 而朴素贝叶斯算法将帮助我们解决这个难题｡ 好吧, 那我们该怎么做？ 我们需要一个进攻计划｡ 这将是一个相当复杂的方法, 但同时, 我们将把它分解成几个步骤, 这一切都将是有意义的｡ 这很容易理解｡ 所以我们的进攻计划, 我们要用贝叶斯定理, 然后我们要应用两次. 第一次我们要用它来求出这个人在给定特征的情况下走路的概率, 这里的X是这个数据点的特征或者说代表这个数据点的特征. 让我们回到这里的视觉化｡ 这里你可以看到这是我们的新数据点｡ 那个人有一定的年龄｡ 假设这个人的年龄大概是25岁｡ 然后他们有薪水｡ 假设年薪为30, 000美元｡ 这些就是这个观察的特点｡ 为了简单起见, 现在我们只使用两个变量｡ 所以我们可以把事情形象化, 年龄和薪水｡ 但实际上, 可能还有很多很多更多的功能｡ 可能会有关于他们工作的行业, 或者他们受教育的年限, 或者他们有驾照的时间, 或者他们住的地方离工作地点有多远的信息｡ 所以可能有很多变量, 但同时我们现在只需要处理两个：年龄和薪水｡ 不管你有多少变量, 它们都被称为, 我们将称之为特征｡ 给定X的特征, 给定他25岁, 年薪3万美元, 我们稍后会更详细地讨论特征到底是什么｡ 所以这部分代表了我们要分类的那个人｡ 一个人具有这些特征X的可能性是多少？ 所以我们知道, 我们在新的数据点上找到了这些特征, 他们走路的可能性有多大？ 然后是右边｡ 所以我们将在计算的过程中逐一讨论｡ 但现在让我们从右到左给他们起名字｡ 这里这个叫做先验概率｡ 我们先计算它, 因为它最容易计算｡ 下一个是边际可能性我们要计算第二个. 第三个是可能性｡ 这只是他们的名字, 我们来计算第三个. 最后我们要找的是后验概率｡ 我们要计算第四个｡ 好了, 这就是我们的第一步进攻计划｡ 这仍然是第一步, 计算某人在给定这些特征X的情况下行走的概率, 我们在新的数据点上看到这些特征｡ 接下来, 我们要进行第二步, 在新的数据点中, 我们要计算出某个人驾驶给定特征X的概率. 这里我们又有先验概率, 我们先计算它, 然后是边际似然, 然后是似然, 最后是后验概率. 最后, 我们将比较一个人走过给定特征X的概率和一个人驾驶给定特征X的概率. 然后, 我们将决定将新数据点放入哪个类｡ 正如你所看到的, 朴素贝叶斯分类器是一种概率型的分类器, 因为我们首先要计算概率｡ 然后根据概率, 我们给它们分类. 好了, 你准备好执行这些步骤了吗？ 会很好玩的｡ 我们要慢慢来, 慢慢来, 慢慢地, 这样我们就明白了一切｡ 在这之后, 你将非常熟悉朴素贝叶斯分类器｡ 第一步｡ 好了, 这是我们的视觉效果｡ 我们把它往左移一点, 这样我们就可以腾出一些空间｡ 现在我们来计算贝叶斯定理中的第一概率. 我们要计算一个人逃脱的概率｡ 只是总的概率｡ 这是什么意思？ 这是一个人在不知道自己的情况下走路的概率｡ 所以我们只是说我们要在这里的数据集中添加一个新的观察结果, 但是我们不知道他们的年龄, 也不知道他们的工资｡ 我们只需要把它放到数据集中的某个地方｡ 我们要添加到数据库中的这个人步行上班的概率是多少？ 这很简单也很直接｡ 从这里开始, 我们没有太多选择｡ 我们唯一能做的就是计算出红色观测的数量, 实际行走的人数, 然后除以总数｡ 所以一个人在没有任何其他知识的情况下步行上班的概率是步行者的数量, 步行的人数, 也就是这些红点, 除以观察的总数, 绿点｡ 所以灰点没有参与这些计算｡ 所以这里有人走路的概率是10, 10个红点除以30个点｡ 好吧, 这很简单｡ 我们已经计算了先验概率｡ 接下来我们要计算边际可能性这就是有趣的地方. 那么我们如何计算边际可能性呢？ 我们来看看｡ 这是我们的数据集, 我们要做的第一件事是选择一个半径, 然后在观察结果周围画一个圆｡ 就像这样 现在这个半径, 你需要自己选择｡ 你需要决定你的算法｡ 这就像是算法中的一个输入参数｡ 你可以选择更少, 你可以选择更多｡ 这取决于你｡ 这个半径有什么用？ 我们要做的是, 首先, 为了让事情更简单, 我们先把点去掉, 这样我们就不会感到困惑了｡ 然后我们来看看这个半径内的所有点｡ 这里我们要说的是, 圆内的所有点, 我们会认为它们在特征上与我们所拥有的点相似｡ 我们有一个点, 记得它有一个年龄, 例如, 25岁, 年薪30,000美元｡ 所以现在我们要画一个收音机在它周围, 让我们假设任何人在20到30岁之间, 在25,000美元的工资到35000美元｡ 任何落在那个圆圈里的人, 都不是正方形｡ 这是一个圆圈 任何落在这附近的人都会被认为与我们要添加到数据集的新数据点相似｡ 所以你可以想象, 这个半径实际上会对你的算法的工作方式有很大的影响｡ 好吧, 假设我们有这个半径, 这就是它是如何发挥出来的｡ 这里有三个红点, 一个绿点｡ 好吧, 那我们现在怎么办？ 我们如何计算X的概率？ X的概率是多少？ X的概率是我们在数据集中加入的新点, 与我们实际加入的点, 在特征上相似的概率｡ 所以基本上就是我们要加的新点的概率, 或者像随机点一样, 我们要加的是随机点落入这个圆的概率. 而P（x）被计算为相似观测的数目｡ 我们在这个圆圈里已经看到的观测数据的数量｡ 所以一二三四｡ 除以观察总数, 即30｡ 所以P（x）等于4除以30｡ 再重申一遍, P（x）告诉我们, 我们添加到这个数据集中的任何新随机变量落入这个圆的可能性是多少｡ 它是4/30, 因为根据先验知识, 我们只有4个｡ 我们可以看出这里有4个, 总共有30个｡ 所以是4/30｡ 好吧, 这也不难｡ 我们计算了边际可能性｡ 到目前为止, 我们已经得到了这个, 我们已经得到了这个｡ 接下来我们讨论可能性, 这可能是最复杂的一个. 一个行走的人表现出X特征的可能性有多大？ 实际上, 在我们讨论了边际可能性之后, 计算可能性就不会那么复杂了｡ 让我们来看看｡ 这是我们的图表, 现在我们要做的是再画一次同样的圆. 再一次, 我们先把灰点去掉, 然后给圆圈上色｡ 所以任何落在圆圈内的东西都被认为与我们要加的点相似｡ 所以问题是, 从我们的数据集中随机选择的一个数据点, 与我们添加的数据点相似的概率是多少？ 所以基本上, 随机选择的数据点来自这个圆圈的可能性是多少, 给定这个垂直管道意味着给定这个人走路, 我们知道这个人走路去上班？ 另一种思考方式是, 我们只与步行上班的人合作｡ 所以我们只研究那些代表步行上班的人的红点｡ 所以让我们忘记绿点｡ 现在他们都晕了, 我们甚至都不谈论他们了｡ 我们只是在讨论红点｡ 所以问题是, 假设我们只使用红点, 从我们的数据集中随机选择的数据点, 从红点中随机选择的数据点, 与我们添加到数据集中的点具有相似特征的可能性有多大？ 那么基本上, 一个随机选择的红点, 落入这个灰色区域, 落入这个圆圈的可能性有多大？ 这就是我们要问的问题｡ 这也很简单｡ 现在我们知道了所有这些是如何工作的, 它基本上是那些工作的人之间相似观察的数量｡ 所以落在这个灰色圆圈里的红点的数量是3｡ 除以步行者总数｡ 步行上班的总人数是3/10｡ 我们走吧｡ 这就是某人表现出与我们要添加的数据点相似特征的可能性的P, 假设我们只在红点中选择｡ 所以是3/10, 这就是我们的可能性｡ 现在如果我们把这些都加进去, 就有可能完成｡ 所以如果我们把所有这些都代入, 我们就得到了后验概率｡ 所以3/10乘以10/30, 再除以4/30｡ 所以如果我们计算它, 它会给我们0｡ 75. 75%的概率是我们把某人放在我们放X的地方, 应该被归类为步行上班的人｡ 这是第一步｡ 很激烈吧？ 计算这个值非常令人兴奋｡ 接下来是第二步｡ 这是第一步完成｡ 下一步是第二步｡ 对于具有特征X的人将被分类为或应该被分类为开车上班的人的可能性, 做同样的事情｡ 现在我要给你们一个挑战 我想让你们暂停这段视频或者倒回去, 让图像呈现在你们面前, 然后自己做这些计算｡ 实际上通过相同的步骤并执行那些计算｡ 如果你想看看并与我的计算进行比较, 那么我将在这段视频之后放上另一段视频｡ 这门课之后还有一个教程｡ 因此, 您可以直接转到下一个教程并进行比较｡ 否则, 我现在就给你看结果｡ 所以结果是1/20的可能性或者我们从右边开始, 先验概率是20/30｡ 边际可能性保持不变, 4/30｡ 可能性变为1/20｡ 因此, 表现出特征X的人是开车上班的人的概率是25%｡ 这就是第二步｡ 现在我们来做第三步｡ 我们要比较一个人具有X特征的概率｡ 他们是步行上班的人的概率与具有X特征的人开车上班的概率｡ 所以是75%对25%｡ 因此第一个大于第二个｡ 因此, 具有特征X的人更有可能是步行上班的人, 而不是开车上班的人｡ 所以仍然有25%的可能性是开车上班的人, 但是步行上班的可能性更大, 为75%｡ 因此, 我们把这一点归为步行上班的人. 我们走吧｡ 这就是机器学习中的朴素贝叶斯算法的工作原理｡ 希望本教程对您有用｡ 我对这些幻灯片感到非常兴奋和自豪, 希望这是对一个复杂概念的一步一步和简单的解释｡ 我期待着下次见到你｡ 在此之前, 请尽情享受机器学习吧｡