卡方分布与卡方检验

　

卡方分布

1.卡方分布

卡方分布(chi-square distribution, χ2" role="presentation" style="position: relative;">χ2${\chi }^2$-distribution)是概率统计里常用的一种概率分布，也是统计推断里应用最广泛的概率分布之一，在假设检验与置信区间的计算中经常能见到卡方分布的身影。

我们先来看看卡方分布的定义：

若k个独立的随机变量Z1,Z2,⋯,Zk，且符合标准正态分布N(0,1)，则这k个随机变量的平方和

X=∑i=1kZi2" role="presentation">X=∑i=1kZ2i$$X=\sum _{i=1}^k{Z}_i^2$$

为服从自由度为k的卡方分布，记为：

X∼χ2(k)" role="presentation">X∼χ2(k)$$X\sim {\chi }^2(k)$$

也可以记为：

X∼χk2" role="presentation">X∼χ2k$$X\sim {\chi }_k^2$$

卡方分布的期望与方差分为为：

E(χ2)=n" role="presentation" style="position: relative;">E(χ2)=n$E({\chi }^2)=n$，D(χ2)=2n" role="presentation" style="position: relative;">D(χ2)=2n$D({\chi }^2)=2n$，其中n为卡方分布的自由度。

2.卡方检验

χ2" role="presentation" style="position: relative;">χ2${\chi }^2$检验是以χ2" role="presentation" style="position: relative;">χ2${\chi }^2$分布为基础的一种假设检验方法，主要用于分类变量。其基本思想是根据样本数据推断总体的分布与期望分布是否有显著性差异，或者推断两个分类变量是否相关或者独立。

一般可以设原假设为 H0" role="presentation" style="position: relative;">H0$H_0$：观察频数与期望频数没有差异，或者两个变量相互独立不相关。

实际应用中，我们先假设H0" role="presentation" style="position: relative;">H0$H_0$成立，计算出χ2的值，χ2" role="presentation" style="position: relative;">χ2${\chi }^2$表示观察值与理论值之间的偏离程度。根据χ2" role="presentation" style="position: relative;">χ2${\chi }^2$分布，χ2" role="presentation" style="position: relative;">χ2${\chi }^2$统计量以及自由度，可以确定在H0" role="presentation" style="position: relative;">H0$H_0$成立的情况下获得当前统计量以及更极端情况的概率p。如果p很小，说明观察值与理论值的偏离程度大，应该拒绝原假设。否则不能拒绝原假设。

χ2" role="presentation" style="position: relative;">χ2${\chi }^2$的计算公式为：

χ2=∑(A−T)2T" role="presentation">χ2=∑(A−T)2T$${\chi }^2=\sum \frac{(A-T{)}^2}{T}$$

其中，A为实际值，T为理论值。

χ2" role="presentation" style="position: relative;">χ2${\chi }^2$用于衡量实际值与理论值的差异程度，这也是卡方检验的核心思想。χ2" role="presentation" style="position: relative;">χ2${\chi }^2$包含了以下两个信息：

• 实际值与理论值偏差的绝对大小。
• 差异程度与理论值的相对大小。

3.卡方检验做特征选择

卡方检验经常被用来做特征选择。举个网络上的例子，假设我们有一堆新闻标题，需要判断标题中包含某个词（比如吴亦凡）是否与该条新闻的类别归属（比如娱乐）是否有关，我们只需要简单统计就可以获得这样的一个四格表：

组别	属于娱乐	不属于娱乐	合计
不包含吴亦凡	19	24	43
包含吴亦凡	34	10	44
合计	53	34	87

通过这个四格表我们得到的第一个信息是：标题是否包含吴亦凡确实对新闻是否属于娱乐有统计上的差别，包含吴亦凡的新闻属于娱乐的比例更高，但我们还无法排除这个差别是否由于抽样误差导致。那么首先假设标题是否包含吴亦凡与新闻是否属于娱乐是独立无关的，随机抽取一条新闻标题，属于娱乐类别的概率是：(19 + 34) / (19 + 34 + 24 +10) = 60.9%

理论值的四格表为：

组别	属于娱乐	不属于娱乐	合计
不包含吴亦凡	43 * 0.609 = 26.2	43 * 0.391 = 16.8	43
包含吴亦凡	44 * 0.609 = 26.8	44 * 0.391 = 17.2	44

显然，如果两个变量是独立无关的，那么四格表中的理论值与实际值的差异会非常小。

则χ2" role="presentation" style="position: relative;">χ2${\chi }^2$值为:

χ2=(19−26.2)226.2+(34−26.8)226.8+(24−16.8)216.8+(10−17.2)217.2=10.00" role="presentation">χ2=(19−26.2)226.2+(34−26.8)226.8+(24−16.8)216.8+(10−17.2)217.2=10.00$${\chi }^2=\frac{(19-26.2{)}^2}{26.2}+\frac{(34-26.8{)}^2}{26.8}+\frac{(24-16.8{)}^2}{16.8}+\frac{(10-17.2{)}^2}{17.2}=10.00$$

标准的四格表χ2" role="presentation" style="position: relative;">χ2${\chi }^2$值可以用以下方式进行计算：

χ2=N∗(AD−BC)2(A+B)(C+D)(A+C)(B+D)" role="presentation">χ2=N∗(AD−BC)2(A+B)(C+D)(A+C)(B+D)$${\chi }^2=\frac{N\ast (AD-BC{)}^2}{(A+B)(C+D)(A+C)(B+D)}$$

其中，N=A+B+C+D" role="presentation" style="position: relative;">N=A+B+C+D$N=A+B+C+D$

得到χ2" role="presentation" style="position: relative;">χ2${\chi }^2$的值以后，怎样可以得知无关性假设是否可靠？接下来我们应该查询卡方分布的临界值表了。

首先我们明确自由度的概念：自由度v=(行数-1)*(列数-1)。

然后看卡方分布的临界概率，表如下：

一般我们取p=0.05，也就是说两者不相关的概率为0.05时，对应的卡方值为3.84。显然10.0>3.84，那就说明包含吴亦凡的新闻不属于娱乐的概率小于0.05。换句话说，包含吴亦凡的新闻与娱乐新闻相关的概率大于95%！

总结一下：我们可以通过卡方值来判断特征是否与类型有关。卡方值越大，说明关联越强，特征越需要保留。卡方值越小，说明越不相关，特征需要去除。

文章最后发布于: 2018-09-02 19:14:08

相关阅读

有了索尼黑卡RX100M5 人人都是天生丽质

漫山遍野的花海是多少女孩子追求的梦想，当遇到了那个美丽的地方，你一定不想错过如此的天然背景。如果你刚好带着轻便随身的索尼黑卡

钉钉打卡的范围是多少？怎么设置？

钉钉是阿里巴巴旗下的一款专为企业量身定制的办公软件，员工可以通过钉钉定位打卡，请假，沟通等工作，非常方便，那么钉钉打卡是怎么打的，打

R语言 scorecard包 评分卡

library(scorecard)data("germancredit")print(dim(germancredit))print(names(germancredit))print(head(germancredit[,20:21])

[颜色知识] 潘通色卡、CMYK、RGB、 ARGB...

潘通色卡C结尾的色号都是RGB色系的，而CMYK是印刷系的，两者不能通用的，所以，不能完全对等进行转换Pantone Colors【色卡】PANTONE潘通

把raw里的文件复制到SD卡中

把raw里的文件复制到SD卡中： package utils; import java.io.File; import java.io.FileOutputStream; import java.io.InputStrea