调查中零频数过多的统计分析方法

第３４卷第５期　２０１５年５月　绵阳师范学院学报　

Ｊｏｕｍａｌ　ｏｆ　Ｍｉａｎｙａｎｇ　Ｎｏｒｍａｌ　Ｕｎｉｖ　，２０１５　

调查中零频数过多的统计分析方法　赵国敏，李国东　（新疆财经大学，乌鲁木齐８３００１２）　

摘要：无论是在自然科学领域还是在人文社会科学领域，我们会遇到各种各样的计数数据．对于社会生　活、生产、管理中的一些计数数据通常是用泊松分布以及泊松过程来描述具有非常好的拟合效果．然而实际环境　中，由于受各种因素影响与制约，出现了很多频数为零的数据．此时对含零特别多的计数数据，我们仍用泊松回归　模型拟合就有些不合适了［　，因此人们开始构造新的模型，其中对于这种数据拟合效果比较好的一种模型就是零　过多泊松分布模型（ｚｅｒ０一Ｉｎｆｌａｔｅｄ　Ｐｏｉｓｓｏｎ　Ｄｉｓｔｒｉｂｕｔｉｏｎ）Ｃ３，５１．　

关键词：零过多泊松分布（ＺＩＰ）；泊松分布；用车发生问题次数　中图分类号：０２１２　文献标志码：Ａ　文章编号：１６７２－６１２ｘ（２０１５）０５－０００８－０４　

１　资料来源　大陆汽车俱乐部有限公司跟踪了８７００位车主在２００７年全年的用车情况，总结了２００７年中国汽车问　题使用年度报告．报告显示：在这些车主的用车过程中，有２８９５位车主的汽车发生了问题，发生问题车辆　数约为样本总量的３３．２８％．也即没有发生问题的车辆数约占样本总量的６６．７２％．调查得知平均每辆车　发生问题的次数约为０．７２次，如果用泊松分布来拟合（Ａ＝０．７２），则汽车发生问题次数Ｋ＝０的概率约为　４９．７４％．对所得数据进行泊松检验，Ｐ值远小于０．００１，数据不符合泊松分布．　为了进一步说明该数据不符合泊松分布，还可把观测值的分布与模拟泊松分布数据相比较（如表１），　由图１可看出观察值与泊松分布拟合比较差．　表１拟合数据相比　Ｔａｂ．１　Ｃｏｍｐａｒｉｓｏｎ　ｏｆ　ｆｉｔｔｉｎｇ　ｄａｔａ　

２零过多泊松分布模型实例应用　２．１零过多泊松分布模型　由以上数据及图表可以看出观测值车辆发生问题次数为零的数　据明显偏多，此时仍用泊松分布来拟合就不合适了，因此人们开始构　造新的模型，其中对于这种数据拟合效果比较好的一种模型就是零　过多泊松分布模型（Ｚｅｒｏ—Ｉｎｆｌａｔｅｄ　Ｐｏｉｓｓｏｎ　Ｄｉｓｔｒｉｂｕｔｉｏｎ），ＺＩＰ模型是目　前情况下处理零过多资料常用的一种分析方法．此模型是由一个在　零处具有概率质量的退化分布和一个普通泊松分布混合形成的．ＺＩＰ　

收稿日期：２０１４—０２—２０　作者简介：赵国敏（１９８８一），女，河北人，硕士研究生，研究方向：数据挖掘与分析；　通讯作者：李国东，男，黑龙江人，教授，研究生导师，研究方向：数据挖掘与分析　

图１拟合数据相比　Ｆｉｇ．１　Ｃｏｍｐａｒｉｓｏｎ　ｏｆ　ｆｉｔｔｉｎｇ　ｄａｔａ　・９・　赵国敏等：调查中零频数过多的统计分析方法　第５期　模型具体形式表示如下　ｌ，～ｆ　０’，、、　・ｐ。　，　ｐ　、　（１）　Ｉｐｏｉｓｓｏｎ（Ａ），Ｗ．Ｐ．　（１－ｐ）　即令随机变量Ｙ以概率Ｐ服从退化的零点分布，以概率１一Ｐ服从参数为Ａ的泊松分布，其中Ｐ∈（０，　１），我们称这样的分布为零过多泊松分布（ｚ，Ｐ），并记Ｙ—ＺＩＰ（Ａ，Ｐ）．Ｙ的概率分布为心・　］　｛　‘ｙ　？　ｐ＋‘　－一ｐ　）ｅ　－Ａ．＇　：ｏ　（２）　【Ｐ（Ｙ＝ｋ）＝（１一Ｐ）ｅ　Ａ　／ｋ！，ｋ＝１，２，…　、　随机变量Ｙ的数学期望和方差为　ｆＥ　、－，Ｐ）Ａ、，　、　（３）Ｖ　【ａｒ（Ｙ）＝Ａ（１一Ｐ）（１＋Ａｐ）　、　

２．２零过多泊松分布极大似然估计　我们可用极大似然方法估计零过多泊松分布的参数．若随机变量Ｙ～　（Ａ，Ｐ），并且Ｙ。，Ｙ　，…，Ｙ　是来自ＺＩＰ（　，Ｐ）的一个样本，观测值为ｙ。，ｙ　，…ｙ　，取值为［０，Ｋ］之间的整数．令ｙ＝（Ｙ　，Ｙ　，…ｙ　），　

／ｎ，由零过多泊松分布的概率密度函数可以得到其似然函数为　

Ｌ（　，ｐ；ｙ）＝Ｈ（ｐ＋１（１一ｐ）ｅ一　［　ｊ　。］‘，　（（１一ｐ）ｅ－￣＇ｋ　Ｊ／ｙｊ！）Ｉ［ｙｉ≠。］（ｙｉ）　（４）　等式（４）两边分别取对数为　ｌｏｇＬ（入，ｐ；ｙ）＝Ｉ［，　：。］（ｙｊ）∑ｌｏｇ（ｐ＋（１一ｐ）ｅ－ｋ）＋Ｉ［　ｉ　。］（ｙｊ）∑ｌｏｇ（（１一ｐ）ｅ一　／ｙｊ！）　（５）　公式（４）和公式（５）中　］（ｘ　＝　盒　

令　＝（１一Ｐ）（１一ｅ　），用ｎｉ表示ｎ个样本Ｙ　，Ｙ　，…，Ｙ　中取值为ｉ样本数，ｉ取值为［０，ｋ］之间的　整数，于是对数似然函数（５）变换为　

ｌｏｇＬ（　，‘Ｐ）＝ｎ。ｌｏｇ（１一‘ｐ）＋∑ｎｉ［１ｏｇ（（１一ｅ－ｋ）一　‘Ｐ）＋ｉ（１ｏｇｋ）一　一ｌｏｇｉ！］，　

＝ｎ。１ｏｇ（１一‘ｐ）＋（ｎ—ｎＯ）ｌｏｇｑ￣＋∑ｎｉ［一ｌｏｇ（（１一ｅ一　）＋ｉ（１ｏｇ）一　一ｌｏｇｉ！］　（６）　分别对公式（６）中入和　求偏导　一　／＇ｔｏ十　考～　（７）　

１　ｌＯ　（Ａ，　）＝一　ｅ一　＋（耋帆）　１一　ｋ　ｎ。＝。　

因为∑，∑ｉｎ　＝ｎ　，由公式（７）解得方程为　ｆ咖＝（ｎ一？。）／　２（ｎ—ｎ。）Ａ＋　（ｅ～一１）：０　（８）　

：１一　／（卜　一ｉ）　由此可得参数的极大似然估计　，　．　２．３实例应用估计值　如果以上用车发生问题的调查数据服从零过多泊松分布，根据极大似然估计表达式便可求得参数Ｐ，Ａ　第３４卷　绵阳师范学院学报（自然科学版）　‘１０。　观测值　零过多泊松分布　５８０５　５８Ｏ４．６４　１Ｏ６７　１０２５．７３　８９７　

９２７．９８　５６７　５５９．７０　２６０　２５３．１８　１０４　１２８．４０　

２．４实例应用结论　对于分布的拟合检验有多种方法，其中以　检验最为常用．资料中用车发生问题次数为离散型数据，　用拟合优度的　检验较为合适且简便．因此对以上用车发生问题的实例便可用　统计量对观测值和零　

过多泊松分布的理论频数进行估计，由　＝∑　来计算，可得　＝７．６１０４４２，在ｅｘｃｅｌ中利用　ＣＨＩＴＥＳＴ函数计算Ｐ值为０．１７９１，即认为观察频数和估计频数是一致的．由此数据可以得出零过多泊松　分布模型的拟合效果比较好．因此我们认为用车发生问题的次数是符合零过多泊松分布，而不是服从泊松　分布．　

３讨论　在社会生产、生活及管理领域中，零过多计数数据是很容易产生的，对于这类数据比较好的处理方法　是用ＺＩＰ模型，如果忽略这些零数据的存在，对参数的估计就会产生偏差［６］．就本例数据而言，在对零过　多数据进行拟合时，均值为０．７２时，如果用泊松分布，零的概率为４９．７４％，而本例零的概率为６６．７２％，同　时拟合优度的卡方值为５１７４．２８７，自由度为５，Ｐ值远小于０．００１，所以用泊松分布来拟合是不合适的，而零　过多分布模型可以将数据分为两部分，使得模型可以比泊松分布模型容纳更多的零．因此在实际的统计数　据中，如果含有零的比例超出了预期模型中零出现的概率范围，就可以用零过多泊松分布模型来处理这种　问题，可以提高对数据的拟合效果，更有利于对问题作统计推断．在实际环境中，零过多泊松分布模型在交　通及保险等行业已得到广泛应用．　

参考文献　［１］方开泰，许建伦．统计分布［Ｍ］．北京：科学出版社，１９８７：２８３—２８６．　［２］Ａｎｄｙ　ＨＬ，Ｋｕｉ　Ｗ．Ａｎａｌｙｓｉｓ　ｏｆ　ｚｅｒｏ—ｉｎｆｌａｔｅｄ　Ｐｏｉｓｓｏｎ　ｄａｔａ　ｉｎｃｏｒｐｏｒａｔｉｎｇ　ｅｘｔｅｎｔ　ｏｆ　ｅｘｐｏｓｕｒｅ［Ｊ］．Ｂｉｏｍｅｔｒｉｃａｌ　Ｊｏｕｒｎａｌ，２００１，４３：　９６３—９７５．　［３］　Ａｎｄｙ　ＨＬ，Ｋｕｉ　Ｗａｎｇ，Ｊａｎｅ　ＡＳ，ｅ　ｔ　ａ　１．Ｍｕｌｔｉｌｅｖｅｌ　ｚｅｒｏ—ｉｎｆｌａｔｅｄ　Ｐｏｉｓｓｏｎ　ｒｅｇｒｅｓｓｉｏｎ　ｍｏｄｅｌｉｎｇ　ｏｆ　ｃｏｒｒｅｌａｔｅｄ　ｃｏｕｎｔ　ｄａｔａ　ｗｉｔｈ　ｅｘ—　ｔｅｓｓ　ｚｅｒｏｓ［Ｊ］．Ｓｔａｒ　Ｍｅｔｈｏｄｓ　Ｍｅｄ　Ｒｅｓ，２００６，１５：４７—６１．　［４］Ｐｏｓｔｏｎ　ＤＬ，ＭｃＫｉｂｂｅｎ　ＳＬ．Ｕｓｉｎｇ　ｚｅｒｏ—ｉｎｆｌａｔｅｄ　ｃｏｕｎｔ　ｒｅｇｒｅｓｓｉｏｎ　ｍｏｄｅｌｓ　ｔｏ　ｅｓｔｉｍａｔｅ　ｔｈｅ　ｆｅｒｔｉｌｉｔｙ　ｏｆ　ＵＳ　ｗｏｍｅｎ［Ｊ］．Ｊｏｕｒｍａｌ　ｏｆ　Ｍｏｄｅｒｎ　Ａｐｐｌｉｅｄ　Ｓｔａｔｉｓｔｉｃａｌ　Ｍｅｔｈｏｄｓ，２００３，２：３７１—３７９．　［５］　Ａｎｄｙ　Ｈ．Ｌｅｅ，Ｍａｒｋ　Ｒ　Ｓｔｅｖｅｎｓｏｎ，Ｋｕｉ　Ｗａｎｇ，Ｋｅｌｖｉｎ　Ｋ．Ｗ．Ｙａｕ．Ｍｏｄｅｌｉｎｇ　ｙｏｕｎｇ　ｄｒｉｖｅｒ　ｍｏｔｏｒ　ｖｅｈｉｃｌｅ　ｃｒａｓｈｅｓ：ｄａｔａ　ｗｉｔｈ　ｅｘ—　ｔｒａ　ｚｅｒｏｓ，Ａｃｃｉｄｅｎｔ　Ａｎａｌｙｓｉｓ　ａｎｄ　Ｐｒｅｖｅｎｔｉｏｎ，２００２，３４：５１５—５２１．　［６］Ｇｅｔａｃｈｅｗ　ＡＤ　Ｈｉｅｒａｒｃｈｉｃａｌ　Ｂａｙｅｓｉａｎ　ａｎａｌｙｓｉｓ　ｏｆ　ｃｏｒｒｅｌａｔｅｄ　ｚｅｒｏ—ｉｎｆｌａｔｅｄ　ｃｏｕｎｔ　ｄａｔａ［Ｊ］．Ｂｉｏｍｅｔｒｉｃａｌ　Ｊｏｕｒｎａｌ，２００４，４６：６５３—　６６３．　赵国敏等：调查中零频数过多的统计分析方法　第５期　Ａ　Ｓｔａｔｉｓｔｉｃａｌ　Ｍｅｔｈｏｄ　ｆｏｒ　Ｅｘｔｒａ　Ｚｅｒｏ　ｉｎ　Ｓｕｒｖｅｙ　ＺＨＡＯ　Ｇｕｏ——ｍｉｎ　ＬＩ　Ｇｕｏ—・ｄｏｎｇ　（Ｓｃｈｅｅｌ　ｏｆ　Ａｐｐｌｉｅｄ　Ｍａｔｈｅｍａｔｉｃｓ，Ｘｉｎｊｉａｎｇ　ＵｎｉＶｅｒｓｉｔｙ　ｏｆ　Ｆｉｎａｎｃｅ＆Ｅｃｏｎｏｍｉｃｓ，Ｕｍｍｑｉ，Ｘｉｎｊｉａｎｇ　８３００１２）　

Ａｂｓｔｒａｃｔ：Ｗｈｅｔｈｅｒ　ｉｎ　ｔｈｅ　ｆｉｅｌｄ　ｏｆ　Ｎａｔｕｒａｌ　Ｓｃｉｅｎｃｅｓ　ｏｒ　ｉｎ　ｔｈｅ　ｆｉｅｌｄ　ｏｆ　Ｈｕｍａｎｉｔｉｅｓ　ａｎｄ　Ｓｏｃｉａｌ　Ｓｃｉｅｎｃｅｓ．ａ　ｖａｒｉｅ．　

ｔｙ　ｏｆ　ｃｏｕｎｔ　ｄａｔａ　ｗｉｌｌ　ｂｅ　ｕｓｅｄ．Ｔｈｅ　Ｐｏｉｓｓｏｎ　ｒｅｇｒｅｓｓｉｏｎ　ｍｏｄｅｌ　ｉｓ　ｃｏｍｍｏｎｌｙ　ｕｓｅｄ　ｔｏ　ｆｉｔ　ｔｈｅ　ｃｏｕｎｔ　ｄａｔａ　ｉｎ　ｔｈｅ　ｓｏｃｉａｌ　

ｌｉｆｅ，ｓｏｃｉａｌ　ｐｒｏｄｕｃｔｉｏｎ　ａｎｄ　ｓｏｃｉａｌ　ｍａｎａｇｅｍｅｎｔ．Ｈｏｗｅｖｅｒ，ｔｈｅｒｅ　ａｒｅ　ｌｏｔｓ　ｏｆ　ｄａｔａ　０ｆ　ｅｘｔｒａ　ｚｅＩ．０　ｉｎ　ｔｈｅ　ｉｎｆｌｕｅｎｃｅ　ａｎｄ　

ｒｅｓｔｒｉｃｔｉｏｎ　ｏｆ　ｖａｒｉｏｕｓ　ｆａｃｔｏｒｓ　ｉｎ　ｔｈｅ　ｒｅａｌ　ｌｉｆｅ．Ａｔ　ｔｈｅ　ｓａｍｅ　ｔｉｍｅ，ｔｈｅ　Ｐｏｉｓｓｏｎ　ｒｅｇｒｅｓｓｉｏｎ　ｍｏｄｅ１．ｗｈｉｃｈ　ｉｓ　ｎ０ｔ　ａｐｐｒｏ－　

ｐｉｌａｔｅ，ｉｓ　ａｌｓｏ　ｕｓｅｄ　ｔｏ　ｆｉｔ　ｔｈｅ　ｃｏｕｎｔ　ｄａｔａ　ｏｆ　ｅｘｔｒａ　ｚｅｒｏ．　Ｓｏ　ｐｅｏｐｌｅ　ｂｅｇｉｎ　ｔｏ　ｃｏｎｓｔｒｕｃｔ　ｎｅｗ　ｒｏｏｄｅ１ｓ，ａｍｏｎ　ｗｈｉｃｈ　ｔｈｅ