关于加强数据分析在质量管理中应用的思考

关于加强数据分析在质量管理中应用的思考
关于加强数据分析在质量管理中应用的思考

目前,在质量管理体系审核中,存在着一个普遍的问题,就是对GB/T19001-2000标准中8.4条款“数据分析”的审核深度不够,重视程度不高。查其原因主要有两点,一是企业不知道分析什么,如何进行分析,因而提供不出分析的证据;二是有相当一部分审核员不知道应该收集什么证据,企业应该做哪些数据分析,在审核中轻描淡写几句,从而影响了数据分析在质量管理体系中应有作用的发挥。

企业要想提高管理水平和产品质量,要想在同行业处于领先水平,就必须知道本企业的差距在哪里,然后才能分析原因进行改进。企业在管理活动和产品实现活动中通过内部沟通、顾客沟通、各种监视和测量活动,会收集到许多数据和信息,但这些数据和信息一般都是无规律的。因此,需要对数据和信息进行整理、分析,找出其规律性,从而为改进指出方向和机会,为领导正确决策提供依据。这就是进行数据分析的目的。

1ISO9000质量管理体系中数据分析的含义数据是关于自然、社会现象和科学试验的定量或定性的记录,是科学研究最重要的基础,研究数据就是对数据进行采集、分类、录入、储存、统计分析,统计检验等一系列活动的统称。其中统计分析,统计检验需要一些逻辑推理,才能分析影响输出的关键因素。由于数据的客观性,它被用于许多场合。ISO9000族标准中对“数据分析”作了规定:“组织应确定、收集和分析适当的数据,以证实质量管理体系的适宜性和有效性,并评价在何处可能持续改进质量管理体系的有效性,应包括来自监视和测量的结果以及其他有关来源的数据。”数据分析提供以下有关方面的信息:顾客满意;与产品要求的符合性;过程产品的特性及趋势,包括采取预防措施的机会;供方。但从企业实际情况看,目前部分贯标企业对数据分析的重视程度不高。查其原因,一是企业不知道分析什么,如何进行分析,因而提供不出分析的证据;二是有相当一部分审核员不知道应该收集什么证据,企业应该做哪些数据分析,在审核中轻描淡写几句,从而影响了数据分析在质量管理体系中应有作用的发挥。这是许多企业虽然贯标认证多年,但质量管理水平提高不明显的主要原因之一。

质量数据是指某质量指标的质量特性值,由于质量一词含义丰富,既包括狭义的产品质量,也包括广义的工作质量,因而质量指标在企业中就多种多样,质量数据在企业中几乎无处不在。狭义的质量数据主要是产品质量相关的数据,如不良品数、合格率、直通率、返修率等。广义的质量数据指能反映各项工作质量的数据,如质量成本损失、生产批量、库存积压、无效作业时间等。这些均将成为精益质量管理的研究改进对象。

在质量数据统计分析中,特别关注三项指标,一是数据的集中位置,二是数据的分散程度,三是数据

关于加强数据分析

在质量管理中应用的思考

杨辉

(河南省信阳市质量技术监督局)

作者简介:杨辉,研究生,河南省信阳市质量技术监督局

注册质量工程师,主要从事质量管理工作。

的分布规律。数据的集中位置分别有平均值、中位数、众数三种表示方法,其各具优缺点,其中平均值最为普遍常用。数据的分散程度由标准差表达,用符号“s”(西格玛)表示,数据的分散程度在质量管理中就是质量特性值的波动性,反映过程能力。

数据的分布规律在质量管理中对统计总体而言为正态分布,该分布规律是理论和实践证明的统计规律。质量数据统计分析重点就是在总体正态分布这个已知背景下,研究该正态分布的平均值和标准差。质量数据定量化分析对企业质量管理以及经营管理具有重要意义。

企业要想提高管理水平和产品质量,要想在同行业处于领先水平,就必须知道本企业的差距在哪里,然后才能分析原因进行改进。企业在管理活动和产品实现活动中通过内部沟通、顾客沟通、各种监视和测量活动,会收集到许多数据和信息,但这些数据和信息一般都是无规律的。因此,需要对数据和信息进行整理、分析,找出其规律性,从而为改进指出方向和机会,为领导正确决策提供依据。这就是进行数据分析的目的。

数据分析与质量管理体系的改进密切相关,在以过程为基础的质量管理体系框图中占有很重要的位置。但是,有的组织不重视数据分析工作,常常导致管理者在实施决策与评价质量管理体系有效性上出现一些失误,给组织的发展带来了不可挽回的损失。

2数据分析的对象及步骤

数据分析的主要目的是为了确定质量管理体系的适宜性和有效性,并识别可以实施的改进。为此目的,组织应重点建立一套质量数据报告制度,内容包括收集哪些质量数据,由谁(哪个部门)收集,由谁对数据进行分析,用哪些方法,由谁编制报告及报告的时间等。

2.1数据分析包括数据收集和数据处理

(1)数据收集。数据是指能够客观地反映事实的资料和数字。组织应收集与质量管理体系评价和识别改进机会有关的数据,一般包括:

1)与产品质量有关的数据,如产品不合格信息,不合格品率、顾客投诉、内外损失成本等;

2)与运行能力有关的数据,如过程运行的测量和监视信息、产品实现过程的能力、内部审核结论、管理评审输出、生产率、交货期等。

数据来源可以有:竞争对手,相关过程的记录(如设计、采购),测量和监视活动的输出,供方和政府部门。数据的收集可以直接采用已有的质量记录,也可采用交谈、抽样调查等方式。至于收集哪些数据,由组织自行决定,只要符合标准要求即可。

(2)数据处理。数据有波动性,但也有其规律性。通常采用统计技术从有波动的数据中找出其规律性。如从生产过程来看,每一道工序都在对产品进行加工,其中一道工序加工质量不好,就会影响后道工序,甚至会造成大量次品或废品。所以常常在生产间隔一定时间抽查若干件产品,检验这道工序加工质量是否合格,是否有变坏的趋势;考虑应否调整,如何调整。这就要根据已往生产的历史资料或数据及现在抽验的数据进行分析、作出判断,而统计技术能提供较好的处理方法。

2.2数据分析的对象

一般情况下,企业应对如下数据进行分析:

a.产品的质量特性,如产品的功能和性能指标、安全可靠性质量指标、加工尺寸公差、形位公差、表面质量等。

b.生产过程产生的产品不合格,如设计错误、工艺错误、采购错误等。

c.生产和服务过程中发生的质量损失,如废品损失、返工返修损失、售后服务中发生的外部损失等。

d.生产经营指标,如成本、劳动生产率、采购价格、成品率、废品率、一次合格率、完好率等。

2.3数据分析的步骤

(1)通过内部沟通、与顾客的沟通、对质量体系和产品过程质量的监视和测量,收集产品质量特性、经济技术指标、不合格和质量损失的有关数据信息。

(2)利用报表、记录等形式把上述数据传递到有关部门。

(3)有关部门要组织有关人员对收集到的上述信息,根据需要采用不同的方法进行分析,从而找

到改进的机会。

(4)对需要改进的问题,从人、机、料、法、环5个方面分析原因,从10个方向确定纠正措施。

(5)对纠正措施的效果进行检查,效果不理想时应重新采取纠正措施。

2.4质量数据报告应反映以下方面的实际情况

(1)质量目标的实现程度;

(2)过程质量及其趋势(如返工、返修及废品损失);

(3)产品质量及其趋势(如等级品率、一次交验合格率);

(4)顾客满意度和趋势;

(5)供方供应的产品质量状况。

3数据分析的方法和常用工具

3.1数据分析的常用方法

(1)分类分析法。该方法主要用来对收集到的数据进行整理,如对收集到的不合格或质量损失数据按不同的类别进行分类,找出不合格或质量损失发生最多的类别,从而指出改进的机会和方向。分类分析法的常用工具是排列图和统计表。

(2)责任分析法。它是分类分析法的一种,是按质量责任进行分类,从而找到发生不合格最多、质量损失最大的部门或责任者,为改进找到机会。责任分析法常用的工具也是排列图。

(3)对比分析法。对收集到的质量特性、经济技术指标、不合格或质量损失数据,通过比较分析,判定质量管理工作的成效以及是否需要改进。对比分析法有本期与上期对比法、同期对比法、历史最好水平对比法、与同行业先进水平对比法。对比分析法常用的工具是柱状图和控制图。

(4)趋势分析法。对质量特性、经济技术指标、不合格或质量损失的发展趋势进行表述分析,如果发现接近超标可提前采取改进措施。趋势分析法的常用工具是控制图。

(5)工序能力分析法。贯标认证的目的是增强企业的质量保证能力,判断企业的质量保证能力是否充分,需要对关键工序的工序能力是否充分进行分析。工序能力分析法常用的工具是直方图。

结合前面所提精益质量管理两层次任务,对基本任务而言,支持工具重点是直方图和控制图,相关理论是统计过程控制,即SPC;对第二层任务而言,在前面工具基础上,重点是6西格玛管理理论和方法。

3.2数据分析的常用工具

(1)直方图简介。直方图是将质量数据按顺序分成若干间隔相等的组,以组距为底边,以落入各组的数据频数为依据,按比例构成的若干矩形条排列的图。直方图的典型作用包括:观察与判断产品质量特性分布状况;通过直方图形状,判断生产过程是否正常,判断工序是否稳定,并找出产生异常的原因;计算工序能力,估算生产过程不合格品率。

在生产过程是否正常的判断上,通过直方图的典型形状就可判断。直方图典型形状包括:正常型、偏向型、双峰型、锯齿型、平顶型和孤岛型。通过已总结出的不同形状常见质量原因,这为迅速发现和解决质量问题提供了重要途径。对正常型直方图再进一步与公差限的结合,可直观快速的判断工序能力和质量状况,直观发现工序异常。如典型图形有:理想型、偏心型、无富余型、富余型、能力不足型。

(2)控制图简介。控制图是画有控制界限对生产过程中产品质量进行控制的一种图。控制图是直方图的一种变形,其将直方图顺向转90度再反转,再绘制中心线和上下控制限。中心线为样本某统计量的均值,上下控制限分别为均值基础上的正负三倍标准差。

当生产中不存在系统误差时,产品质量特性(总体)服从正态分布,样品值出现在均值加减3σ范围内的概率为0.9973。根据相关统计定理,如果生产处于受控状态,则认为样品值一定落在此3σ范围内。控制图较直方图最大的特点是引入了时间序列或样本序列,通过观察样本点相关统计值是否在控制限内以判断过程是否受控,通过观察样本点排列是否随机从而及时发现异常。控制图较直方图在质量预防和过程控制能力方面大为改进。

控制图的主要用途有:分析判断生产过程是否稳定;及时发现生产中异常情况,预防不合格品产生;检查生产设备和工艺装备的精度是否满足生产

要求;对产品进行质量评定。

(3)六西格玛管理简介。在6西格玛管理中,通常使用西格玛水平Z作为满足顾客要求程度的质量水平度量。西格玛水平是综合了标准差与公差限的计算值,公式为Z=(USL-LSL)/2σ,即顾客要求的公差限除以两倍标准差。由于顾客要求是不断提高的,即公式中分子所代表的公差将不断减少,要求标准差应不断降低,以适应顾客要求提高企业质量竞争力。达到6西格玛水平是指Z等于6。用正态分布来解释,就是在正态分布单侧从均值到公差上限或下限范围内可容纳6个标准差;传统控制图理论则是单侧3个标准差,不合格率控制在0.27%水平。6西格玛管理对控制图3倍控制限进行了彻底突破,将西格玛水平指标由3提高到6。我们应认识到,以3西格玛水平为标准的控制图及统计过程控制SPC理论和方法,在实际中仍是有效的。随着西格玛水平的提高,3倍标准差的控制限区间得到不断压缩,通过控制图仍能有效发现质量异常。

Z还有另一种表达形式,用百万分之缺陷率(ppm)来表示。一个服从正态分布的过程,其超出规范限的缺陷百分比与西格玛水平是一一对应的。根据这个规律,我们可以通过测量缺陷的比率,估算过程的西格玛水平Z,并以此考察过程满足顾客要求的能力。

当分布中心无漂移时,即样本均值与分布中心重合时,3西格玛水平对应的不合格率为0.27%,即2700ppm;6西格玛水平对应的不合格率为十亿分之二,即0.0024ppm。分布中心无漂移为理想状态,当分布中心上下漂移1.5σ时,3西格玛水平对应的不合格率为66807ppm;4西格玛水平为6210ppm;5西格玛水平为233ppm;6西格玛水平为3.4ppm。GE采取了上下漂移1.5σ来设定西格玛标准,6西格玛水平为3.4ppm。这成为6西格玛管理的默认标准。在企业追求由3西格玛向6西格玛的过程中,每提高1个西格玛水平,质量水平均呈数十倍的改善。据研究,对一个3西格玛水平的企业来说,提高一个西格玛水平可获得下述收益:利润率增长20%、产出能力提高12%~18%、减少劳动力12%、资本投入减少10%~30%。4数据分析中的问题与管理对策

4.1数据来源不全面

数据来源于质量管理体系各个过程单元的活动结果,这些过程结果从一定层面上来说应形成记录。记录是数据分析的基础,在这些过程中易出现的问题有:1)活动记录不全面,缺、漏项较多;2)数据记录不及时,实效性差;3)监视与测量装置不健全,数据来源失真失实;4)顾客信息收集渠道不完善,市场数据来源片面;5)各层管理秩序不明晰,数据的有效性不强。

采取的措施:1)本着“写、做、记”三者紧密衔接的原则,规范过程单元活动记录的管理与监控;2)制定相应的管理考核条例,确保记录的及时性和准确性;3)组织应不断完善监视与测量装置,健全基础管理设施,以提高记录准确度和数据的完整性;4)组织应建立健全市场信息收集程序,通过“明察暗访”的方式保证顾客反馈的信息更具有代表性和全面性;5)组织应界定管理职责,明确责任追究制,以便使数据来源更具有有效性。

4.2数据分析的程度少步骤

数据分析有一定的逻辑步骤及方法,通过PDCA循环不断实施数据分析的改进工作,在些过程中易出现的问题有:数据分析的目的性不强,没有策划的目标;过程单元控制缺少必要的监督与考核细则;数据的整理与分类界面不清晰;数据分析方法不适宜,统计技术应用不实务;对分析的结果没有进行评价,对数据分析发现的问题没有提出相应的解决方案与措施。

采取的措施:1)数据分析的归口管理部门应对些进行策划,应符合标准中涉及的条款要求;2)过程控制单元应建立相应的数据分析管理程序,明确数据分析方法和步骤,确定相应的考核管理体系;3)组织应借助自动化管理系统,对数据进行分类整理与分析,以确保数据分析的有效性;4)应用统计技术对数据分析时,应确定实用的统计方法,确保数据分析具有针对性,从中发现存在的显著的各潜在的问题,以便为管理者提供决策依据;5)组织或过程活动单元应定期或不定期对分析结果进行评价,确定存在的问题,以便为寻求解决方法提供参考。

4.3分析的输出缺乏信息

数据分析的输出信息应全面,以提升数据分析的有效性,为质量管理体系高效运作提供翔实的依据。在些过程中仍易出现问题:对顾客满意度的数据分析结果与市场实情不符,误导了营销决策;过程及产品的特性和发展趋势在数据分析结果中没有务实地体现出来,纠正措施很难有效实施;对组织的供方分析与评价缺少相关的数据分析支持,影响了采购活动中持续改进工作;管理者在数据整理分析中,人为主观因素影响了数据分析结果的准确性;对数据分析的关键结果没有进行再评价,有误的数据分析结果没有得到及时纠正而给组织带来了不必要的管理损失。

采取的措施:1)组织管理者对顾客满意度分析的结果应给予高度的重视,可通过亲自进行市场随机调研的方式来保证数据分析结果不失实、不失真,为正确营销决策奠定基础;2)数据分析从一定层面上可以预测过程单元的受控趋势,应优选适宜的分析方法,对分析结果的异常情况进行追溯,以便采取相应的纠正和预防措施加以改进;3)采购的信息收集应放在突出的位置上,对供方的评价分析应公正、客观,对战略合作伙伴应作为组织的资源定期或不定期地进行数据分析;4)组织高层次管理者堵住管理的盲点,建立相应的约束机制,杜绝人为因素影响数据分析的结果;5)必要时,组织应建立和完善数据分析结果再评价管理程序,进一步规范数据分析的时效性和实效性。

4.4数据的衔接缺少资源

过程数据分析是过程受控结果的外在体现,数据分析也需要相应的资源,来使数据分析的结果更真实、更有效。在此过程中易出现的问题有:监视和测量装置不健全,原始数据准确度不高;记录现场控制可操作性不强,没有为数据分析活动提供准确的依据;监视和测量装置落后,对其管理与控制滞后;数据分析结果没有通过适当的表格化策划与整理,数据分析缺少有关作业文件的支持;数据分析涉及到标准中的基于决策方法、统计技术的应用、过程方法和持续改进等文件不规范,管理资源欠缺,影响了数据分析的效率和绩效。

采取的措施:1)组织管理者应对监视和测量装置给予相应的资源保证,以提高其运作的有效性和提高其准确度;2)组织管理者应不断改进记录管理程序,制定相应的管理考核细则,现场记录作为原始数据的记载应提高其时效性和实效性;3)组织应不断应用较为先进的监视和测量装置,为管理受控提供更为科学的依据,组织最高管理者对此应给予足够的重视;4)数据分析的结果也应进行策划,设计适当的表格或通过自动化控制系统完成数据的客观分析;5)数据分析不能单纯为分析而分析,应结合相应的管理原则和管理方法来综合进行数据分析,以提高数据分析的实效性。

4.5分析的改进不务实

持续改进是质量管理体系高效运作的前提,组织随着外界环境和自身发展的需要,应不断进行体系的改进工作,数据分析本身也存在持续改进的活动。在此过程易出现的问题:数据分析没有为改进提供翔实的依据,影响了改进活动的良性化动作;对数据分析自身存在的问题没有采取必要的纠正措施和预防措施,使数据分析活动滞后于体系的改进活动;测量、分析和改进作为以过程为基础的质量管理体系的一个链条,改进效果不好,影响了管理职责的评价与配置、产品实现的过程控制、资源管理的匹配;与顾客和市场的信息沟通、交流不顺畅,影响了数据分析的市场务实改进;领导不重视数据分析改进活动,导致资源欠缺,分析改进活动不能有效实施。

采取的措施:1)数据分析作为一项基础管理活动,应纳入到组织的日常管理工作中,理顺管理程序,疏通管理渠道,为改活动提供良好的管理资源;2)组织应定期或不定期对数据分析的改进活动进行评价总结,应用PDCA循环管理法和“头脑风暴法”来充分挖掘组织的智力资源,来对数据分析进行持续改进;3)在以过程为基础的质量管理体系中,组织各层次管理者应用系统的管理理念来衔接好各种活动的互动关系,来实时地进行改进活动;4)市场经济具体一定层面上来说是组织与顾客互动、互信和互利的经济,顾客的信息和感受为数据分析提供了定性和定量化资源,组织应重视这方面的数据分析活动;5)领导应以办百年老店的营销理念来重视数据分析活动,不能为政绩而忽视数据分析活动,组织的管理行为不能走过场。■

大数据处理流程的主要环节

大数据处理流程的主要环节 大数据处理流程主要包括数据收集、数据预处理、数据存储、数据处理与分析、数据展示/数据可视化、数据应用等环节,其中数据质量贯穿于整个大数据流程,每一个数据处理环节都会对大数据质量产生影响作用。通常,一个好的大数据产品要有大量的数据规模、快速的数据处理、精确的数据分析与预测、优秀的可视化图表以及简练易懂的结果解释,本节将基于以上环节分别分析不同阶段对大数据质量的影响及其关键影响因素。 一、数据收集 在数据收集过程中,数据源会影响大数据质量的真实性、完整性数据收集、一致性、准确性和安全性。对于Web数据,多采用网络爬虫方式进行收集,这需要对爬虫软件进行时间设置以保障收集到的数据时效性质量。比如可以利用八爪鱼爬虫软件的增值API设置,灵活控制采集任务的启动和停止。 二、数据预处理 大数据采集过程中通常有一个或多个数据源,这些数据源包括同构或异构的数据库、文件系统、服务接口等,易受到噪声数据、数据值缺失、数据冲突等影响,因此需首先对收集到的

大数据集合进行预处理,以保证大数据分析与预测结果的准确性与价值性。 大数据的预处理环节主要包括数据清理、数据集成、数据归约与数据转换等内容,可以大大提高大数据的总体质量,是大数据过程质量的体现。数据清理技术包括对数据的不一致检测、噪声数据的识别、数据过滤与修正等方面,有利于提高大数据的一致性、准确性、真实性和可用性等方面的质量; 数据集成则是将多个数据源的数据进行集成,从而形成集中、统一的数据库、数据立方体等,这一过程有利于提高大数据的完整性、一致性、安全性和可用性等方面质量; 数据归约是在不损害分析结果准确性的前提下降低数据集规模,使之简化,包括维归约、数据归约、数据抽样等技术,这一过程有利于提高大数据的价值密度,即提高大数据存储的价值性。 数据转换处理包括基于规则或元数据的转换、基于模型与学习的转换等技术,可通过转换实现数据统一,这一过程有利于提高大数据的一致性和可用性。 总之,数据预处理环节有利于提高大数据的一致性、准确性、真实性、可用性、完整性、安全性和价值性等方面质量,而大数据预处理中的相关技术是影响大数据过程质量的关键因素

质量管理如何利用好大数据

质量管理如何利用好大数据 如果抛开拗口的定义,这样一个段子更能说明大数据的作用:“尊敬的用户您好,您于XX时购买了一张XX影院的《XXXX》电影票。我们于刚才售出您邻座的票,是一个女生。她的电话号码是:138xxxxxxxx,根据她的购票记录来看,她近半年都是单身,她观看的电影类型和您的匹配度为85%。她表示愿意和您交个朋友,请您及时联系她。” 这就是大数据,是对每个个体数据的收集与整合,它可以应用于生活的每一个方面,当然也包括质量安全。上周,国务院办公厅《关于运用大数据加强对市场主体服务和监管的若干意见》出炉,就特意提出要建立大数据标准体系,加强和改进质量监管,就是希望借助大数据这一新技术,做好质量安全工作。 运用大数据加强对市场主体进行质量服务和监管,首要的就是需要在质量基础方面的建立自己的大数据,甚至包括大数据的基础——标准。建立大数据标准体系,研究制定有关大数据的基础标准、技术标准、应用标准和管理标准等。加快建立政府信息采集、存储、公开、共享、使用、质量保障和安全管理的技术标准。引导建立企业间信息共享交换的标准规范,促进信息资源开发利用。在国务院办公厅的“意见”里,完善标准规范,正是政府加强运用大数据的保障措施之一,这何尝也不是大数据发挥自身作用的基础保障。 不成规矩无以成方圆。对于如火如荼的大数据来说,建立属于自身的标准体系,就是建立大数据运用的“规矩”。一方面,标准体系规范的完善,利于大数据更好地发挥其作用,也能够更好地促进大数据产业健康发展;另一方面,建立大数

据标准体系,也是夯实运用大数据做好质量服务于监管的基础,便于提高质量服务和监管的针对性、有效性。 有了标准体系,不仅有了大数据的规范基础,也有了质量基础的“大数据”根基。在此基础上,计量、认证认可、检验检测其他国家质量基础同样可以借助大数据这一先进手段,为更好加强对市场主体的质量服务和监管提供帮助。 对于大数据来说,有两点比较关键,一是数据,即数据的获取与生成;二是对数据的分析与应用。对于消费市场来说,目前无论是可穿戴设备等智能硬件,还是智能手机里的众多APP(应用程序)软件,都是很好的数据收集工具。对于质量服务和监管来说,同样可以借助硬件和软件两种方式获取包括质量基础在内的“大数据”。 对质量大数据尤其是质量基础大数据的分析和应用,则是运用大数据服务加强对市场主体质量服务和监管的直接体现。正如国务院办公厅在“意见”中提到的,充分运用大数据技术,积极掌握不同地区、不同行业、不同类型企业的共性、个性化需求,在检验检测、认证认可等方面主动提供更具针对性的服务,推动企业可持续发展,正是借助大数据创新质量服务理念和服务方式的一种表现,也能为改进质量监管提供帮助。 当前,市场主体数量快速增长,市场活跃度不断提升,全社会信息量爆炸式增长,数量巨大、来源分散、格式多样的大数据对政府质量服务和监管能力提出了新的挑战,也带来了新的机遇,只要从建立质量基础大数据入手,相信一定可以更加有效利用大数据技术为质量服务和监管服务。

质量管理中常用的统计分析方法[详细]

质量管理中常用的统计分析方法 控制图:用来对过程状态进行监控,并可度量、诊断和改进过程状态. 直方图:是以一组无间隔的直条图表现频数分布特征的统计图,能够直观地显示出数据的分布情况. 排列图:又叫帕累托图,它是将各个项目产生的影响从最主要到最次要的顺序进行排列的一种工具.可用其区分影响产品质量的主要、次要、一般问题,找出影响产品质量的主要因素,识别进行质量改进的机会. 散布图: 以点的分布反映变量之间相关情况,是用来发现和显示两组数据之间相关关系的类型和程度,或确认其预期关系的一种示图工具. 工序能力指数(CPK):分析工序能力满足质量标准、工艺规范的程度. 频数分析:形成观测量中变量不同水平的分布情况表. 描述统计量分析:如平均值、最大值、最小值、范围、方差等,了解过程的一些总体特征. 相关分析:研究变量之间关系的密切程度,并且假设变量都是随机变动的,不分主次,处于同等地位. 回归分析:分析变量之间的相互关系. H0:差值的总体中位数为0; H1:差值的总体中位数不为0;检验水准为0.05. 子组频数与子组大小 关于子组频数或子组大小,无法制定通用的规则.子组频数可能决定于取样和分析样本的费用,而子组大小则可能决定于一些实际的考虑. 例如,低频率长间隔抽取的大子组,可以更准确地检测出过程平均中的小偏移,而高频率短间隔地抽取的小子组,则能更迅速地检测出大偏移.通常,子组大小取为4或5,而抽样频数,一般在初期时高,一旦达到统计控制状态后就低. 通常认为,对于初步估计而言,抽取大小为4或5的20~25个子组就足够了.值得注意的是,抽样频数、统计控制和过程能力需要统一加以考虑.理由如下:平均极差R常常用于估计s .随着在一个子组中抽样的时间间隔加长,变差来源的数目也会增加.因此,在一个子组内若抽样时间延长,将使R也即s的估计值增大、加宽控制限范围,从而降低过程能力指数.反之,连续的逐个抽样将给出较小的R . Xbar R 控制图应用实例 在一个企业内,统计技术和应用类型很多,而程序文件只能从总的方面规定应用程序,各有关部门和人员在具体实施时,还必须遵照作业指导书的规定进行操作.一个企业应用统计方法的作业指导书有很多,现仅以某电子元件厂电阻器刻槽工序应用的《-x—R控制图作业指导书》为例. -x—R控制图作业指导书(电阻器刻槽工序) 1目的 通过控制图的应用,对电阻器刻槽工序的主要质量特性——电阻值,实施控制,消除异常因素的作用,保证刻槽工序处于稳定受控状态. 2适用范围 本作业指导书适用于各类薄膜型电阻器(金属膜电阻器、金属氧化膜电阻器、碳膜电阻器)刻槽工序的电阻值控制. 3职责 3.1车间技术组质量控制工程师负责控制图的设计、控制图打点结果的分析及提出应采取的纠正和预防措施. 3.2刻槽工序操作者按作业指导书要求,抽样、测量、计算统计量并在控制图上打点. 3.3质管处质量控制工程师负责控制图应用的指导、协助车间技术组进行分析,监督控制图的实施及协调纠正和预防措施的落实. 4 工作流程 4.1 预备数据的取得 当确认刻槽工序处于稳定受控状态时,车间技术组质量控制工程师在生产过程中,每隔30分钟抽取容量为n = 5的样本,共抽取25个样本,分别填入数据表(表1—3)(表省略). 4.2 计算各组的样本平均值-x和极差R 控制下界限LCL==X-0.58-R 4.5 计算R图的控制界限: 控制中心线CL=-R

大数据环境下数据质量管理、评估与检测关键问题研究

大数据环境下数据质量管理、评估与检测关键问题研究 随着信息社会的不断发展,信息系统中充斥着海量的、多结构的、多维度的数据资源,大数据价值已被社会全面认可,如何挖掘数据价值已成为各研究领域和各行业应用领域最为关心的问题。数据究竟是垃圾还是宝藏,最重要的问题是所要分析挖掘的数据是否是高质量的,一个低质量的数据来源会使得不仅无法体现数据价值,而且可能会与实际情况背道而驰,反而起到了副作用。目前,国内外研究机构和学者针对数据质量管理与检测问题提出了多种方法论和框架,但在实际应用当中缺乏具体执行手段,使得数据质量管理实行起来困难重重。 针对数据质量管理、评估和检测的关键问题,本文做了以下工作:(1)针对数据质量管理问题,本文通过对目前国内外主流数据管理方法和框架进行了深入对比和分析,梳理出数据质量管理的通用方法流程和指标体系。提出了六项重要数据质量指标的度量方法,并提出了计算公式,为数据质量管理和评估提供了有效指导。同时,针对数据质量管理的执行情况提出了数据质量成熟度模型,为数据质量的整体评价提供了参考依据。 (2)针对数据预处理问题,本文提出了一种数据离散化预处理算法。在大数据环境中,数据产生和更新频率不断加快,更多的数据是以连续方式进入信息系统,需要进行离散化处理才能够被信息系统所处理,离散化处理效率和效果对于后续数据质量检测和评估工作起到至关重要的作用。因此,本文提出了一种高效、准确的数据离散化处理算法(ICACC,Improved class-attribute contingency coefficient Method),能够有效提升大数据应用当中连续数据转换成离散数据进行处理时的效率和准确性,算法经过实验验证相比于传统处理算法准确率提升10%。

22质量信息管理与数据分析程序

1。目的 对数据进行收集、分析和利用,以促进体系、过程和产品/服务的持续改进。2。范围 适用于公司内、外部有关的质量信息的收集、分析、利用和管理。 3。职责 3.1 ISO推委会:负责有质量管理体系有关的数据收集和分析; 3.2 生产部门:负责制造过程的数据收集和分析以及顾客满意度方面的数据收集和分析; 3.3 品管部:负责产品质量有关的数据收集和分析。 4.定义 4.1信息源 信息作为资源的一种,是控制质量和以事实为依据进行决策的基础资源。 它包括量化信息(如数据)和非量化信息。典型的信息源为:过程、产品 /或服务的知识和/或经验,来自供方和顾客的信息。 5。作业内容 5.1 信息分类, 根据不同信息的特征进行分类: A.综合分析信息(如综合报告,年终总结,专案分析、持续改进项目策划等等)、 B.一般统计分析信息(如各种统计分析报表/图表等等) C.数据源(如各种报表、报告、质量记录等等)。 5.2 数据源(C类)管理及初步的数据分析(B类) 5.2.1对于数据源的收集和保存。 1)对于有关质量记录的收集和保存期限参见“质量记录总览表”,对于质量记录管理的要求参见《质量记录管理程序》。 2)对于外来记录或资料,由总台或相关部门文员接收(必要时做登记),并及时传递至相关部门保存(注:凡属热电感应的传真必 须要拷贝后保存)。 5.3 信息的测量 5.3.1体系业绩的测量 5.3.1.1顾客满意度。

a)生产部应测量顾客满意和/或不满意之处,并规定测量的方法和措施。顾 客所关心的内容主要是符合性、交付能力、售后服务及产品费用和/或得到的服务。来自顾客的信息主要为:产品和/或服务的反馈;顾客要求、服务资料和合同信息;市场需求变化;市场竞争信息。 b) 生产部在必要时应与顾客信息源建立联系并与顾客合作。应策划并建立 进行市场调研活动的过程,以高效率地获得顾客的声音。应规定所使用的方法、测量标准以及评审的频次。 c)应依据研究的性质、规定的日期、目前的技术和可得到的经费,确定数据 收集的方法。采用的方法如下:顾客的投诉;与顾客直接交流;调查表;来自顾客组织的报告;各种媒体的报告;行业研究。 5.3.1.2管理评审/内部审核。总经理/ISO推委会应按计划进行管理评审/内部 审核并测量审核结果,将审核结果进行收集、分析或传递。 5.3.2过程的测量 1)生产部门应采取适当的方法对满足顾客要求和证实过程持续能力所必须的过程进行测量,以满足其预期的目的。 2)生产部门应确定评价过程有效性和效率的测量方法。对过程有效性的测量方法的要求主要是:质量符合性、准时性等等。过程效率的测量方法要求评价生产率、人员的利用、成本降低(如浪费、物耗)等。 5.3.3产品和/或服务的测量 1)品管部应采用适当的方法对产品特性进行测量。 2)品管部应定期评定并详细说明产品的测量要求,包括接受准则。 5.4 信息的贮存、保护、检索和处置 (1)贮存 各部门应及时将本部门涉及的信息以资料的形式将信息存档到相应的 档案之中。 (2)保护 各部门采取妥善措施,如信息加密、分级审查,以确保信息的安全性和 保密性。 (3)处置 各部门定期清理过时的“信息”,使贮存的信息都有可利用的价值并减 少信息所占“空间”。 5.5信息传递及发布 各部门应将有关信息(其他部门所需的信息)及时传递到相关部门。信息传递的管理方法主要为:计算机网络管理、手工报表等。如提供信息的部门没

基于大数据的遥感数据质量管理探索

基于大数据的遥感数据质量管理探索 发表时间:2018-07-23T12:20:00.747Z 来源:《基层建设》2018年第18期作者:孙立军李小强仲健民[导读] 摘要:大数据几乎对每个领域都产生了影响,遥感数据作为大数据重要组成部分,其自身也在发生深刻变革。 32023部队辽宁大连 116023 摘要:大数据几乎对每个领域都产生了影响,遥感数据作为大数据重要组成部分,其自身也在发生深刻变革。本文结合大数据时代背景和遥感数据质量管控现势情况,对大数据在遥感数据质量管控方面进行初步探索,浅要分析大数据下的遥感数据质量管理模式。 关键词:大数据;遥感数据;质量管理;探索 1 引言 21世纪,人类进入信息社会,传感器和社会网络产生海量数据,数据积累的量变引发质变,越来越多的企业、行业和国家以数据为资源进行知识和智力开发,挖掘了数据内在的价值,逐步形成了大数据的概念。大数据指的其实就是“海量数据+复杂数据类型”及非结构化数据,其核心在于数据的挖掘和应用产生的多方位价值。具有数据体量(V olumes)巨大、数据类别(Variety)繁多、价值(Value)密度低、处理速度(Velocity)快的特点(简称4V)。 大数据几乎对每个领域都产生了影响,从表象看,大数据就是一个容量特别大,数据类别特别多的数据集,大概能达到PB的级别,其并不是一种新的技术,也不是一种新的产品,而是我们这个时代出现的一种新的现象。从内涵看,大数据的价值还在于大数据内部的关联、挖掘数据与数据的复杂关系以及数据(结构化与非结构化)与业务和决策间的关联等。从资源应用角度看,大数据是一种海量的数据状态以及应对这种状态的处理技术工具,还是未来社会的一项重要基础设施。 2遥感数据质量管理瓶颈 2.1 遥感大数据质量验收 遥感技术正在逐渐建立大数据体系结构,面对海量遥感数据,如何实现数据的质量与数量同步发展是当前一大难题。传统遥感数据质量验收数据量较少,所有项目可以实现一、二级验收100%,部分项目可以实现三级验收100%,数据量在人工验收能力承受范围之内。面对日益增加的遥感数据,验收任务陡增,传统的人工验收已逐渐不能适应当前任务形势。以立体测图为例,现在每年千幅级的任务数量,包含空三、采集、入库等工序,如果每一幅图、每一道工序都通过传统人工验收,需要1个人验收4年,一个验收组(4人)验收1年,才能够基本实现100%验收。传统验收模式效率低,并且对人的主观能动性要求极高,正面临巨大挑战。 2.2 遥感大数据的存储管理 数据生产过程中,产生的一些过程数据,极大地占用了存储空间。以正射影像为例,每一道数据处理工序都需要留存,以备在后期验收过程中出现问题可以及时修改,这就使得实际生产过程中需要原始数据量5倍之多的存储空间来完成任务。大数据对数据传输和数据管理都提出了较高的要求,在海量数据中,如何更快捷的检索、定位、传输数据,都是目前需要解决的难题,而目前的测绘软硬件都不能够完全满足大数据管理要求。 3 基于大数据的质量检验模式的探索 3.1 健全大数据下质量管理体系 建立完善的质量管理体系是加强遥感产品质量管理的重要措施,为及时生产高标准、高质量的遥感产品,从设计、生产建立起一套严密协调的高效能的管理系统。实施全面质量控制,对顶层设计、作业力量、业务机制、业务创新、奖惩措施等各个影响质量建设的因素,进行全面规范、完善和提高。明确规定各部门和每个岗位在测绘生产中的职责,使各项工作正规化、标准化、程序化。制定质量计划,加强质量过程跟踪机制建设,从数据源、数据资料、数据流转、阶段成果等各方面进行全方位的跟踪管控,抓好每一道工序的成果质量。 3.2 完善大数据下遥感数据管理系统 由于数据量大,造成数据在传输、管理上显得有些“笨重”,如何高效快捷的实现数据管理和传输,可以从以下2个方面突破。一是依托集群系统,研究制定协同作业方案,实现数据实时共享和可视化,为数据接边和阶段性成果监视构建交流平台。同时,建立合理有效的数据管控级别,对作业员、指导工程师、验收员、网络管理员分别设置不同级别的访问和使用权限,既节省时间,同时对协同作业有极大的促进作用。二是减少数据流通次数,建立健全合理畅通的数据流通渠道,并且应避免数据的重复存储和版本信息的混乱。 3.3 研发大数据下智能质量分析系统 研发并配备大数据下遥感数据管理系统相应的软件系统,进一步提高质量检查的智能化水平。一方面,针对每一项任务,制定质量评定标准和相应的匹配模板,将所有的数据(成品和半成品)按照模板进行统一规范,利用智能匹配技术和结构分析技术,在少量人工干预的情况下,进行数据的统一质量评定。对作业人员每天提交的数据,可以充分利用夜间空闲时间,利用大数据分析系统和相关质量评定系统,统计数据质量情况、生成相应报告并反馈作业人员,以此实现数据质量跟踪检查。另一方面,依靠自身解决生产过程当中的小问题。充分调动人员积极性,依托科技创新,鼓励作业人员开发小程序、小软件,提高自查能力和效率。同时应考虑集中单位技术力量,研发系统高效的质量检查评价系统。 3.4 根据任务性质和需求把握主次 每一项任务都有其特定需求,如立体采集重点把握数据定位、影像判读、要素取舍、表示方法等,入库数据重点把握属性性质、拓扑关系等,地形图、军事交通图与军事地理图等不同类型的图表示的重点和方法也不同……这就需要根据任务需求、产品性质,明确验收重点,在坚持原则性问题不动摇的基础上合理把握,减少不必要的工作量。 4 结束语 大数据时代的到来,标志人类将进入数字化信息社会,构建世界信息架构。测绘数据作为基础性数据,既可以是大数据的框架数据,也可以依托大数据对自身进行不断的丰富完善。遥感数据成果质量的管理验收工作,必将在大数据的支撑下实现质的飞跃。 参考文献: [1]孔德智,杨晓明,张莹莹.大数据浅析[J].计算机科学与技术,2013,31(11):85-89. [2]胡雄伟,张宝林,李抵飞.大数据研究与应用综述(上)[J].标准科学,2013,9:29-34.

数据质量管理

数据质量管理 定义: 是指对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题,进行识别、度量、监控、预警等一系列管理活动,并通过改善和提高组织的管理水平使得数据质量获得进一步提高。 目录 1数据质量管理 2数据质量管理评估维度 3分析影响数据质量的因素 4MTC-DQM 数据质量管理的方法与步骤 一数据质量管理 数据质量管理是循环管理过程,其终极目标是通过可靠的数据提升数据在使用中的价值,并最终为企业赢得经济效益。 二数据质量管理评估维度 由于数据清洗(DataCleaning)工具通常简单地被称为数据质量(Data Quality)工具,因此很多人认为数据质量管理,就是修改数据中的错误、是对错误数据和垃圾数据进行清理。 这个理解是片面的,其实数据清洗只是数据质量管理中的一步。数据质量管理(DQM),不仅包含了对数据质量的改善,同时还包含了对组织的改善。针对数据的改善和管理,主要包括数据分析、数据评估、数据清洗、数据监控、错误预警等内容;针对组织的改善和管理,主要包括确立组织数据质量改进目标、评估组织流程、制定组织流程改善计划、制定组织监督审核机制、实施改进、评估改善效果等多个环节。 任何改善都是建立在评估的基础上,知道问题在哪才能实施改进。通常数据质量评估和管理评估需通过以下几个维度衡量。

1 数据质量评估维度 完整性Completeness:完整性用于度量哪些数据丢失了或者哪些数据不可用。 规范性Conformity:规范性用于度量哪些数据未按统一格式存储。 一致性Consistency:一致性用于度量哪些数据的值在信息含义上是冲突的。 准确性Accuracy:准确性用于度量哪些数据和信息是不正确的,或者数据是超期的。 唯一性Uniqueness:唯一性用于度量哪些数据是重复数据或者数据的哪些属性是重复的。 关联性Integration:关联性用于度量哪些关联的数据缺失或者未建立索引。 2 管理质量评估维度 配置管理Config Management:此维度用于度量数据在其生命周期内的一切资源是否得到了控制和规范,即数据的计划、产生、变更直至消亡的过程中,与数据相关的计划、规范、描述是否收到控制。评估指标包括:评估配置项的细化粒度、评估基线准确度和频度以及变更流程是否合理完善等。 培训 Training:此维度用于度量数据的生产和使用者在数据生命周期内的一切活动中是否经过了知识和技能的培训、培训效果是否满足岗位需要;受训的知识和技能是否经过审核和确认,受训的内容是否与企业文化和价值观一致;培训流程是否合理完善等; 验证和确认Verify & Validation:此维度用于度量数据在其生命周期内是否得到验证和确认。评估内容包括是否通过验证流程确保工作产品(数据)满足指定的要求、是否通过“确认”流程保证工作产品(数据)在计划的环境中满足使用的要求;“验证”和“确认”的流程是否完善; 监督和监控Monitoring:此维度用于度量产生和使用数据的流程在数据的整个生命周期内是否真正受控。脱离监控的信息、技术、计划、流程、制度,会导致数据质量低下。监督和监控的流程是否完善。 三分析影响数据质量的因素 影响数据质量的因素主要来源于四方面:信息因素、技术因素、流程因素和管理因素

2017年质量管理体系数据分析报告

2017年质量管理体系数据分析报告 一、综合概述 2017年集团发展稳中求胜,在建项目管理体系均正常运行,过程均在受控状态。项目的管理、收益、声誉得到改善,提高了公司的市场竞争力。通过对施工过程控制,体现了质量、环境、职业健康安全管理的有效性,使一些管理瑕疵和产品瑕疵得到改进和改正。对体系运行的适宜性和有效性提供了支撑,使企业赢得了良好地信誉和效益。 二、数据分析范围本年度数据分析范围包括所有在建项目和集团体系覆盖范围的管理控制、运行过程有关的信息范围,对数据的收取采取了调查、交谈、现场采集记录等方式。对体系覆盖的绩效、监视结果、资源配置情况等相关数据进行了评价。 三、数据分析过程数据采集监控点放在施工组织设计、工期进度、施工过程、产品质量抽样等关键点上。得出了施工组织的策划率、进度偏差、工序检查合格率、分部分项合格率、强度合格率、不合格纠正预防控制率等数据。分析得出了企业项目管理的实用信息,产品的符合性及其趋势。 1、施工组织设计 施工的组织设计采取项目经理组织项目编制,分公司技术负责人审核批准后报集团总工程师审批的控制流程。检查项目的施工组织设计编制率100%,审批率100%。建筑产品从管理源头上得到了有效

控制,重难点专项施工方案项目组织专家进行评审。施工组织设计得到业主、监理审批并备案。 2、施工进度 项目的施工进度与合同工期比较都有拖延,拖延率达100%。其中原因各不相同。有业主征地滞后拖延工期、有气候(雨、雪)原因拖延工期、有业主设计优化更改设计造成工期拖延、有工程款支付不到位停工(待工)造成工期拖延、有甲供材料不及时停工待料造成工期滞后。这些原因都普遍存在各个项目上,工期的拖延采取的措施包括:协商业主让步延后工期、按照合同条款索赔工期、缩短关键线路工序的施工持续时间满足工期要求。 针对工期滞后的普遍性,检查组对工期的处置进行了审查跟踪,发现一些不利项目的趋势: (1)、提出的索赔事实与索赔证据衔接不紧,有代沟,容易遭到业主的反索赔。 (2)、协商的手段和方式粗暴,一度追求目标得到赔偿,忽略协商的知识、技巧、逻辑思维、时机动机,索赔的赔偿率不高。 (3)、管理上存在超前意识不强,对一些可以预测估计的气象、地质、技术的应急、物质、机械、资金储备不足。 3、施工过程针对公司的经营范围,公司的技术性密集、劳动力密集的特点。一些特殊的施工过程控制存在瑕疵,对管理提出了较大要求。我们跟踪检查发现回访工程中对于填充墙体裂缝、卫生间,

关于加强数据分析在质量管理中应用的思考

目前,在质量管理体系审核中,存在着一个普遍的问题,就是对GB/T19001-2000标准中8.4条款“数据分析”的审核深度不够,重视程度不高。查其原因主要有两点,一是企业不知道分析什么,如何进行分析,因而提供不出分析的证据;二是有相当一部分审核员不知道应该收集什么证据,企业应该做哪些数据分析,在审核中轻描淡写几句,从而影响了数据分析在质量管理体系中应有作用的发挥。 企业要想提高管理水平和产品质量,要想在同行业处于领先水平,就必须知道本企业的差距在哪里,然后才能分析原因进行改进。企业在管理活动和产品实现活动中通过内部沟通、顾客沟通、各种监视和测量活动,会收集到许多数据和信息,但这些数据和信息一般都是无规律的。因此,需要对数据和信息进行整理、分析,找出其规律性,从而为改进指出方向和机会,为领导正确决策提供依据。这就是进行数据分析的目的。 1ISO9000质量管理体系中数据分析的含义数据是关于自然、社会现象和科学试验的定量或定性的记录,是科学研究最重要的基础,研究数据就是对数据进行采集、分类、录入、储存、统计分析,统计检验等一系列活动的统称。其中统计分析,统计检验需要一些逻辑推理,才能分析影响输出的关键因素。由于数据的客观性,它被用于许多场合。ISO9000族标准中对“数据分析”作了规定:“组织应确定、收集和分析适当的数据,以证实质量管理体系的适宜性和有效性,并评价在何处可能持续改进质量管理体系的有效性,应包括来自监视和测量的结果以及其他有关来源的数据。”数据分析提供以下有关方面的信息:顾客满意;与产品要求的符合性;过程产品的特性及趋势,包括采取预防措施的机会;供方。但从企业实际情况看,目前部分贯标企业对数据分析的重视程度不高。查其原因,一是企业不知道分析什么,如何进行分析,因而提供不出分析的证据;二是有相当一部分审核员不知道应该收集什么证据,企业应该做哪些数据分析,在审核中轻描淡写几句,从而影响了数据分析在质量管理体系中应有作用的发挥。这是许多企业虽然贯标认证多年,但质量管理水平提高不明显的主要原因之一。 质量数据是指某质量指标的质量特性值,由于质量一词含义丰富,既包括狭义的产品质量,也包括广义的工作质量,因而质量指标在企业中就多种多样,质量数据在企业中几乎无处不在。狭义的质量数据主要是产品质量相关的数据,如不良品数、合格率、直通率、返修率等。广义的质量数据指能反映各项工作质量的数据,如质量成本损失、生产批量、库存积压、无效作业时间等。这些均将成为精益质量管理的研究改进对象。 在质量数据统计分析中,特别关注三项指标,一是数据的集中位置,二是数据的分散程度,三是数据 关于加强数据分析 在质量管理中应用的思考 杨辉 (河南省信阳市质量技术监督局) 作者简介:杨辉,研究生,河南省信阳市质量技术监督局 注册质量工程师,主要从事质量管理工作。

质量管理:数据分析控制程序

质量管理:数据分析控制程序 1、目的 收集和分析适当的数据,以确定质量管理体系的适宜性和有效性,并识别可以实施的改进。 2、适用范围 适用于对来自监视和测量活动及其他相关来源的数据分析。 3、相关/支持性文件 《过程和服务的监视和测量程序》 《文件控制程序》 《记录控制程序》 《纠正措施程序》 《预防措施程序》 4、职责 4.1质量管理部 a)负责归口管理公司对内、外相关数据的传递与分析、处理; b)负责统计技术的选用、批准、组织培训及检查统计技术的实施效果。 4.2各部门 a)负责各自相关的数据收集、传递、交流; b)负责本部门统计技术的具体选择与应用。 5、工作程序 5.1数据是指能够客观地反映事实的资料和数字等信息。

5.2数据的来源 5.2.1外部来源 a)政策、法规、标准等; b)地方政府机构检查的结果及反馈; c)市场动态; d)相关方(如业主和住户、供应方等)反馈及投诉等。 5.2.2内部来源 a)日常工作,如质量目标完成情况、服务质量检查与考评记录、内部质量审核与管理评审报告及体系正常运行的其他记录; b)存在、潜在的不合格,如质量问题统计分析结果、纠正预防措施处理结果等; c)紧急信息如出现突发事故等; d)其他信息员工建议等。 5.2.3数据可采用已有的质量记录、书面资料、讨论交流、电子媒体、通讯等方式。 5.3数据的收集、分析与处理 5.3.1对数据的收集、分析与处理应提供如下信息; a)业主和住户满意或不满意程度; b)服务满足业主和住户需求的符合性; c)过程、服务的特性及发展趋势,包括采取预防措施的机会; d)供方的信务标准类数据的收集分析,并负责传递至相关部门。对出现的不合格项,执行《纠正措施程序》。

质量数据分析和质量信息管理办法

内部资料 注意保存宝山钢铁股份有限公司特殊钢分公司 管理文件 文件编号:SWZ07016 第 1 版签发:王治政质量数据分析和质量信息管理办法 1 总则 1.1为了收集、分析各类质量数据和信息并及时传递和处理,更好地为质量管理体系的持续改进和预防措施提供机会,特制订本办法。 1.2本办法适用于宝山钢铁股份有限公司特殊钢分公司(以下简称:分公司)质量数据和质量信息的收集、分析等管理。 2管理职责分工 2.1 质量保证部负责质量数据和质量信息的归口管理,并负责质量指标、质量体系运行等方面数据和信息的收集、分析和传递。 2.2 制造管理部、特殊钢技术中心负责关键质量特性等方面的数据和信息收集、分析和传递。 2.3特殊钢销售部负责顾客满意度及忠诚度方面的数据和信息收集、分析和传递。 2.4 采购供应部负责原料、资材备件、设备工程供方数据和信息收集、分析和传递。 2.5 各有关生产厂、部负责本部门或本专业数据和信息收集、分析和传递。 3质量数据、信息收集的范围 3.1 需收集的质量数据、信息应能反映分公司产品实物质量和质量管理体系的运行状况,能反映分公司技术质量水平,并能为持续改进和预防措施提供机会。 3.2 数据、信息收集范围包括: 3.2.1质量合格率、不合格品分类、废品分类、质量损失等; 3.2.2关键质量特性、工艺参数等; 3.2.3体系审核中不合格项的性质和分布等; 3.2.4顾客反馈、顾客需求、顾客满意程度、顾客忠诚程度等;2006年1月12日发布 2006年1月12日实施

3.2.5供方产品、过程及体系的状况等。 4 数据分析的方法 4.1数据分析中应采用适用的数理统计方法。常用统计方法有:分层法、排列图法、因果图法、对策表、检查表、直方图法、过程能力分析、控制图法、相关及回归分析、实验设计、显著性检验、方差分析等。 4.2 产品开发设计阶段可使用实验设计和析因分析、方差分析、回归分析等,以优化参数。 4.3 在质量先期策划中确定过程控制适用的统计技术,并在控制计划中明确。 4.4 生产过程可使用控制图对过程变量进行控制以保持过程稳定;并可利用分层法、直方图法、过程能力分析、相关及回归分析等对过程进行分析,明确过程变差及影响过程因素的相关性,以改进过程;使用排列图法、因果图法等确定生产中的主要问题及其产生原因;使用对策表来确定纠正和预防措施。 4.5 产品验证中可使用检查表,并在检测中使用显著性检验,方差分析、测量系统分析等来进行检测精度管理,防止不合格品流入下道工序。 4.6 在质量分析、质量改进和自主管理活动中可使用分层法、排列图法、因果图法、对策表、直方图法、控制图法、相关和回归分析等。 5质量数据、信息的利用 5.1按规定定期向有关部门传递数据分析的结果,包括销售部每月应将用户异议情况反馈到质量保证部等部门,财务部每月将质量损失情况反馈质量保证部等部门,质量保证部通过编制质量信息日报,每天将实物质量情况向制造管理部、特殊钢技术中心或分公司主管领导传递。 5.2 应通过报告、汇报等形式及时向分公司领导报告数据、信息分析的有关文件,为分公司领导决策提供依据。 5.3 各部门应充分利用数据分析的结果,以寻求持续改进和预防措施的机会。 5.5经过汇总、整理和分析的数据和信息可通过管理评审、技术质量等有关专业工作会议和分公司局域网与相关部门进行沟通。 6质量信息(异常信息)管理

大数据质量管理

大数据质量管理 在长期的数据仓库、CRM等数据分析项目的开发工作中发现,低下的数据质量往往造成开发出来的系统与用户的预期大相径庭;很多数据仓库、CRM项目应用程度不高或最后失败,归根结底都是数据质量不高造成的。数据质量不高已经成为困扰此类项目的开发人员与用户的一个严重问题。为了提高大家对数据质量的认识,使企业领导重视数据质量的管理工作,笔者试图对数据质量及数据质量管理做一个较全面的介绍。 1.何谓数据质量 何谓数据质量可从两个方面来理解: 1.1.数据本身的数据质量 数据的真实性。 数据必须真实准确的反映实际发生的业务。 数据的完备性。 数据的完备性是说数据是充分的,任何有关操作的数据都没有被遗漏。 数据的自洽性。 数据并不是孤立存在的,数据之间往往存在着各种各样的约束,这种约束描述了数据的关联关系。数据必须能够满足这种数据之间的关联关系,而不能够相互矛盾。 数据的真实性、完备性、自洽性是数据本身应具有的属性,称为数据的绝对质量,是保证数据质量的基础。 除了数据的绝对质量外,还有我们在利用和存贮数据的过程中所产生的数据质量,包括使用质量、存贮质量和传输质量,称之为过程质量。 1.2.数据的过程质量 数据的使用质量 数据的使用质量是指数据被正确的使用。再正确的数据,如果被错误的使用,就不可能得出正确的结论。 数据的存贮质量 数据的存贮质量是指数据被安全的存贮在适当的介质上。所谓安全是指采用了适当的方案和技术来抵制外来的因素,使数据免受破坏,备份是我们常使用的技术,包括异地备份和双机备份等,美国的9.11事件和2004年底发生的印度洋海啸事件使越来越多的企业领导意识到备份尤其是异地备份的重要性;所谓存贮在适当的介质上是指当需要数据的时候能及时方便的取出。 数据的传输质量 数据的传输质量是指数据在传输过程中的效率和正确性。在现代信息社会中,数据在异地之间的传输越来越多,保证传输过程中的高效率和正确性非常重要。 2.数据质量和数据一致性 在工作中我们发现,很多用户甚至一些数据仓库项目的开发人员经常将数据质量和数据仓库项目开发中的ETL过程的数据一致性混为一谈,错误的认为数据仓库项目(也即

大数据环境下的数据质量管理策略

大数据环境下的数据质量管理策略 信息时代,数据已经慢慢成为一种资产,数据质量成为决定资产优劣的一个重要方面。随着大数据的发展,越来越丰富的数据给数据质量的提升带来了新的挑战和困难。提出一 种数据质量策略,从建立数据质量评价体系、落实质量信息的采集分析与监控、建立持续 改进的工作机制和完善元数据管理4个方面,多方位优化改进,最终形成一套完善的质量 管理体系,为信息系统提供高质量的数据支持。 1信息系统数据质量 信息由数据构成,数据是信息的基础,数据已经成为一种重要资源。对于企业而言, 进行市场情报调研、客户关系维护、财务报表展现、战略决策支持等,都需要信息系统进 行数据的搜集、分析、知识发现,为决策者提供充足且准确的情报和资料。对于政府而言,进行社会管理和公共服务,影响面更为宽广和深远,政策和服务能否满足社会需要,是否 高效地使用了公共资源,都需要数据提供支持和保障,因而对数据的需求显得更为迫切, 对数据质量的要求也更为苛刻。 作为信息系统的重要构成部分,数据质量问题是影响信息系统运行的关键因素,直接 关系到信息系统建设的成败。根据“垃圾进,垃圾出(garbagein,garbageout)”的原理,为了使信息系统建设取得预期效果,达到数据决策的目标,就要求信息系统提供的数据是可靠的,能够准确反应客观事实。如果数据质量得不到保证,即 使数据分析工具再先进,模型再合理,算法再优良,在充满“垃圾”的数据环境中也只能

得到毫无意义的垃圾信息,系统运行的结果、作出的分析就可能是错误的,甚至影响到后续决策的制定和实行。高质量的数据来源于数据收集,是数据设计以及数据分析、评估、修正等环节的强力保证。因此,信息系统数据质量管理尤为重要,这就需要建立一个有效的数据质量管理体系,尽可能全面发现数据存在的问题并分析原因,以推动数据质量的持续改进。 2大数据环境下数据质量管理面临的挑战 随着三网融合、移动互联网、云计算、物联网的快速发展,数据的生产者、生产环节都在急速攀升,随之快速产生的数据呈指数级增长。在信息和网络技术飞速发展的今天,越来越多的企业业务和社会活动实现了数字化。全球最大的零售商沃尔玛,每天通过分布在世界各地的6000多家商店向全球客户销售超过2.67亿件商品,每小时获得2.5PB的交易数据。而物联网下的传感数据也慢慢发展成了大数据的主要来源之一。有研究估计,2015年全球数据量为8ZB,而到2020年则高达35.2ZB,是2015年数据量的44倍之多。此外,随着移动互联网、Web2.0技术和电子商务技术的飞速发展,大量的多媒体内容在指数增长的数据量中发挥着重要作用。 大数据时代下的数据与传统数据呈现出了重大差别,直接影响到数据在流转环节中的各个方面,给数据存储处理分析性能、数据质量保障都带来了很大挑战。大数据与传统数据对比如表1所示。 由于以上特性,大数据的信息系统更容易产生数据质量问题:

质量信息和数据分析管理规定

南京天田设备有限公司 质量信息和数据分析管理规定 编帝lj: ___________ 审核:____________ 批准:____________ 2007-07-01 实施 2007-06-01 发布

1范围 本规定规定了质量信息和数据分析的职责和工作程序。 本规定适用于本公司实施质量信息和数据分析的管理和控制。 2引用文件 GJB9001A-2001质量管理体系要求 GB/T19001-2000质量管理体系要求 CT-ZLSC-02-2007 质量手册 3术语和定义 无条文。 4职责 4.1质量部 a)负责公司质量信息的归口管理; b)负责产品符合性质量信息和数据的收集、分析和处理,并对各部门的质量信息管理进行检查和考核评价。 4.2市场部 a)负责与顾客沟通过程和市场调研有关质量信息及数据的收集、传递; b)负责合同完成及顾客满意等有关质量信息和数据的收集、传递。 c)负责产品售后服务有关质量信息收集、传递。 4.3技术部 负责产品设计、调试、测试的过程有关质量信息和数据的收集、传递。 4.4生产部 a)负责产品装配、调试、搬运、包装等过程有关质量信息和数据的收集、传递。 b)负责基础设施、工作环境等有关质量信息和数据的收集、传递; c)负责釆购过程有关质量信息和数据的收集、传递: d)负责生产计划等有关质量信息和数据的收集、传递:

4.5总经办 负责与财务有关的产品质量成本、内外部质量损失等有关信息和数据的收集、传递。 5工作程序 5.1质量信息管理 5.1. 1信息收集 相关部门应识别、收集、传递有关的信息(包括量化的信息,即数据),并对信息进行分类、记录。 5.1.2信息和数据的来源、内容 信息和数据主要来自监视和测量活动以及其他有关方面能客观地反映事实的资料,如市场分析、相关的科技发展动态、研制和生产计划报表、质量和财务报表、销售报表、售后服务报告、过程监视和测量记录、审核和评审结果、顾客的期望等。 5. 1.2. 1质量部 收集的渠道: a)对产品的检验验收和试验: c)对产品质量问题的处理及不合格品的审理; d)产品质量分析会; e)内、外审和管理评审。 f)监视和测量装置的校准和检定; 收集的信息和数据内容: a)采购产品的合格率; b)产品一次交验合格率、军验一次交验合格率; c)质量LI标完成情况考核; d)内、外部审核和管理评审记录。 e)计量器具送检率、合格率; 5. 1. 2. 2技术部 收集的渠道: a)查阅文献资料; b)设计和开发立项前的调研;

ISO9001质量管理体系-数据分析控制程序

1.目的 对公司内的有关数据进行收集和分析,确保工序、产品质量、服务质量等到有效控制并不断改进,确保质量目标的实现。 2.范围 适用于对来自监视和测量活动的结果及其他有关来源的数据分析。 3.职责: 3.1 质检科 A.负责统筹公司对内、外有关数据的传递、分析与处理; B.负责统筹统计技术的选用、批准、组织培训及检查统计技术的实施效果。 3.2各部门 A. 负责本部门有关的数据收集、传递、交流; B. 负责本部门统计技术的具体选择与应用。 4.程序 4.1数据是指能够客观地反映事实的资料和数字等信息,可采用已有的质量记录、书面资料、讨论交流、电子媒体、声像设备、通讯等方式。 4.2数据的来源 4.2.1监视和测量活动: A.顾客满意度的调查,包括对客户的满意度调查结果; B.内部审核的结果或管理评审报告及体系运行的其他记录;如存在、潜在的不合格,质量问题统计分析结果、纠正预防措施处理结果等; C.过程和产品的监视和测量结果,如日常工作中质量目标完成情况、每日产品质量抽查、检验试验记录等; 4.2.2其他来源: A.市场调研结果,如新产品、新技术发展方向等; B.相关方(如顾客、供方等)反馈及投诉等 C.外方审核,如政府机构检查结果及反馈; D.政策、法规、标准等

4.3数据的收集、分析与处理 4.3.1通过数据的收集、分析与处理应提供如下信息: A.顾客满意和(或)不满意程度; B.产品满足顾客需求的符合性; C.过程和产品特性变化的趋势,以及改进的机会; D.供方满足组织需求的能力的变化等。 4.3.2数据的收集、分析与处理 4.3.2.1 监视和测量活动的信息将按如下有关程序进行相关数据的收集、分析和处理: A.《顾客满意度测量管理规定》; B.《内部审核控制程序》; C.《过程和产品的监视和测量控制程序》 4.3.2.2其他来源数据,如市场调研、顾客反馈和外部审核等方面的数据将按《信息交流控制程序》由相关部门进行收集、分析、整理和传递。 4.4数据分析方法 4.4.1为了寻找数据变化的规律性,使数据分析后能够提供预期的信息,通常采用统计方法 4.4.2基本统计方法的种类 A.点检表又称调查表、核对表,它是以简单的数据用容易了解的方式做成图形或表格,只要记上检查记号,并加以统计整理,作为进一步分析或核对检查用。常用于内审及车间的日常管理。常用的调查表有(1)不合格品项目调查表(2)缺陷位置调查表(3)内审检查表等 B.柱状图就是按照一定的标志,把搜集到的数据加以分类整理的一种方法.依柱形长度,比较数据的差数、倍率等,作图简单,能正确表示出来。目的在于把杂乱无章的数据加以整理,使之能确切地反映数据所代表的客观事实.原則是使同一类别內的数据波动幅度尽可能小,而类别之间的差別尽可能大.常用于同类多组数据间的比较。如生产同种类产品不同人员间的差别。通常有以下几种分类方法:(1)按人员(2)按班次(3)按设备(4)按不同供应商物料(5)其它 C.直方图是通过对数据的生产整理,从而分析和掌握质量数据的分布状況和估算工序不合格品率的一种方法。用途:常用于分析质量原因,测量工序能力及稳定性,估计工序不合格

相关文档
最新文档