为什么多数大数据项目都以失败而告终
大数据项目失败的原因_个人汇报通用
3、技能差距
3、技能差距
数据仓库和大数据以完全相反的方式处理数据：数据仓库在写入时执行模式，这意味着数据在进入数据仓库之前取模式，数据在读取时进行处理
02
04
4、技术代沟
4、技术代沟
感谢聆听
大数据项目失败的原因
演讲人
2023-05-13
4、技术代沟
3、技能差距
2、不明确的目标
1、整合不佳
目录
01
1、整合不佳
1、整合不佳
大数据失败背后存在着一个重要的技术问题，那就是整合多个来源的孤立数据，以实现企业所需的数据处理能力
整合成本是软件成本的五到十倍
他们将数据从系统提取到像数据湖这样的公共环境中后，却无法弄清楚这些值的含义
数据中的关系，这些关系需要挖掘或推断，以便机器能够充分解释这些数据
需要创建一个知识图层，以便机器能够解释下面映射的所有实例数据
需要创建一个知识图层，以便机器能够解释下面映射的所有实例数据
02
2、不明确的目标
2、不明确的目标
在进行大数据项目时会有明确的目标，但实际并不是这样的。很多公司通常是先启动项目，然后才去想目标
大数据的缺陷
大数据的缺陷作者：来源：《中国信息化周报》2018年第07期问题的起因就是大数据太“大”了。
考虑到我们拥有的数据量，有时甚至使用有缺陷的模型来产生有用的结果。
有时侯对自己的技术过于自负，当模型出现故障时，结果就会变得非常难看。
大数据失败案例Google在2008年推出了大数据这项服务，目的是要预测25个国家的流感疫情。
逻辑很简单：分析谷歌在特定地区的流感搜索查询。
将搜索结果与该地区流感活动的历史记录进行比较。
基于这些结果，活动水平被分为低、中、高或极高。
乍一看，这似乎是一个很合理的想法，但实际上并不是这样。
在2013年流感高峰期，Google的流感分析一塌糊涂。
原因是算法有缺陷，没有考虑到几个因素。
例如，如果搜索“冷”或“发烧”这类词，并不一定意味着搜索人正在找流感症状。
Google无法从这场灾难般的失误中恢复过来，最终导致了这个项目在2013年崩溃了。
大数据失败的原因我们需要吸取教训，以下是导致大数据失败的一些原因：缺乏数据调配和数据管理通常情况下，组织往往不完全了解他们已有的数据，但仍然决定在此基础上开展新的项目。
缺乏关于数据处理的文档、存储、策略和其他的程序。
这种情况下，大数据咨询公司可以为您的企业提供一个清晰的路线图和指导，说明应该如何处理您已经拥有的数据，这才是正确战胜大数据的第一步。
未定目标和战略有太多难以理解的IT术语和营销术语，此外，市场上有太多大数据产品，选择合适的产品很困难。
在做任何决定之前，找出实现目标所需的服务和技术非常重要。
“在大数据上做小数据”，意思是应该在少量数据上评估您的大数据架构，以确保选择正确的产品。
沟通很重要数据科学和大数据是领域知识、数学、统计专业知识和编程技能的复杂组合。
然而，同时它也必须具有商业意义。
通常IT部门和管理层不能理解彼此作出的变更。
为了确保您的大数据对IT和业务领导者都有意义，在项目中确保IT人员与业务人员之间保持良好的沟通。
当您第一次开始执行大数据项目时，会有很多未定义的因素，比如预算、技术、路线等等。
为什么大多数数据治理计划都失败了
为什么大多数数据治理计划都失败了数据科学领域在至少10年的时间里快速发展，尽管时间很短，但数据文化已经开始成为主流。
即使是来自石油、天然气或矿业等传统领域的企业，也从数据作为会计需求的商品转变为数据第一，甚至政府也宣布了国家数字战略。
也许今天没有一家公司没有宣布他们是数据驱动的，并且每一个决定都是基于数据的。
诺亚·哈拉里(al Noah Harari)在他的《神之家》(Home Deus)一书中对数据宗教的兴起进行了反思。
随着数据文化的兴起，出现了各种各样的专业，今天，当我们遇到首席数据官、数据分析师、计算机视觉工程师、数据工程师、商业智能专家、数据产品经理、数据管理员等人时，我们不再感到奇怪。
与此同时，像MLOps、DataOps或数据治理这样的整体方向似乎已经出现了。
一切都取决于数据，目前没有任何迹象表明数据发展会放缓。
然而，在此反思中，我们将弄清基本的定义:什么是数据管理，创建一个数据驱动的公司需要一个核心数据团队。
一什么是数据管理由数据管理协会(DAMA)提供的正式定义解释了数据管理是指在计划、政策、程序和实践的开发、执行和监督的活动，这些活动在它们的生命周期中交付、控制、保护和增强数据和信息资产的价值。
同时，Gartner Glossary提供了一个实用的定义:数据管理由实践、架构技术和工具组成，用于跨企业中的数据主题领域和数据结构类型实现对数据的一致访问和交付，以满足所有应用程序和业务流程的数据使用需求。
换句话说，一般来说，数据管理是一个专注于为终端用户证明数据、安全性及其质量的领域。
该领域的主要议题可分为:·数据库管理——关系数据库和NoSQL数据库的设计和维护是必不可少的，但同时对任何组织的部分用户都是隐藏的，普通用户在出现问题时就会知道。
在开始从数据使用中获取数据之前，应该推出数据仓库或/和数据湖。
随着数据文化的兴起，该领域也在不断发展。
然而，业务用户理解只有在关键业务流程中使用了数据之后才投资于核心数据基础设施的重要性。
软件项目失败的几个原因总结
软件项目失败的几个原因总结长年混迹在软件场的老鸟们，哪个没品尝过失败的痛苦，当我们的日日夜夜的加班及辛苦的劳动换来的只是失败的结果时，不知道你有何感想。
每当我完成一个项目时，都有着虚脱的放松感。
虚脱是累的，放松是一种解脱，不论项目成败，心里的感觉就是—个——终于解脱了。
在软件行业这些年里，生活就如同上了发条，不允许有一丝的松懈，就是希望自己负责的项目能够成功，得到公司和客户的认可。
但现实呢？相信所有人都一样，都会遇到这样或那样的问题，“理想很丰满、现实很骨感”。
老吴今天要说的是软件项目失败的根源到底在哪？幸福都是一样的，但不幸却各有各的不幸。
当我们接一个项目，在初期需求调研时，感觉客户确实要的不多，功能也不太复杂。
但随着项目的深入，你会发现客户的需求会不段的蹦出来，而且客户谈的需求也很合理，应该有，不加上功能确实不完整。
但是，一切已经远超你最初的控制了。
当初只是10万的一个网站，后来变成你根本控制不住成本，变成了赔本连吆喝都没赚到，客户还不满意。
说你：“太垃圾了，这么简单的产品都做不出来”。
你，苦啊……案例分析：前两年我受公司委托，以产品经理身份参与了某房产信息平台的建设，从项目谈判、需求调研、设计、开发、上线，整个过程都全程参与。
在谈这个平台规划时，感觉确实是一个有前景的房地产信息平台：平台目标是为了能够打通买方、卖方、经纪人、中介公司、建委等多方的信息瓶颈，让信息通过平台变得透明，让交易变得公平而公正，买方能够通过平台直接联系卖方，实现自行交易，如果能够真正实现自行交易，将会打破整个房产市场结构。
如在网络上实现交易，买、卖双方因为信息不对称而存在不信任问题。
如何解决呢？买方，通过向平台提供个人相关资料信息，平台利用买方提供的资料信息进行购房资格和身份的核验，保证买方为有资格的有效购房人；卖方，平台与北京建委实现合作，提供卖方的房产信息真实性校验，保证卖方人与房源的真实性。
解决了这两个瓶颈，就有了自行成交的前提。
心得体会：英国医疗健康大数据项目失败的原因及思考(最新)
心得体会：英国医疗健康大数据项目失败的原因及思考（最新）英国是世界上少数几个实行免费医疗制度的国家之一，创建于1948年7月的英国全民医疗保健系统（简称NHS），是世界上最大的公共基金医疗服务。
在2012年伦敦奥运会开幕式上，英国人将当代畅销小说《哈利·波特》与NHS一道，作为英国当代最引以为傲的代表成果，搬上舞台向全世界展示，可见英国人对此的自豪程度。
2011年，英国开始探索将NHS与大数据技术结合，试图将NHS所累积的医疗健康大数据运用于研究，并通过与产业、研究机构共享NHS的医疗健康大数据，进一步巩固英国医疗行业在全世界的领先地位，成为“引领全球医疗创新的典范”。
2013年，Care.data项目正式启动，计划集中全英国的家庭医生和医院记录的病历以及社会服务数据上传到一个国家级中央数据库，形成医疗大数据后实现医疗数据的集中与共享分析。
英国当局坚信该项目将有助于更好地认识病患，优化药物研发和治疗方式；更好地识别公共卫生和疾病的发展趋势，保障高质量的医疗服务；更好地实施全方位的数据采集，以监控药物和治疗的安全状况；更好地促进医疗资源合理分配，提升全国医疗质量。
然而，项目自实施以来不断受到国内各界的抗议与反对，最终在2016年7月6日被宣布停止。
这一理念先进且符合公共服务资源数字化趋势的项目为何在质疑中最终夭折呢？被质疑的措施2013年，英国NHS委员会正式公开了Care.data项目的具体实施计划。
NHS 指导卫生与社会照护信息中心（简称HSCIC）从公立医疗机构和家庭医生处收集公民医疗数据，并保存在一个国家级数据库中。
同时，允许NHS和符合条件的私营公司对数据进行研究，并声明研究目的为评估NHS所属医院的安全状况、监控疾病的发展趋势和策划新的医疗服务。
同年8月，NHS通知全国范围内的家庭医生，要求他们在八周内上传其所服务的病患相关的医疗数据。
然而，这一做法违背了英国《数据保护法案》。
为什么数据分析计划总是失败_光环大数据培训
为什么数据分析计划总是失败_光环大数据培训为什么数据分析计划总是失败强大的数据分析是一项数字业务命令式——这一切都始于智能数据治理实践，以及对质量和环境的重视。
高管们谈论的大多是普通数据的价值，但Navient Solutions公司的企业数据情报总监Michele Koch却可以计算出公司数据的实际价值。
事实上，Koch可以用实际的美元计算出公司的各种数据元素所带来的收入增加和成本下降。
因此，她明白，Navient的数据中存在能够损害其企业底线的问题。
例如，客户档案中的关键数据字段中的一个错误就可能意味着该公司无法以最低的成本处理贷款。
“由于这里涉及金钱，因此我们需要一个数据质量仪表板，用以跟踪所有的、我们追踪的、实际的、潜在的价值。
”Koch说。
另外，首席数据管理员兼财务副总裁Barbara Deemer表示，位于特拉华州威尔明顿的一家资产管理和业务处理服务公司Navient内部的一项早期数据相关举措展露了风险。
2006年的举措侧重于提高营销数据质量，并产生720万美元的投资回报率，并从增加贷款量和减少运营支出中获得回报。
Koch说，从那以后，Navient公司的高管们都承诺支持强有力的数据治理计划，这是成功分析工作的关键部分。
Navient的治理计划包括长期公认的最佳实践，例如标准化数据字段的定义和确保干净的数据。
它为大约2600个企业数据元素分配所有权。
所有权属于数据字段最初产生的业务领域，要么转到特定数据字段是其流程更不可或缺的业务领域。
该公司还有一个数据质量计划，积极监测领域的质量，以确保不断满足高标准。
该公司还推出了数据治理委员会(2006年)和分析数据治理委员会(2017年)，以解决持续存在的问题或疑虑，在整个企业做出决策，不断改进数据操作以及数据如何为公司的分析工作提供支持。
Koch说“数据对于我们的商业计划和新的商业机会非常重要，我们希望将重点放在改进支持我们分析程序的数据上。
IT项目为什么总是失败
IT项目为什么总是失败作者：Mary K. Pratt Charles来源：《计算机世界》2021年第12期尽管IT领导和业务领导在战略上达成了一致，但技术和转型计划仍然令人震惊地停滞不前。
本文介绍了IT怎样从错误中吸取教训。
即便统计数据是正确的，很多技术项目是否成功仍然让人感到一头雾水。
例如，波士顿咨询集团的研究发现，70%的数字化转型并没有达到目标。
同样，《2020年全球应用程序现代化业务晴雨表报告》发现，74%启动了原有系统现代化改造项目的企业未能完成项目，这与麦肯锡几年前报告的70%失败率相差不多。
尽管很少有技术项目是完全失败的，但首席信息官和高管顾问们指出，只有少数IT和技术主导的转型项目能够实现预期的全部价值。
其中一些项目没有产生预期的回报。
其他的则不能满足用户需求。
还有一些没有实现所希望的全部功能。
有的项目在技术方面还不够完善，例如，它们可能容易出现小故障或者无法满足需求——为新冠病毒疫苗注册建立的网站便是这样。
Ahead公司的管理咨询部咨询服务总经理Greg Stam在谈到当今IT项目的失败时说：“项目可能在技术上是失败的，或者虽然在技术上合理，但解决方案却不适合业务。
”有多种相互关联的因素经常导致IT项目达不到目标。
以下是10个常见的问题。
很多首席信息官都明白IT战略和业务战略应该保持一致。
Stam说，即使这些战略是一起制定并相互交织在一起的，高管们往往也很难在自己的部门中保持这些战略的一致性。
结果，必须为技术主导的计划进行协作和协调的各个IT部门和业务部门不清楚他们的角色怎样适应企业的路线图和总体战略目标。
缺乏广泛的一致性会延迟项目交付时间，无法实现最初确定的所有可能功能，也不利于项目的成功。
Stam说，他看到一家公司在实施一个旨在简化数据流程和数据使用的新系统时，就在这方面遇到了困难：应用程序团队按计划开展工作，但不得不等待数据团队，这既没有体现出项目的重要性，也与项目完成的时间表不符。
大数据的陷阱
大数据的陷阱在当今数字化的时代，大数据无疑是一个热门的话题。
它被广泛应用于各个领域，从商业营销到医疗保健，从金融服务到社交媒体。
大数据似乎拥有神奇的力量，能够帮助我们做出更明智的决策，发现隐藏的模式和趋势，甚至预测未来。
然而，在我们对大数据的热情拥抱中，却往往容易忽视其背后隐藏的陷阱。
首先，大数据的质量问题是一个不容忽视的陷阱。
大量的数据并不总是意味着高质量的数据。
数据可能存在错误、缺失、重复或者不准确的情况。
比如，在医疗领域，患者的病历数据可能因为人为输入错误或者不同医疗机构之间的数据格式不一致而出现偏差。
这些质量不佳的数据如果被用于分析和决策，很可能会导致错误的结论和不良的后果。
其次，大数据的隐私问题是一个令人担忧的陷阱。
随着数据的收集和分析越来越广泛，个人的隐私受到了前所未有的威胁。
我们的购物习惯、浏览历史、社交关系等大量个人信息被收集和分析，而这些信息的使用往往超出了我们的预期和控制。
例如，一些公司可能会根据我们的在线行为来推送个性化的广告，甚至将这些数据出售给第三方。
这种对个人隐私的侵犯不仅会让我们感到不安，还可能导致更严重的后果，如身份盗窃、欺诈等。
再者，大数据的分析和解读也存在陷阱。
尽管大数据分析工具越来越先进，但它们仍然依赖于人类的设计和操作。
分析人员的偏见、错误的假设或者不合适的分析方法都可能导致对数据的错误解读。
而且，大数据往往只能揭示相关性，而不能确定因果关系。
例如，我们可能发现购买某种商品的消费者往往也会购买另一种商品，但这并不意味着前者导致了后者的购买行为，可能只是一种巧合或者受到其他未知因素的影响。
另外，大数据还可能导致决策的过度依赖。
当我们拥有大量的数据时，很容易陷入一种“数据崇拜”的误区，认为数据可以解决一切问题，从而忽视了人类的直觉、经验和判断力。
然而，在某些情况下，特别是在面对复杂的、不确定的情况时，人类的智慧和判断力仍然是不可替代的。
此外，大数据的应用还可能加剧社会的不平等。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
成功。
缺乏数据访问权限。
对数据的访问往往是受限制的，IT团队成员没有访问相关数据集的权限，以致他们无法找到能将使该项目成功的相关数据。
缺乏专业知识。
鉴于许多在大数据领域的技术、方法和学科都是新的，导致企业的员工缺乏如何处理数据，完成业务的相关专业知识。
缺乏一致性
上述所有这些问题中，第一条，缺乏一致性。
是您的企业必须首先解决的问题，而且也是最为重要的问题。
问题的关键在于，您企业当前所探索和寻找的东西都是您不熟悉的领域，所以，要想获得大数据项目的成功，首先搞清楚您的业务部门到底是要解决什么问题是至关重要的。
虽然其是您企业大数据项目成功的最重要的因素，要想实现企业业务部门和IT部门之间的一致性也是相当具有挑战性的。
不仅仅是因为大数据对于不同的人有着不同的意义，同时，还在于一系列外部因素可能会影响业务需求的变化，使得处理某些问题的优先级超出了IT部门所能保持的步伐。
如果IT部门与业务部门在大数据项目所涉及的范畴方面无法达成一致，该项目就会涉及到太多的方向、太多的人，以至于会将重点从解决具体的业务问题变为对IT技术的管理，以便能够实现每个人的需求。
另外一个影响业务部门和IT部门之间的一致性的挑战来源于不愿意发生改变。
很多时候，如果一个大数据项目建议采取相关的行动或变革，而业务部门的利益相关者不理解所涉及到的相关行动或变革，他们往往可能采取消极怠工的方法，首先默默的接受这一建议，但在之后将其贬为一个错误的进程，分析或数据集。
对此，分析师团队则可能认为该业务部门已经同意并付诸相关行动了，只是他们所采取的行动所带来的结果只是产生了次优的业务成果。
缺乏数据访问权限
大数据项目失败的第二个原因——缺乏数据的访问权限可以追溯到一个基本的IT前提：筒仓。
销售部门、营销部门、人力资源部门等都有数据仓库，每个部门的数据仓库都限制了相关数据的访问权限和保护措施。
数据仓库存在的理由很好理解，但是如果IT部门所需要的数据仓库的某些相关数据不可用，那么，可以说在IT部门的员工试图解决某些问题前，就已然注定了他们无法解决这些问题了。
为了应对这一问题，大数据项目必须从一开始就具备相关数据的执行权。
如果无法对所有业务相关数据进行访问，也就无法找出业务问题的关系和模式，也就无法解决业务部门所面临的问题了。
所以，大数据项目的授权要来自企业的高层，如果企业高层发话说：“某个业务团队正在寻找解决某个相当重要的特定业务问题，IT部门就有足够的机会获得他们所需要的任何数据的访问权限了。
”如果无法获得正确的数据信息，该项目无疑将长时间处于停滞状态。
果无法获得正确的数据信息，该项目无疑将长时间处于停滞状态。
缺乏专业知识
第三大缺陷——缺乏相关专业知识。
这其实是源于企业缺乏合适的拥有正确的技能来执行大数据项目的人材。
而由于大数据技术对于“主流”企业来说仍然是很新的，IT团队往往缺乏相关的专业知识来确定如何用大数据来达到分析的目的。
虽然招聘数据科学专家是解决这种专业知识的不足一种可能性的备选方案，但对于许多企业来说是不可行的。
这一新的角色需要结合程序员的技能和调查研究科学家的思维，企业专门设置一个这样的职位的代价会非常高，同时其所需的相关技能设置也不常见，很难创建。
如何使您企业的大数据项目成功
考虑一个切实可行的办法。
首先，不要将其称之为是一个“大数据项目”。
将其命名为一个类似的项目名称：例如“一个帮助我们更好的了解我们的客户、以及为什么他们会喜欢在某个特定的商店购物的项目。
”该项目是要回答重要的业务问题，而大数据便是答案的来源。
如下，有一些最佳实践方案来帮助您的项目实现成功：
从列出一个您所想要解决的业务问题的清单入手
不要从解决某个大问题着手。
从启动一个小的项目开始，选择一个您所亟待解决的具体的问题，并坚持下去。
列出一份您所需要解答的问题的列表清单，并且不要因为被技术问题困住而忽视您的目标。
确保IT团队的工作职责不会变得过于宽泛或所谓的“全方位”，这样可以尽量避免处理问题范围的改变进而导致的项目失败：即从业务部门到IT部门的需求的改变导致问题焦点的转移。
确保所有利益相关方在客观上对于项目的实施和执行都是同意的，以便让每个人都能够专注于项目的完成。
在您开始项目之前获得企业高层的背书
一旦您已经确定您所要解决的业务问题，必须获得业务团队从上而下的对于您所需要的所有相关数据的支持，以保证成功完成项目。
务必获得公司高层领导对于访问所有相关的业务数据的授权，以便您可以找到相关的模式和关系，进而解答业务问题。
也就是说您必须获得访问、控制的权限。
确保您的团队具备执行项目所需的专业知识
理想的情况下，您的团队内部将会有成员接受过专业的训练，具备数据科学家的技能和心态，能够利用这些数据信息来生成所需的业务结果。
如果不是的话，您可以利用您现有的系统来解决的问题。
这是一个很好的退后一步来思考所需要解答的业务问题的时机。
您可能在这时不需要经过专业的培训或NLP就能够得到您需要的答案，只是授予了合适的人员来访问企业内部的数据信息而已。
选择一个能够创造商业价值的问题，并在您已经正确的道路上持续的坚持下去。
记住，一个成功的
项目与其所涉及的范围是没有太大关系的。
没必要一口气吃个胖子，那样反而会带来更大的失败。
毕竟，一个小项目的成功要比一个大项目的失败要好得多。
来源：科技在线
人人都是产品经理（）中国最大最活跃的产品经理学习、交流、分享平台。