格力大数据项目工作说明书
大数据技术工作计划书范文

大数据技术工作计划书范文一、项目概述随着互联网的快速发展和信息化的普及,数据规模呈现爆炸式增长,传统的数据处理和分析方法已经无法满足需求。
因此,大数据技术应运而生,成为解决海量数据存储、处理和分析的重要工具。
本次工作计划书旨在对公司的大数据技术进行规划和实施,以满足业务发展和管理需求。
二、项目目标1. 建立稳定可靠的大数据平台,实现数据的集中存储和管理。
2. 提高数据处理和分析效率,为业务决策提供更好的支持。
3. 实现数据的实时监控和分析,及时发现问题并采取措施。
4. 完善数据安全机制,保护数据的完整性和安全性。
三、项目范围1. 数据采集:建立数据采集管道,对公司各个业务系统的数据进行实时采集和整合。
2. 数据存储:构建大数据存储平台,实现数据的分布式存储和管理。
3. 数据处理:设计数据处理流程,提高数据处理效率和可靠性。
4. 数据分析:开发数据分析工具,为业务决策提供支持。
5. 数据安全:实施数据安全机制,对数据进行加密和权限控制。
四、项目计划1. 系统设计与规划(1)制定大数据平台的技术架构和规划。
(2)评估和选择合适的大数据平台和技术工具。
(3)明确数据采集、存储、处理和分析的流程和方法。
2. 数据采集(1)完成对各个业务系统的数据接入和整合设计。
(2)建立数据采集管道,实现对实时数据的采集和传输。
3. 数据存储(1)构建大数据存储平台,实现数据的分布式存储和管理。
(2)建立数据备份和恢复机制,保证数据的安全和可靠性。
4. 数据处理(1)设计数据处理流程,提高数据处理效率和可靠性。
(2)优化数据处理算法和工具,以满足实时和批处理需求。
5. 数据分析(1)开发数据分析工具,为业务决策提供支持。
(2)实现对数据的实时监控和分析,为业务发展提供参考。
6. 数据安全(1)实施数据安全机制,包括数据加密和权限控制。
(2)对数据的访问和操作进行审计和监控。
七、项目成本1. 大数据平台的技术架构和规划:100,000元。
大数据团队工作计划_模板及概述说明

大数据团队工作计划模板及概述说明1. 引言1.1 概述在当前信息化高速发展的时代,大数据已经成为企业运营和决策的重要支撑。
为了有效地应对大数据挑战和机遇,构建一个高效的大数据团队工作计划是至关重要的。
本文旨在提供一个模板和概述说明,帮助大数据团队规划和管理他们的工作,以实现预期目标。
1.2 文章结构本文分为五个部分进行阐述:引言、大数据团队工作计划模板、团队成员角色分配与协作机制、时间管理与进度把控策略以及结论与展望。
在引言部分,我们将介绍该文章的目的,并对后续章节进行简要概述。
1.3 目的本文的主要目的是提供一个全面且实用的大数据团队工作计划模板,以帮助团队明确任务目标、确定实施步骤,并有效地利用资源进行任务执行。
此外,我们还将讨论团队成员角色分配与协作机制,包括沟通方式和使用的协作工具。
同时,针对时间管理与进度把控策略这一重要方面,我们将分享任务拆解、优先级规划、时间估算和监控的方法与技巧。
最后,我们将总结收获与不足改进,并展望大数据团队在未来的发展方向。
通过阅读本文,读者将能够了解到一个完整而有效的大数据团队工作计划所需包含的内容,并能根据实际情况进行调整和应用。
希望读者能够充分利用本文提供的模板和概述说明,为他们的大数据团队建设与管理提供有力支持。
2. 大数据团队工作计划模板:2.1 内容概述:大数据团队工作计划是为了有效组织和管理大数据团队的工作,达成预期目标而制定的一项重要计划。
这个模板提供了一个全面的框架,用于规划大数据团队的日常任务和项目,确保团队成员在合理分配资源的情况下高效协同工作。
2.2 关键要点:在制定大数据团队工作计划时,需要考虑以下关键要点:- 目标设定:明确阐述每个任务或项目的具体目标与预期结果。
- 任务拆解:将每个任务或项目进一步拆解成可执行的子任务,以便更好地管理和控制进度。
- 时间估算:基于过去经验和相关因素对每个子任务所需时间进行估算,并根据此来安排时间表。
大数据项目方案

大数据项目方案1. 项目背景随着互联网技术的飞速发展和数据存储成本的不断降低,大数据技术逐渐成为企业提升竞争力和创造商业价值的重要手段。
然而,对于许多企业来说,如何利用大数据技术来实现业务增长仍然是一个挑战。
本文档旨在为企业提供一个大数据项目方案,在提供具体解决方案的同时,帮助企业认识到大数据对其业务的重要性,并指导企业在实施大数据项目时的关键问题。
2. 项目目标本项目的目标是利用大数据技术提升企业业务效率,并为企业提供更好的决策支持。
具体目标如下:•提高数据处理和分析效率•实现实时数据监控和预测•提供精准的用户推荐和个性化服务•优化业务流程和资源分配3. 方案概述本项目方案将从以下几个方面进行实施:3.1 数据采集与存储为了实现数据驱动的业务增长,首先需要将企业内部和外部的各类数据进行采集和存储。
数据来源可以包括企业内部的业务数据、用户行为数据以及外部的市场数据等。
数据采集可以通过开发自动化的数据接口、使用数据爬虫或者与第三方数据提供商进行合作等方式实现。
对于数据存储,可以选择使用云平台上的数据库或者分布式存储系统,以满足数据量大、高并发的需求。
3.2 数据清洗与预处理采集到的原始数据往往存在着噪声、缺失值和异常值等问题,需要进行数据清洗和预处理。
数据清洗包括去除重复数据、处理缺失值和异常值,以确保数据质量和准确性。
数据预处理包括特征提取、特征变换和数据降维等操作,以为后续的数据分析和挖掘做准备。
3.3 数据分析与建模在数据清洗和预处理之后,可以对数据进行进一步的分析和建模。
数据分析可以包括描述性统计、数据可视化以及数据挖掘等方法,以从数据中提取出有价值的信息。
数据建模可以使用机器学习算法进行模型构建和训练,以实现数据分类、聚类、回归等任务。
3.4 数据可视化与决策支持通过数据分析和建模,可以得到对企业业务有指导意义的结果。
为了更好地帮助企业做出决策,需要将分析结果进行可视化展示。
数据可视化可以利用折线图、柱状图、热力图等方式,以直观、清晰的方式呈现数据分析结果。
大数据应用部门项目工作汇报

大数据应用部门项目工作汇报尊敬的各位领导:我是大数据应用部门负责人,特此向各位领导汇报我部门在最近一段时间内的项目工作情况。
以下是详细的工作概述:一、项目背景近年来,随着信息时代的到来,大数据技术对企业的发展起到了至关重要的作用。
为了推动企业业务的发展,我部门积极引进并运用了大数据技术,并开展了一系列项目工作,旨在提升企业决策层面的数据化水平。
二、项目一:数据收集与清洗在过去的几个月里,我们专注于数据收集与清洗的工作。
通过与各相关部门的合作,我们成功搜集了大量的企业内部和外部数据,并进行了系统化整理和清洗工作。
目前,我们已经建立了一套完善的数据收集与清洗流程,并提供了数据质量的保障。
三、项目二:数据分析与挖掘基于清洗后的数据,我们展开了数据分析与挖掘工作。
通过运用先进的统计学和机器学习算法,我们对数据进行了深入挖掘,并得出了一系列有价值的商业洞察。
通过这些洞察,企业可以更好地把握市场需求,并做出针对性的决策。
四、项目三:大数据平台建设为了更好地支持企业的数据化发展,我们启动了大数据平台建设项目。
该平台以Hadoop为基础,集成了各种数据处理工具和可视化工具,能够更好地支持数据的存储、处理和分析。
目前,该平台已经初步建成,并开始在企业内部推广使用。
五、项目四:数据安全与隐私保护随着大数据应用的推进,数据安全与隐私保护变得尤为重要。
为了保障企业数据的安全性,我们加强了对数据的权限管理和访问控制,建立了一套完善的数据安全和隐私保护机制。
我们还定期对系统进行安全漏洞的检测和修复,以确保数据的机密性和可靠性。
六、项目五:应用范围拓展除了企业内部应用,我们还积极推动数据应用的范围扩展。
目前,我们已经与部分合作企业建立了数据共享合作机制,为他们提供数据分析服务,以帮助他们更好地优化业务流程和决策。
七、项目六:人才培养大数据技术的应用需要专业的人才支持。
因此,我们注重人才培养工作。
通过内部培训和外部交流,我们提升了团队成员的专业素养和技术水平。
大数据项目实施方案

大数据项目实施方案一、背景介绍随着科技的不断发展,数据越来越成为企业决策和业务发展的重要支撑。
大数据技术的应用可以帮助企业从庞大的数据中挖掘出有价值的信息,进而优化业务流程、提升竞争力。
本文档旨在提供一份大数据项目实施方案,帮助企业高效地应用大数据技术。
二、项目目标本项目旨在帮助企业实施大数据技术,并在实施过程中达成以下目标:1.建立高效的大数据平台:搭建稳定、可扩展的大数据平台,满足企业对于数据的存储、处理和分析需求。
2.实现数据的全面采集:通过合适的数据采集工具和技术,实现对企业各个业务系统和数据源的全面数据采集,确保数据的完整性和准确性。
3.建立高效的数据处理流程:设计合理的数据处理流程,包括数据清洗、转换、归并等环节,确保数据的质量和可用性。
4.提供高效的数据分析工具:通过引入合适的大数据分析工具和算法,帮助企业对海量数据进行深入挖掘和分析,发现潜在的商机和问题。
5.辅助决策和优化业务流程:基于数据分析的结果,为企业提供科学决策的支持,帮助优化业务流程和提升企业的竞争力。
三、实施步骤1. 需求分析在项目开始之前,进行全面的需求分析是至关重要的。
与企业合作方共同确定大数据项目的目标和具体需求,明确所需数据的范围、频率和格式。
同时,评估和识别现有数据及数据源的质量和可用性,并在需求分析过程中制定相应的数据清洗和处理方案。
2. 平台架构设计在需求分析的基础上,设计合理的大数据平台架构。
考虑到数据量的增长,平台需要具备良好的可扩展性和容错能力。
选择合适的大数据存储和计算技术,如Hadoop、Spark等,并设计相应的数据集成、处理和分析模块。
3. 数据采集和集成根据需求,选择合适的数据采集工具和技术,确保将企业各个业务系统和数据源的数据全面采集到大数据平台中。
同时,考虑到数据源的多样性,需要开发相应的数据集成模块,确保数据的格式和结构的一致性。
4. 数据处理和清洗设计数据处理流程,包括数据清洗、转换、归并等环节。
大数据项目实施方案

大数据项目实施方案1. 引言本文档旨在为大数据项目的实施提供一个详细的方案。
大数据项目实施涉及到数据收集、存储、处理、分析和可视化等多个环节,需要综合考虑技术、数据和业务等多个方面的因素,并在项目的不同阶段进行有效的沟通和协调。
本方案将详细介绍大数据项目实施的步骤、关键任务和所需资源。
2. 项目背景大数据项目的实施是为了利用企业内部或者外部的海量数据,通过数据挖掘、分析和可视化等技术手段,为企业决策提供有力支持。
在实施过程中,需要制定一个详细的计划和具体的步骤,确保项目的顺利进行和达到预期目标。
3. 项目目标本项目的主要目标是利用大数据技术,从企业内部和外部收集数据,并进行分析和挖掘,为企业决策提供准确、及时的信息支持。
具体目标包括:•建立一个稳定、高效的大数据平台,用于数据收集、存储和处理;•开发和应用数据挖掘和分析算法,发现数据中的潜在价值;•实现数据可视化,使业务决策更加直观和准确。
4. 项目计划和阶段4.1 项目准备阶段项目准备阶段主要包括以下任务: - 确定项目范围和目标,明确项目的需求; - 研究相关技术和工具,选择合适的方案; - 调研数据来源,确定数据采集的方法和渠道; - 确定项目团队和角色分工; - 制定项目计划和时间表。
4.2 数据收集与存储阶段数据收集与存储阶段主要包括以下任务: - 设计和建立数据采集系统,获取来自各个渠道的数据; - 对采集的数据进行清洗和预处理,确保数据的质量和完整性;- 建立一个稳定、高可用的数据存储系统,支持数据的快速存储和检索; - 制定数据安全和隐私保护策略,确保数据的安全和合规性。
4.3 数据处理与分析阶段数据处理与分析阶段主要包括以下任务: - 设计和实现数据处理流程和算法,包括数据清洗、转换和集成等步骤; - 运用合适的数据挖掘算法和技术,发现数据中的模式和规律; - 进行数据分析和建模,提取有用的信息和结论; - 建立数据分析平台,支持数据的探索和可视化分析。
大数据应用的策划书 3000字

大数据应用的策划书 3000字一、项目背景随着信息技术的快速发展,大数据应用的重要性日益凸显。
大数据应用是指通过对大规模数据进行收集、存储、处理和分析,从中挖掘有价值的信息,为决策提供科学依据的一种方法。
大数据应用已经在各个领域得到广泛应用,如金融、医疗、交通、电商等。
本项目旨在通过大数据应用,提高企业的经营效率和决策水平,为企业提供更好的发展机遇。
本策划书将详细介绍项目的目标、方法、计划和预算等内容。
二、项目目标1. 提高企业的经营效率:通过大数据应用,对企业的运营数据进行分析和挖掘,发现问题和瓶颈,并提供解决方案,从而提高企业的经营效率。
2. 提升企业的决策水平:通过对大数据的分析,为企业的决策提供科学依据,降低决策风险,提高决策的准确性和效果。
3. 发现新的商机和市场机会:通过对大数据的挖掘和分析,发现潜在的商机和市场机会,为企业的发展提供新的方向和机会。
三、项目方法1. 数据收集:收集企业的各类数据,包括销售数据、财务数据、供应链数据、客户数据等,并建立完善的数据采集系统,确保数据的准确性和完整性。
2. 数据存储:建立大数据存储平台,对收集到的数据进行存储和管理,确保数据的安全性和可靠性。
3. 数据处理:对存储的大数据进行处理和分析,包括数据清洗、数据挖掘、数据建模等,从中发现有价值的信息。
4. 数据可视化:通过数据可视化技术,将处理后的数据以图表、报表等形式展示出来,使企业管理者可以直观地了解数据的情况和趋势。
5. 决策支持:基于分析结果,为企业的决策提供科学依据和建议,降低决策风险,提高决策的准确性和效果。
四、项目计划1. 需求分析阶段:与企业管理者沟通,了解企业的需求和问题,确定项目的目标和范围。
2. 数据收集和存储阶段:建立数据采集系统,收集企业的各类数据,并建立大数据存储平台,确保数据的安全和可靠。
3. 数据处理和分析阶段:对收集到的数据进行处理和分析,发现有价值的信息,并提供解决方案。
大数据项目管理手册范本

大数据项目管理手册范本1. 引言大数据项目管理手册是为了规范和指导大数据项目的开展而编制的。
本手册旨在提供一个全面的指导框架,帮助项目管理人员有效地规划、执行和控制大数据项目,从而提高项目交付的质量和效率。
2. 项目背景描述大数据项目的背景和目标,明确项目的重要性和价值,包括项目的发起机构、关键干系人以及项目的目标和范围。
3. 项目管理团队3.1 项目经理- 描述项目经理的角色和职责,包括项目经理的技能要求和责任范围。
3.2 项目团队成员- 列举项目团队成员的角色和职责,包括技术人员、业务人员和管理人员等。
4. 项目管理流程4.1 项目启动阶段- 制定项目章程,明确项目的目标和可交付成果。
- 进行项目立项评估和风险评估。
- 定义项目范围、时间表和资源计划。
- 制定项目管理计划,包括计划的变更管理和沟通管理。
4.3 项目执行阶段- 执行项目计划,组织团队成员进行工作。
- 监控项目进展,进行风险管理和问题解决。
4.4 项目收尾阶段- 完成项目可交付成果,进行验收和交付工作。
- 进行项目总结和经验教训总结,以便于后续项目的改进和学习。
5. 项目管理工具5.1 项目计划工具- 描述常用的项目计划工具,如Microsoft Project等。
5.2 项目协作工具- 介绍协作工具,如Slack、Trello等,用于团队合作和沟通。
5.3 项目文档管理工具- 推荐文档管理工具,如SharePoint、Google Drive等,用于管理项目文档和知识。
6. 项目监控与评估- 描述项目进度监控的方法和指标,如甘特图、里程碑等。
6.2 项目质量评估- 确定项目质量评估方法和指标,如产品质量检查、用户满意度调查等。
7. 项目风险管理7.1 风险识别- 列举可能的项目风险并进行评估。
7.2 风险分析和规划- 分析风险的概率和影响,制定相应的风险应对计划。
7.3 风险监控和控制- 监控和控制项目风险的实施情况,及时应对和调整。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
格力大数据项目工作说明书北京西塔网络科技股份有限公司二零一六年一月1项目目标 (3)2建设及服务内容 (4)2.1需求调研及数据标准化 (4)2.2大数据基础平台搭建 (4)2.3数据采集 (4)2.4分层存储设计 (5)2.5数据加工处理 (5)2.6数据分析挖掘 (5)2.7内存数据库 (5)2.8交互式探查分析 (6)2.9数据可视化应用 (6)2.10语音智能分析 (6)2.11文本、视频、图片存储 (6)2.12大数据平台运维监控 (6)2.13大数据平台任务调度 (7)2.14ETL过程可视化 (7)2.15培训工作 (7)3建设方案 (8)4时间进度与里程碑 (8)5费用支付 (9)6需求变更过程 (9)6.1变更依据 (9)6.2变更请求处理流程 (9)7双方责任 (10)8项目组织架构 (12)9假定条件 (12)1项目目标在珠海格力电器股份有限公司的范围内,分期实现格力工业大数据平台项目的数据集成、连接、处理、分析、挖掘等相关功能。
本期项目包括设计、搭建大数据平台,接入商技一部、商技二部、计算机中心的销售订单等相关数据,实现设备故障诊断、故障预测、产品统计、实时查询、营销支持、智能搜索等功能。
故障诊断的业务目标:大数据平台处理、分析商用空调运行时采集回传的工况数据,及时、准确定位运行故障并给出大致原因,为维护部门维修空调设备和系统提供信息支撑,降低故障定位的时间、范围和工作量,缩短停机时长并提高客户满意度、忠诚度。
故障预测的业务目标:大数据平台利用数据挖掘、机器学习技术,通过学习业已存在的设备故障数据、信息,尤其是发生故障的前兆数据,归纳故障发生的特点、规律知识,并利用流计算相关技术及时发现潜在的故障及风险,及时预警,减少停机的次数及停机时长。
另外发现停机模式、规律可以进一步应用到产品设计、改进过程中。
产品统计的业务目标:大数据平台利用集成的产品及销售数据进行统计分析,用于分析产品的销售情况,客户情况,销售规律、特点及变化趋势,用于指导产品的个性化设计及产品的推广销售。
实时查询的业务目标:大数据平台利用New SQL存储技术存放设备数据,提供特定编号设备、一段时间内工况信息的实时查询功能,用于业务人员分析、判断特定设备在查询时间范围内的工作状态,总结、发现业务规律。
营销支持的业务目标:大数据平台利用集成的产品及销售数据进行分析,发现其中先后、重复购买及交叉购买情况和规律,提醒、推荐客户购买特定的产品和服务,提高产品和服务的销量。
智能搜索的业务目标:大数据平台提供通过语音输入完成产品及销售数据的查询、统计及分析的功能。
2建设及服务内容以下所有内容基于1月19日版本的需求文档。
详见《格力大数据需求说明1.0》文档,建设内容为基于Hadoop生态系统构建大数据平台,内容包括商用空调、家用空调、销售等历史数据的入库,ETL处理,数据仓库、离线计算、内存计算、实时计算、即席查询、可视化展示等内容。
具体内容如下:2.1 需求调研及数据标准化包括功能商技一部、商技二部、销售、审计部门的需求调研、数据调研以及数据标准化。
2.2 大数据基础平台搭建基于Hadoop搭建大数据平台,包括HDFS、MapReduce、HBase、Hive、Spark,MySql集群。
使用HDFS存储原始数据,供离线分析挖掘;使用Spark/MapReduce 执行离线任务;使用HBase做实时查询;使用Hive/Spark SQL 做数据仓库;使用MySql集群存储分析结果书,供上层应用查询。
2.3 数据采集大数据采集包括非结构化数据、结构化数据的采集,非结构化数据采用FlumeNG 采集,Oracle/SQLServer/MySQL关系数据库中的结构化数据采用Sqoop收集。
此外还有实时流数据采用分布式消息队列采集。
Flume收集非结构化数据,Flume是一个高可用的,高可靠的,分布式的海量数据采集、聚合和传输的系统,Flume支持定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写入到HDFS中。
Sqoop收集结构化数据,Sqoop(发音:skup),主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递,可以将一个关系型数据库(例如: MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。
Sqoop,类似于其他ETL工具,使用元数据模型来判断数据类型并在数据从数据源转移到Hadoop时确保类型安全的数据处理。
Sqoop专为大数据批量传输设计,能够分割数据集并创建Hadoop任务来处理每个区块。
实时数据处理,通过采集层数据通过消息队列组件Kafka接入到 Spark Streaming 里,Spark Streaming 实时处理后把结果存到Hbase或Mysql等关系数据库中供用户查询。
2.4 分层存储设计通过将给定文件、数据集或应用程序的必需数据特征对数据进行分层存储设计,满足不同的应用场景。
提供数据利用率与使用效率。
将常用数据存储在高速设备上,而不太常用的数据存储在低速设备上。
在宏观上,数据可以在不同的设备之间进行数据复制迁移,分层保存。
2.5 数据加工处理对数据进行分析和加工。
包括对各种原始数据的分析、整理、计算、编辑等的加工和处理。
经过加工清洗后的数据根据不同的数据类型,选择不同数据存储方式,可以存入HDFS供离线挖掘,或者存储到实时性高的MPP数据库进行统计分析。
2.6 数据分析挖掘大数据分析系统以机器学习、数据挖掘等作为核心技术,构建于大数据管理系统和云计算平台之上。
其中,大数据管理系统提供数据的存储与查询功能,云计算平台提供分布式并行计算服务。
通过分布式计算与统计分析服务器访问大数据系统,实现KPI与报表统计分析服务。
采用Spark MLlib做为数据挖掘和机器学习框架, MLlib是Spark的标准机器学习框架,MLlib相对于其他机器学习库包具有更加优异的性能或者更容易入门。
MLlib机器学习库具有完整的机器学习框架和各类别机器学习算法,满足各种场合的需求。
Mllib随着Spark版本一起发布和应用。
本系统采用MLlib构建在Hadoop之上对大数据进行挖掘处理,实现故障诊断、故障预测、配件库存优化等深度挖掘。
2.7 内存数据库内存数据库是将全部数据驻留内存的分析型数据库系统,采用内存计算技术,从根本上解决了数据仓库由于磁盘I/O导致的性能瓶颈问题,具有性能高、成本低、灵活、可扩展等众多优良特性,尤其适合做为大数据的计算引擎、分析引擎使用。
把热点数据加载到内存数据库中,提供交互式探查分析、智能查询分析等功能。
2.8 交互式探查分析基于内存数据库快速查询,使用明细数据,免去清洗、聚合过程,更快速地分析和揭露数据中蕴含的问题,直接由业务人员使用,免去提需求、澄清、确认沟通环节,快速实现分析意图,提高了发现和解决问题的效率使用时可由全部数据快速过滤出关注的部分数据进行分析;关注数据的特征可进一步由明细数据刻画、佐证;可按需保存分析场景、导出明细数据付诸解决。
优异的用户体验,以客户体验为中心设计,侧重易理解(业务视角,选择、过滤、分析)、易用(平铺、图形操作)、去除干扰(功能隐藏)、快速响应(内存计算)、增加趣味性(改分档数)。
2.9 数据可视化应用提供通过实时查询、产品统计功能,不做个性化推送。
2.10 语音智能分析大数据平台提供语言智能分析,通过录入语言,将语言转换为文本,并对文本进行分词和语义分析,提交到大数据平台完成产品产品及销售数据的查询、统计及分析的功能。
2.11 文本、视频、图片存储大数据平台增加文本、音视频、图片等非结构化数据的存储。
2.12 大数据平台运维监控提供格力大数据平台管理、运维工具及说明,包括服务器和运维系统都正常运行,运维系统可以对集群所有物理机进行性能监控,包括但不限于以下指标:CPU使用率、内存使用率、硬盘利用率、网络流量、IO负载、系统负载均值、ETL监控、数据质量监控、等服务器性能指标进行监控。
运维要考虑大数据平台的可扩展性,支持:1、在线添加节点2、服务扩展3、组件的升级4、异常处理:挂了的节点如何恢复,记录日志方便追踪2.13 大数据平台任务调度任务调度系统能够对各类任务进行配置、启动、跟踪。
同时,应并具备任务联动能力,即可以将多个任务通过流程组装成一个联合任务,各任务之间存在相互制约关系,任务调度管理能够根据各任务的执行状态、结果来自动的启动后续任务,任务间允许并发及串行两种模式。
要求各任务的配置应当为可视化的配置。
对于任务启动至少包括定时启动和条件启动两种模式。
同时允许管理员进行任务的手动执行。
任务执行可设定优先级,比如按销售> 技术> 质量> 售后(销售量大的> 销售量小的> 生产 >检验来设定。
2.14 ETL过程可视化ETL尽量满足可配置性及可视化操作,如果甲方购买了第三方ETL可视化工具如kettle、Dataflow、Syncsoft等工具,乙方应支持甲方做集成工作。
2.15 培训工作从格力大数据平台未来的使用及运行来看,北京西塔提供的培训将达到如下的目标:➢完成知识的转移承建单位开发完成一个软件系统后,将通过培训工作实现知识的转移,不仅包括软件系统的使用方法,同样还包括业务理念、系统运行维护方法、技术开发方法等满足系统未来业务拓展需要的各项技能与方法。
➢实现全员的应用应用系统的建设目标即要建设一个全员参与使用的系统,因此培训的目标之一,也是要使业务人员均可以熟练使用该系统,增强业务人员的知识储备,提高整个使用应用系统的业务人员素质。
➢保障系统的安全运行对格力大数据平台的技术管理人员进行技术培训,使其能掌握有关软件产品及系统的使用、维护、管理,达到能独立进行管理、故障处理、日常测试维护、个性化应用开发等工作目的,以保障北京西塔所提供的应用系统能够正常、安全地运行。
通过以上培训使用户系统管理员能够独立完成平台的设置、管理、故障恢复、应急处理等,能够进行日常的数据库备份及恢复操作、能够独立处理常见突发事件及操作员提出的常见操作问题。
3建设方案详见《格力大数据项目技术方案.docx》。
4时间进度与里程碑格力工业大数据平台建设。
项目工期要求:总工期10个月分3个阶段:5费用支付以合同为准。
6需求变更过程6.1 变更依据1. 变更请求✓除特殊紧急情况,只处理书面变更请求。
2. 变更标准✓当工作说明书中建设内容所说明的工作项因某种原因(如实际业务变更、可实现性变更等)发生增加、减少或变更时,认为变更发生。