中国移动省级NG2-BASS(v5.0)技术规范元数据管理分册
中国移动省级BOSS网管规范

1.2
要求按照“综合网管、集中维护”的目标,完善现有BOSS系统中的网管功能,逐步实现“集中监控、集中维护、集中管理”,以及对“网元级、资源级、应用级”和系统安全等维护管理。针对目前BOSS系统整改的进度,结合实际情况,完善BOSS网管系统功能的建设分阶段进行实施,划分为近期建设目标和远期建设目标:
6.1 BOSS网管自身的安全管理要求72
6.2 BOSS系统的安全信息统计74
7. BOSS网管的技术要求76
7.1接口技术要求76
7.2可靠性76
7.3可用性76
7.4安全性76
7.5可维护性77
7.6扩展性77
7.7应用软件的可操作性77
7.8数据的存储与恢复77
7.9对传输网络的要求78
8. KPI编码规则79
4.7客户服务模块45
4.8营业管理模块48
5. BOSS网管的功能呈现51
5.1拓扑呈现51
5.2告警监视与处理53
5.3信息查询、统计及发布56
5.4资源管理系统57
5.5配置录入与管理功能63
5.6报表系统63
5.7工单管理64
5.8用户与权限管理67
5.9系统自身管理67
5.10知识库69
6.安全管理72
(1)近期目标:通过完善BOSS网管系统的功能,实现BOSS系统设备资源的统一监控和管理,实现对BOSS系统的运行状况监视、工作流程监视等,更好的支撑BOSS业务系统的正常运行;同时对各省BOSS系统建设和维护质量进行考核,更好地提高BOSS系统的服务水平。具体包括:
NGBOSS1-BOSS(V20)规范培训汇编

月底出帐 • 月底出帐包括出帐预演、出帐计算、批量销帐等功能。
出帐自动化 管理
• 对出帐流程以及批量销帐过程进行自动化管理,并生成稽核日志。
调整 说明 1、实时出帐中增加对TD,家庭,宽带等业务的处理。
2、帐务优惠中增加支持TD业务、2G业务、固话业务和宽带业务等的交叉、捆绑优惠。 3、增加支持在体验期内针对产品包内的产品,支持按相应的规则进行费用减免 。 4、增加支持产品包的打折、赠送、封顶、保底、总量优惠等,并可按产品包内的产品分摊 。 5、增加支持集团级和家庭级的打折、赠送、封顶、保底、总量优惠 。
分
析
综合结算
融合计费
内部资料 注意保密
8
融合计费概述
重点调整
• 丰富了融合计费的定义,增加了对家庭客户的支持,并明确描述了融合计费的两大特征。 • 在全业务计费的描述中,实现了对TD业务、宽带业务的计费需求,明确了对全业务的交叉捆绑优惠支
持。 • 扩大了在线计费业务范围,新增对点对点短信、梦网短信业务、TD语音及数据流量业务等的在线计费
•宽带PBOSS系统包括服务开通管理、 服务保障管理、施工管理、资源管 理、基础管理等功能域。
•BASS提取业务支撑网和其它系统的 相关数据,建立统一的数据信息平 台,为客户服务、市场营销、经营 决策等工作提供有效支撑 。
•业务支撑网网管系统实现在生产运 行中对主机设备、网络设备、存储 设备、备份设备、数据库、中间件、 应用软件等进行“集中监控、维护、 管理”,提供故障处理、配置数据 处理、性能监控、稽核核心应用环 节的流程和数据及异常告警。
统计报表管理 计费帐务稽核
合作伙伴管理 资质管理 信息管理 业务管理 考核管理 服务管理 信息审核发布
经营 分析 系统
中国移动综合网络资源管理系统技术规范通用功能分册

测试结束: 关闭测试 环境,完 成系统测 试与验收 工作
系统验收标准与流程
系统功能测试:验证系统是否满足设计要求,功能是否完整、准确 系统性能测试:评估系统在各种负载下的性能表现,确保系统稳定、高效 系统安全测试:检查系统是否存在安全漏洞,确保数据安全和系统稳定 验收流程:明确验收流程、责任人和时间节点,确保验收工作顺利进行
PART 5
系统测试与验收
系统测试方法与步骤
测试准备: 确定测试 目标、范 围和环境
测试用例 设计:根 据需求和 功能设计 测试用例
测试执行: 按照测试 用例执行 测试,记 录测试结 果
缺陷跟踪 与修复: 对发现的 问题进行 跟踪、修 复和回归 测试
测试报告 编写:编 写测试报 告,总结 测试结果 和经验教 训
升级策略:分批次、分模块、分阶段进行升级 升级步骤:制定升级计划、备份数据、升级系统、测试验证、上线运行 升级注意事项:确保数据安全、避免影响业务正常运行 升级效果评估:通过性能测试、功能测试等方式对升级效果进行评估
学院
THANK YOU
汇报人:
汇报时间:20XX/01/01
系统软件要求
系统软件架构:采用分层架构,包括应用层、服务层、数据层等 系统软件功能:包括网络资源管理、故障管理、性能管理、安全管理等功能 系统软件性能:要求系统能够快速响应、稳定可靠、可扩展性强 系统软件接口:要求系统提供标准化的接口,与其他系统进行数据交互和信息共享
系统安全要求
网络安全:确保系统网络通信的安全性,防止数据泄露和攻击 主机安全:加强主机系统的安全防护,包括操作系统、数据库等的安全配置 应用安全:对系统中的应用程序进行安全加固,防止应用程序漏洞被利用 数据安全:采用加密技术对数据进行保护,确保数据在传输和存储过程中的安全性 备份与恢复:建立完善的数据备份和恢复机制,确保系统在遭受攻击或故障时能够迅速恢复正常运行
移动通信公司经营分析系统与BOSS系统业务规范

中国移动通信企业标准QB-J-003-2004经营分析系统与BOSS系统互动业务规范版本号: 1.0.0B A S S&B O S S I n t e r f a c e S p e c i f i c a t i o nV e r s i o n:1.0.02004-11-05发布2004-11-05实施中国移动通信有限公司发布目录前言本标准由中移计业[2004]XXX号印发。
本标准由中国移动通信有限公司计费业务中心提出并归口。
本标准由标准提出并归口部门负责解释。
本标准起草单位:中国移动通信有限公司计费业务中心。
本标准主要起草人:段云峰、张晓京、常倩、黄岩、刘虹、张晓艳、杨红辉、沈明磊、李雨、张蓉、房晓华、蒋楠。
本标准解释单位:中国移动通信有限公司计费业务中心。
1概述1.1适用范围本标准适用于中国移动各省(直辖市、自治区)经营分析系统与BOSS系统互动接口的建设。
1.2引用标准《中国移动通信业务运营支撑系统(BOSS)业务技术规范(1.5版)》《中国移动通信业务运营支撑系统(BOSS)业务技术规范-接口分册(1.5版)》《中国移动经营分析系统业务规范(V1.0版)》《中国移动经营分析系统技术规范(V1.0版)》《中国移动二级经营分析系统与源系统接口规范(V1.0版)》《中国移动经营分析系统数据仓库逻辑数据模型技术规范(V1.0版)》《中国移动通信有限公司省级经营分析系统数据质量检查细则(V1.0版)》1.3术语和定义1.4符号和缩略语2总体说明经过一年多经营分析系统(BASS)的建设和两年多的业务运营支撑系统(BOSS)的集中化改造,目前各省(直辖市、自治区)移动通信公司的经营分析系统和BOSS系统已基本建设完成并投入运营,初步建立起了统一的数据信息平台、业务运营平台,为客户服务、市场营销、经营决策、业务实施等工作提供了有效支撑,在中国移动的业务运营中发挥了重要的作用,成为中国移动贯彻落实“服务与业务领先”战略的有力手段。
中国移动话 务网网元数据 需求规范(V2.3.0) -BSC分册_NSN_RG10(S14)

BSCHL44
下行RLC层流量(MCS4编码)
下行RLC层流量(MCS4编码)
BSCHL45
下行RLC层流量(MCS5编码)
下行RLC层流量(MCS5编码)
BSCHL46
下行RLC层流量(MCS6编码)
下行RLC层流量(MCS6编码)
BSCHL47
下行RLC层流量(MCS7编码)
下行RLC层流量(MCS7编码)
1小时
1小时
30分钟
BSS013
B
浮点数
Mbit
CELL
1小时
1小时
30分钟
BSS014
B
整数
个
CELL
1小时
1小时
30分钟
BSR006
B
整数
个
CELL
1小时
1小时
30分钟
B
整数
个
CELL
1小时
1小时
30分钟
BSR007
B
整数
个
CELL
1小时
1小时
30分钟
B
整数
个
CELL
1小时
1小时
30分钟
B
整数
个
BSCHL52
上行RLC层流量(MCS3编码)
上行RLC层流量(MCS3编码)
BSCHL53
上行RLC层流量(MCS4编码)
上行RLC层流量(MCS4编码)
BSCHL54
上行RLC层流量(MCS5编码)
上行RLC层流量(MCS5编码)
BSCHL55
上行RLC层流量(MCS6编码)
上行RLC层流量(MCS6编码)
B
浮点数
Mbit
元数据管理系统的研究与设计

元数据管理系统的研究与设计容会;于勇涛;陈震霆;王晓亮;周绍景;严敏【摘要】随着计算机技术和GIS技术的发展,管理和访问大型数据集的复杂性已成为数据生产者和用户共同面临的突出问题,数据生产者需要有效的办法来组织、管理和维护海量数据.元数据作为描述数据的内容、质量、状况和其他特性的信息的作用已变得越来越重要,成为信息资源的有效管理和应用的重要手段.该文主要是研究元数据的管理,并根据现实社会需要设计一个适用在通信领域方面的元管理系统.%With the development oi computer technology and GIS technology, the complexity of managing and accessing large data sets has become a prominent problem of data producers and users, data producers need effective way to organize, manage and maintain amounts of data. The role of information of metadata as describing the data content, quality, condition and other characteristics has become increasingly important, and become an important means of effective management and applications of information resources. In this paper, the management of metadata is studied, metadata management system which is applied in communications field according to the needs of real world is designed.【期刊名称】《价值工程》【年(卷),期】2012(031)013【总页数】2页(P171-172)【关键词】元数据;DSS;CWM【作者】容会;于勇涛;陈震霆;王晓亮;周绍景;严敏【作者单位】昆明冶金高等专科学校,昆明650033;云南师范大学商学院,昆明650106;昆明冶金高等专科学校,昆明650033;昆明理工大学国土资源工程学院,昆明650093;昆明冶金高等专科学校,昆明650033;昆明冶金高等专科学校,昆明650033;昆明冶金高等专科学校,昆明650033【正文语种】中文【中图分类】TP3150 引言元数据就是描述数据的数据,随着信息技术的快速向前发展,元数据在地理空间信息资源共享过程中起着关键的作用。
中国移动省级NG2-BASS(v5.0)技术规范逻辑模型分册

中国移动通信企业标准QB-Y-0XX-20XX中国移动省级N G2-B A S S(v5.0)技术规范逻辑模型分册T h e T e c h n i c a l S p e c i f i c a t i o n F a s c i c u l ef o r L og i c D a t a M o d e l o f N e w G e n e r a t i o n2B u s i n e s s A n a l y s i s S u p p o r t S y s t e m版本号:1.0.02014-××-××发布2014-××-××实施中国移动通信集团公司发布目录1 范围 (1)2 规范性引用文件 (1)3 术语、定义和缩略语 (6)4 总则 (11)4.1概述 (11)4.2目标 (11)4.3原则 (12)4.4文档说明 (13)5 数据仓库基础数据逻辑模型 (13)5.1主题域说明 (13)5.2编号规则 (15)5.3参与人主题域 (15)5.3.1概述 (15)5.3.2实体定义 (19)5.3.3实体关系定义 (30)5.3.4参照表定义 (31)5.3.5关键问题说明 (41)5.4服务主题域 (42)5.4.1概述 (42)5.4.2实体定义 (44)5.4.3实体关系定义 (53)5.4.4参照表定义 (54)5.4.5关键问题说明 (59)5.5资源主题域 (60)5.5.1概述 (60)5.5.2实体定义 (62)5.5.3实体关系定义 (77)5.5.4参照表定义 (78)5.5.5关键问题说明 (82)5.6事件主题域 (83)5.6.1概述 (83)5.6.2实体定义 (89)5.6.3实体关系定义 (133)5.6.4参照表定义 (135)5.6.5关键问题说明 (140)5.7帐务主题域 (141)5.7.1概述 (141)5.7.2实体定义 (142)5.7.3实体关系定义 (144)5.7.4参照表定义 (145)5.7.5关键问题说明 (146)5.8营销主题域 (146)5.8.1概述 (146)5.8.2实体定义 (147)5.8.3实体关系定义 (149)5.8.4参照表定义 (150)5.8.5关键问题说明 (152)5.9财务主题域 (152)5.9.1概述 (152)5.9.2实体定义 (153)5.9.3实体关系定义 (158)5.9.4参照表定义 (159)5.9.5关键问题说明 (159)6 数据仓库汇总数据逻辑模型 (160)6.1主题域说明 (160)6.2清单汇总 (161)6.2.1标准集 (161)6.2.2扩展集 (193)6.3信令汇总 (200)6.3.1标准集 (200)6.3.2扩展集 (200)6.4帐务汇总 (201)6.4.1标准集 (201)6.4.2扩展集 (207)6.5个人用户汇总 (208)6.5.1标准集 (208)6.5.2扩展集 (221)6.6集团客户汇总 (222)6.6.1标准集 (222)6.6.2扩展集 (222)6.7他网用户汇总 (223)6.7.1标准集 (223)6.7.2扩展集 (223)6.8转售商用户汇总 (224)6.8.1标准集 (224)6.8.2扩展集 (224)6.9产品信息汇总 (225)6.9.1标准集 (225)6.9.2扩展集 (225)6.10渠道汇总 (226)6.10.1标准集 (226)6.10.2扩展集 (234)6.11终端信息汇总 (234)6.11.1标准集 (234)6.11.2扩展集 (234)7 数据仓库信息子层逻辑模型 (235)7.1主题域说明 (235)7.2KPI (236)7.2.2扩展集 (237)7.3报表 (237)7.3.1标准集 (237)7.3.2扩展集 (237)7.4个人客户统一视图 (238)7.4.1标准集 (238)7.4.2扩展集 (273)7.5集团客户统一视图 (275)7.5.1标准集 (275)7.5.2扩展集 (275)7.6家庭客户统一视图 (281)7.6.1标准集 (281)7.6.2扩展集 (281)7.7他网客户统一视图 (283)7.7.1标准集 (283)7.7.2扩展集 (283)7.8转售商用户统一视图 (284)7.8.1标准集 (284)7.8.2扩展集 (284)7.9终端信息统一视图 (288)7.9.1标准集 (288)7.9.2扩展集 (293)7.10产品信息统一视图 (294)7.10.1标准集 (294)7.10.2扩展集 (294)7.11校园客户统一视图 (295)7.11.1标准集 (295)7.11.2扩展集 (302)7.12垃圾短信客户统一视图 (302)7.12.2扩展集 (305)7.13渠道信息统一视图 (305)7.13.1标准集 (305)7.13.2扩展集 (333)7.14网络信息统一视图 (333)7.14.1标准集 (333)7.14.2扩展集 (336)7.15营销资源统一视图 (337)7.15.1标准集 (337)7.15.2扩展集 (338)8 数据集市逻辑模型 (338)8.1概述 (338)8.2数据集市实体映射关系 (339)9 编制历史 (371)9.1历史修订说明 (371)9.2本期修订说明 (375)9.2.1数据仓库基础数据修订 (375)9.2.2数据仓库汇总数据修订 (380)9.2.3数据仓库信息子层修订 (382)附录A建模方法论 (386)A.1.概述 (386)A.1.1.数据模型 (386)A.1.2.第三范式 (387)A.1.3.实体-关系模型 (387)A.1.4.建模的三个阶段 (388)A.1.5.数据模型的重要性 (389)A.2.建模中所考虑的关键问题 (389)A.2.1.逻辑模型和业务的关系 (389)A.2.2.逻辑模型和需求的关系 (390)A.2.3.逻辑模型和业务系统的关系 (390)A.2.4.逻辑模型设计的难点 (391)A.3.各省在本模型基础之上的建模工作 (391)A.4.建模工具软件说明 (393)附录B模型及文档格式说明 (393)B.1.本文概念模型实体-关系图的颜色设置 (393)B.2.模型文件中实体的颜色设置 (393)附录C中国移动省级NG2-BASS(v5.0)逻辑模型.erwin (394)前言本标准描述了中国移动经营分析系统数据仓库基础数据、汇总数据和信息子层的逻辑数据模型。
中国移动省级NG2-BASS(v5.0)技术要求规范元大数据管理系统分册

中国移动通信企业标准QB-Y-XXX-2014中国移动省级N G2-B A S S(v5.0)技术规范元数据管理分册T h e M e t a d a t a M a n a g e m e n t F a s c i c u l eo f N e w G e n e r a t i o n2B u s i n e s sA n a l y s i s S u p p o r t S y s t e m版本号:1.0.02014-X X-X X发布2014-X X-X X实施中国移动通信集团公司发布目录1.围 (1)2.规性引用文件 (1)3.术语、定义和缩略语 (5)4.总体说明 (8)4.1.元数据管理畴 (8)4.2.经营分析系统元模型及核心元模型 (9)4.3.建设目标 (10)5.元数据应用专题 (10)5.1.元数据基础数据能力开放 (11)5.1.1.应用背景 (11)5.1.2.建设目标和方案 (12)5.1.3.应用场景 (13)5.2.H ADOOP平台数据链路分析 (15)5.2.1.应用背景 (15)5.2.2.建设目标和方案 (15)5.2.3.应用场景 (16)5.3.数据魔方应用 (17)5.4.指标运算关系分析应用 (17)5.5.数据模型变更监控 (18)5.6.报表指标优化清理 (18)6.体系结构 (18)6.1.功能结构 (18)6.2.技术结构 (20)7.元数据获取层 (21)7.1.元数据获取方式 (21)7.2.元数据自动获取管理 (22)7.3.元数据获取能力要求 (23)7.4.H ADOOP平台元数据获取 (24)7.4.1.Hadoop集群数据实体元数据获取 (25)7.4.2.Hadoop集群数据处理过程元数据获取 (25)8.元数据存储层 (26)8.1.CWM、核心元模型及其参照表 (26)8.2.元数据存储容 (29)8.2.1.业务元数据 (30)8.2.2.技术元数据 (31)8.2.3.管理元数据 (36)8.3.元数据存储方式 (37)9.元数据功能层 (37)9.1.公共基础功能 (38)9.1.1.元数据维护 (38)9.1.2.元数据变更管理 (38)9.1.4.元数据统计 (39)9.1.5.使用情况统计 (39)9.2.数据质量检查 (39)9.2.1.元数据质量检查概述 (39)9.2.2.元数据一致性检查 (40)9.2.3.元数据关系健全性检查 (42)9.2.4.元数据属性检查 (43)9.2.5.数据链路完整性检查 (43)9.2.6.描述结构合法性检查 (45)9.3.元数据分析和图形展现 (47)9.3.1.数据模型变更信息图 (47)9.3.2.指标出数过程运行图 (48)9.3.3.指标一致性分析 (49)9.3.4.指标运算关系图 (54)9.3.5.血缘分析 (55)9.3.6.影响分析 (57)9.3.7.数据模型相似度分析 (57)9.3.8.实体关联分析 (58)9.3.9.作业映射逻辑分析 (58)9.3.10.无用库表和作业分析 (60)9.4.1.数据魔方元数据管理 (61)9.4.2.数据魔方查询SQL拼装 (62)9.5.指标运算关系管理 (63)9.6.出数过程元数据管理 (64)9.6.1.元数据管理容 (64)9.6.2.元数据描述结构 (65)9.6.3.功能要求 (66)9.7.指标查询检索体系管理 (69)9.7.1.新增指标注册管理 (69)9.7.2.指标元数据维护 (70)9.7.3.指标标签管理 (71)9.7.4.指标主题域管理 (71)9.7.5.度量元数据管理 (72)9.7.6.分析维度元数据管理 (72)9.8.数据模型变更管理 (73)9.8.1.数据元素管理 (73)9.8.2.数据模型命名规稽核 (73)9.8.3.数据模型变更信息订阅 (74)9.8.4.数据模型版本管理 (74)9.9.元数据运行维护报告管理 (74)9.11.元数据分层级管理 (76)9.11.1.数据模型分层管理 (76)9.11.2.指标重要级别管理 (77)9.11.3.多视角分类目录管理 (78)9.12.元数据服务封装 (79)9.12.1.概述 (79)9.12.2.技术实现 (80)9.12.3.技术要求 (81)9.12.4.能力要求 (85)9.13.元数据权限管理 (92)10.元数据应用层 (92)10.1.元数据基础数据能力开放 (92)10.1.1.人机交互界面 (93)10.1.2.系统级调用 (94)10.2.H ADOOP平台数据链路分析 (96)10.3.数据魔方应用 (96)10.3.1.数据魔方点选式查询分析 (97)10.3.2.数据魔方使用情况评估 (98)10.4.指标运算关系分析应用 (99)10.5.图形化指标运维支持 (99)10.5.1.辅助数据质量监控规则配置 (99)10.5.2.辅助省端两级数据质量联动审计文件生成 (100)10.5.3.两级数据质量联动信息可视化展现 (100)10.5.4.指标出数过程运行状况图形化展现 (102)10.6.指标图书馆 (103)10.6.1.指标查询检索体系的组织结构 (104)10.6.2.建设方案 (105)10.6.3.功能要求 (107)10.7.报表指标优化清理 (111)10.7.1.优化清理分析报告生成 (112)10.7.2.优化清理分析报告查询处理 (112)10.8.数据模型变更监控 (113)10.9.两级元数据互通 (113)10.10.数据封装模型映射管理 (114)10.10.1.辅助模型映射管理 (114)10.10.2.辅助模型映射解析处理 (114)10.11.客户隐私级别管理 (115)10.11.1.数据敏感度管理 (115)10.11.2.敏感度服务接口 (117)10.11.3.客户隐私信息管理 (119)10.11.4.客户隐私信息服务接口 (120)10.12.1.物理模型管理 (120)10.12.2.数据处理过程管理 (121)10.12.3.接口管理 (121)10.12.4.维表库管理 (121)10.13.基于元数据的开发管理 (122)11.元数据运行维护 (122)11.1.元数据管理围 (122)11.2.角色和职责 (123)11.3.考核指标 (124)11.4.管理流程 (128)11.5.定期报告 (129)11.5.1.元数据总数和变更数量报告 (129)11.5.2.各考核指标完成情况和原因说明报告 (130)12.系统技术要求 (131)12.1.元数据管理遵循标准的要求 (131)12.2.元数据质量管理要求 (132)12.2.1.元数据库中的数据质量要求 (132)12.2.2.元数据获取过程的质量要求 (132)12.3.元数据管理工具的要求 (133)12.3.1.元数据抽取工具 (133)12.3.3.元数据维护工具 (134)12.4.元数据存储与备份要求 (134)12.4.1.元数据库存储要求 (134)12.4.2.元数据库备份要求 (134)12.4.3.元数据文件存储要求 (136)13.编制历史 (136)14.附录一:中国移动省级NG2-BASS(v5.0)技术规核心元模型规 (143)15.附录二:中国移动升级NG2-BASS(v5.0)技术规SQL脚本解析补充说明 (143)前言本规的制订是为了更好地实现元数据的管理,为数据质量管理子系统和经营分析系统的各类基础技术和应用提供支撑,加强经营分析系统数据的管控力度,增强系统自身管理能力。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
中国移动通信企业标准QB-Y-XXX-2014中国移动省级N G2-B A S S(v5.0)技术规范元数据管理分册T h e M e t a d a t a M a n a g e m e n t F a s c i c u l eo f N e w G e n e r a t i o n2B u s i n e s sA n a l y s i s S u p p o r t S y s t e m版本号:1.0.02014-X X-X X发布2014-X X-X X实施中国移动通信集团公司发布目录1.范围 (1)2.规范性引用文件 (1)3.术语、定义和缩略语 (5)4.总体说明 (8)4.1.元数据管理范畴 (8)4.2.经营分析系统元模型及核心元模型 (9)4.3.建设目标 (10)5.元数据应用专题 (10)5.1.元数据基础数据能力开放 (11)5.1.1.应用背景 (11)5.1.2.建设目标和方案 (12)5.1.3.应用场景 (13)5.2.H ADOOP平台数据链路分析 (15)5.2.1.应用背景 (15)5.2.2.建设目标和方案 (15)5.2.3.应用场景 (16)5.3.数据魔方应用 (17)5.4.指标运算关系分析应用 (17)5.5.数据模型变更监控 (18)5.6.报表指标优化清理 (18)6.体系结构 (18)6.1.功能结构 (18)6.2.技术结构 (20)7.元数据获取层 (21)7.1.元数据获取方式 (21)7.2.元数据自动获取管理 (22)7.3.元数据获取能力要求 (23)7.4.H ADOOP平台元数据获取 (24)7.4.1.Hadoop集群数据实体元数据获取 (25)7.4.2.Hadoop集群数据处理过程元数据获取 (25)8.元数据存储层 (26)8.1.CWM、核心元模型及其参照表 (26)8.2.元数据存储内容 (29)8.2.1.业务元数据 (30)8.2.2.技术元数据 (31)8.2.3.管理元数据 (36)8.3.元数据存储方式 (37)9.元数据功能层 (37)9.1.公共基础功能 (38)9.1.1.元数据维护 (38)9.1.2.元数据变更管理 (38)9.1.3.元数据查询 (39)9.1.4.元数据统计 (39)9.1.5.使用情况统计 (39)9.2.数据质量检查 (39)9.2.1.元数据质量检查概述 (39)9.2.2.元数据一致性检查 (40)9.2.3.元数据关系健全性检查 (42)9.2.4.元数据属性检查 (43)9.2.5.数据链路完整性检查 (43)9.2.6.描述结构合法性检查 (45)9.3.元数据分析和图形展现 (47)9.3.1.数据模型变更信息图 (47)9.3.2.指标出数过程运行图 (48)9.3.3.指标一致性分析 (49)9.3.4.指标运算关系图 (54)9.3.5.血缘分析 (55)9.3.7.数据模型相似度分析 (57)9.3.8.实体关联分析 (58)9.3.9.作业映射逻辑分析 (58)9.3.10.无用库表和作业分析 (60)9.4.数据魔方基础功能 (61)9.4.1.数据魔方元数据管理 (61)9.4.2.数据魔方查询SQL拼装 (62)9.5.指标运算关系管理 (63)9.6.出数过程元数据管理 (64)9.6.1.元数据管理内容 (64)9.6.2.元数据描述结构 (65)9.6.3.功能要求 (66)9.7.指标查询检索体系管理 (69)9.7.1.新增指标注册管理 (69)9.7.2.指标元数据维护 (70)9.7.3.指标标签管理 (71)9.7.4.指标主题域管理 (71)9.7.5.度量元数据管理 (72)9.7.6.分析维度元数据管理 (72)9.8.数据模型变更管理 (73)9.8.1.数据元素管理 (73)9.8.2.数据模型命名规范稽核 (73)9.8.3.数据模型变更信息订阅 (74)9.8.4.数据模型版本管理 (74)9.9.元数据运行维护报告管理 (74)9.10.H ADOOP平台元数据管理 (75)9.11.元数据分层级管理 (76)9.11.1.数据模型分层管理 (76)9.11.3.多视角分类目录管理 (78)9.12.元数据服务封装 (79)9.12.1.概述 (79)9.12.2.技术实现 (80)9.12.3.技术要求 (81)9.12.4.能力要求 (85)9.13.元数据权限管理 (92)10.元数据应用层 (92)10.1.元数据基础数据能力开放 (92)10.1.1.人机交互界面 (93)10.1.2.系统级调用 (94)10.2.H ADOOP平台数据链路分析 (96)10.3.数据魔方应用 (96)10.3.1.数据魔方点选式查询分析 (97)10.3.2.数据魔方使用情况评估 (98)10.4.指标运算关系分析应用 (99)10.5.图形化指标运维支持 (99)10.5.1.辅助数据质量监控规则配置 (99)10.5.2.辅助省端两级数据质量联动审计文件生成 (100)10.5.3.两级数据质量联动信息可视化展现 (100)10.5.4.指标出数过程运行状况图形化展现 (102)10.6.指标图书馆 (103)10.6.1.指标查询检索体系的组织结构 (104)10.6.2.建设方案 (105)10.6.3.功能要求 (107)10.7.报表指标优化清理 (111)10.7.1.优化清理分析报告生成 (112)10.7.2.优化清理分析报告查询处理 (112)10.9.两级元数据互通 (113)10.10.数据封装模型映射管理 (114)10.10.1.辅助模型映射管理 (114)10.10.2.辅助模型映射解析处理 (114)10.11.客户隐私级别管理 (115)10.11.1.数据敏感度管理 (115)10.11.2.敏感度服务接口 (117)10.11.3.客户隐私信息管理 (119)10.11.4.客户隐私信息服务接口 (120)10.12.核心元数据管理 (120)10.12.1.物理模型管理 (120)10.12.2.数据处理过程管理 (121)10.12.3.接口管理 (121)10.12.4.维表库管理 (121)10.13.基于元数据的开发管理 (122)11.元数据运行维护 (122)11.1.元数据管理范围 (122)11.2.角色和职责 (123)11.3.考核指标 (124)11.4.管理流程 (128)11.5.定期报告 (129)11.5.1.元数据总数和变更数量报告 (129)11.5.2.各考核指标完成情况和原因说明报告 (130)12.系统技术要求 (131)12.1.元数据管理遵循标准的要求 (131)12.2.元数据质量管理要求 (132)12.2.1.元数据库中的数据质量要求 (132)12.2.2.元数据获取过程的质量要求 (132)12.3.1.元数据抽取工具 (133)12.3.2.元数据展示及分析工具 (133)12.3.3.元数据维护工具 (134)12.4.元数据存储与备份要求 (134)12.4.1.元数据库存储要求 (134)12.4.2.元数据库备份要求 (134)12.4.3.元数据文件存储要求 (136)13.编制历史 (136)14.附录一:中国移动省级NG2-BASS(v5.0)技术规范核心元模型规范 (143)15.附录二:中国移动升级NG2-BASS(v5.0)技术规范SQL脚本解析补充说明 (143)前言本规范的制订是为了更好地实现元数据的管理,为数据质量管理子系统和经营分析系统的各类基础技术和应用提供支撑,加强经营分析系统数据的管控力度,增强系统自身管理能力。
本规范主要包括以下几方面的内容:总体说明、元数据管理体系结构、元数据获取层、元数据存储层、元数据功能层、元数据应用层、元数据变更流程管理和系统技术要求。
此外,还通过附录一和附录二说明核心元模型标准化和SQL脚本解析的详细功能要求。
本标准是中国移动NG2-BASS(v5.0)系列标准之一。
该系列标准的结构、名称或预计的名称如下:序号标准编号标准名称[1] QB-Y-***-2014 中国移动省级NG2-BASS(5.0)业务规范[2] QB-Y-***-2014 中国移动省级NG2-BASS(5.0)技术规范总册[3] QB-Y-***-2014 中国移动省级NG2-BASS(5.0)技术规范数据集市分册[4] QB-Y-***-2014 中国移动省级NG2-BASS(5.0)技术规范逻辑模型分册[5] QB-Y-***-2014 中国移动省级NG2-BASS(5.0)技术规范外部接口分册[6] QB-Y-***-2014 中国移动省级NG2-BASS(5.0)技术规范元数据管理分册[7] QB-Y-***-2014 中国移动省级NG2-BASS(5.0)技术规范数据质量管理子系统分册[8] QB-Y-***-2014 中国移动省级NG2-BASS(5.0)技术规范安全管理技术方案[9] QB-Y-***-2014 中国移动省级增值业务综合运营平台业务规范(3.0)[10] QB-Y-***-2014 中国移动省级增值业务综合运营平台技术规范(3.0)[11] QB-Y-***-2014 中国移动省级增值业务综合运营平台技术规范数据管理分册(3.0)本标准的附录一、二为规范性附录。
本标准由中移技﹝××﹞××印发。
本标准由中国移动通信集团公司业务支撑系统部提出,集团公司技术部归口。
本标准起草单位:中国移动通信集团公司业务支撑系统部、中国移动通信集团公司研究院、中国移动(深圳)有限公司、中国移动通信集团黑龙江有限公司、中国移动通信集团辽宁有限公司。
本标准主要起草人:段云峰、隋琪、汪峰、张美鸥、姜宏宇、陶涛、刘虹、魏春辉。
1.范围本标准规定了中国移动省级经营分析系统元数据管理的建设内容,适用于中国移动各省(直辖市、自治区)公司省级经营分析系统元数据管理的建设。
2.规范性引用文件下列文件中的条款通过本标准的引用而成为本标准的条款。
凡是标注日期的引用文件,其随后所有的修改单(不包括勘误的内容)或修订版均不适用于本标准。
然而,鼓励根据本标准达成协议的各方对是否使用这些文件的最新版本进行研究。
凡是不标注日期的引用文件,其最新版本适用于本标准。
[1] 《中国移动省级经营分析系统业务规范(v1.0)》中国移动通信有限公司[2] 《中国移动省级经营分析系统技术规范(v1.0)》中国移动通信有限公司[3] QB-J-010-2006 《中国移动省级经营分析系统数据质量管理系统建设方案(v1.5)》中国移动通信有限公司[4] QB-J-006-2006 《中国移动省级经营分析系统数据仓库逻辑数据模型说明(v1.5)》中国移动通信有限公司[5] QB-J-007-2006 《中国移动省级经营分析系统数据集市业务技术规范(v1.5)》中国移动通信有限公司[6] QB-J-008-2006 《中国移动省级经营分析系统与源系统接口规范(v1.5)》中国移动通信有限公司[7] QB-J-009-2006 《中国移动省级经营分析系统与BOSS系统互动技术规范(v1.5)》中国移动通信有限公司[8] QB-J-003-2006 《中国移动省级经营分析系统业务规范(v1.5)—基础业务分册》中国移动通信有限公司[9] QB-J-004-2006 《中国移动省级经营分析系统业务规范(v1.5)—数据业务分册》中国移动通信有限公司[10] QB-J-005-2006 《中国移动省级经营分析系统业务规范(v1.5)—集团客户分册》中国移动通信有限公司[11] QB-J-001-2006 《中国移动业务运营支撑系统(BOSS)业务技术规范营销资源管理分册(2.0版)》中国移动通信有限公司[12] QB-J-001-2006 《中国移动业务运营支撑系统(BOSS)业务技术规范客服信息分册(2.0版)》中国移动通信有限公司[13] QB-J-001-2006 《中国移动业务运营支撑系统(BOSS)业务技术规范(2.0版)》中国移动通信有限公司[14] QB-J-021-2007 《中国移动省级经营分析系统数据仓库逻辑数据模型规范(v2.0)》中国移动通信有限公司[15] QB-J-020-2007 《中国移动省级经营分析系统与源数据接口规范(v2.0)》中国移动通信有限公司[16] QB-J-022-2007 《中国移动省级经营分析系统数据集市业务技术规范(v2.0)》中国移动通信有限公司[17] QB-J-019-2007 《中国移动省级经营分析系统业务规范渠道运营管理分析监控分册(v1.0)》中国移动通信有限公司[18] QB-J-018-2007 《中国移动省级经营分析系统业务规范客户服务分册(v2.0)》中国移动通信有限公司[19] QB-J-017-2007 《中国移动省级经营分析系统业务规范集团客户分册(v2.0》中国移动通信有限公司[20] QB-J-016-2007 《中国移动省级经营分析系统数据质量管理系统业务技术规范(V2.0)》中国移动通信有限公司[21] 《中国移动业务支撑网4A安全技术规范》中国移动通信有限公司[22] 《中国移动省级经营分析系统技术规范总册(v2.0全量版)》中国移动通信有限公司[23] 《中国移动省级经营分析系统技术规范逻辑模型分册(v2.0全量版)》中国移动通信有限公司[24] 《中国移动省级经营分析系统技术规范数据集市分册(v2.0全量版)》中国移动通信有限公司[25] 《中国移动省级经营分析系统技术规范数据质量管理子系统分册(v2.0全量版)》中国移动通信有限公司[26] 《中国移动省级经营分析系统业务规范(v2.0全量版)》中国移动通信有限公司[27] 《中国移动省级经营分析系统技术规范源系统接口分册(v2.0全量版)》中国移动通信有限公司[28] QB-J-002-2008 《中国移动省级NG1-BASS技术规范总册(v1.0)》中国移动通信集团公司[29] QB-J-003-2008 《中国移动省级NG1-BASS技术规范数据集市分册(v1.0)》中国移动通信集团公司[30] QB-J-004-2008 《中国移动省级NG1-BASS技术规范逻辑模型分册(v1.0)》中国移动通信集团公司[31] QB-J-005-2008 《中国移动省级NG1-BASS技术规范源系统接口分册(v1.0)》中国移动通信集团公司[32] QB-J-006-2008 《中国移动省级NG1-BASS技术规范元数据管理分册(v1.0)》中国移动通信集团公司[33] QB-J-007-2008 《中国移动省级NG1-BASS技术规范数据质量管理子系统分册(v1.0)》中国移动通信集团公司[34] QB-J-008-2008 《中国移动省级NG1-BASS业务技术规范客户分析及运营分册(v1.0)》中国移动通信集团公司[35] QB-J-001-2008 《中国移动省级NG1-BASS业务规范(v1.0)》中国移动通信集团公司[36] QB-Y-003-2009 《中国移动省级NG1-BASS技术规范总册(v2.0)》中国移动通信集团公司[37] QB-Y-004-2009 《中国移动省级NG1-BASS技术规范数据集市分册(v2.0)》中国移动通信集团公司[38] QB-Y-005-2009 《中国移动省级NG1-BASS技术规范逻辑模型分册(v2.0)》中国移动通信集团公司[39] QB-Y-006-2009 《中国移动省级NG1-BASS技术规范外部接口分册(v2.0)》中国移动通信集团公司[40] QB-Y-007-2009 《中国移动省级NG1-BASS技术规范元数据管理分册(v2.0)》中国移动通信集团公司[41] QB-Y-008-2009 《中国移动省级NG1-BASS技术规范数据质量管理子系统分册(v2.0)》中国移动通信集团公司[42] QB-Y-002-2009 《中国移动省级NG1-BASS业务规范(v2.0)》中国移动通信集团公司[43] QB-Y-052-2010 《中国移动省级NG2-BASS(v3.0)业务规范》中国移动通信集团公司[44] QB-Y-053-2010 《中国移动省级NG2-BASS(v3.0)技术规范总册》中国移动通信集团公司[45] QB-Y-054-2010 《中国移动省级NG2-BASS(v3.0)技术规范数据集市分册》中国移动通信集团公司[46] QB-Y-055-2010 《中国移动省级NG2-BASS(v3.0)技术规范逻辑模型分册》中国移动通信集团公司[47] QB-Y-056-2010 《中国移动省级NG2-BASS(v3.0)技术规范外部接口分册》中国移动通信集团公司[48] QB-Y-057-2010 《中国移动省级NG2-BASS(v3.0)技术规范元数据管理分册》中国移动通信集团公司[49] QB-Y-058-2010 《中国移动省级NG2-BASS(v3.0)技术规范数据质量管理子系统分册》中国移动通信集团公司[50] QB-Y-059-2010 《中国移动省级NG2-BASS(v3.0)技术规范多OP能力交互分册》中国移动通信集团公司[51] QB-Y-060-2010 《中国移动省级增值业务综合运营平台业务规范(v1.0)》中国移动通信集团公司[52] QB-Y-061-2010 《中国移动省级增值业务综合运营平台技术规范(v1.0)》中国移动通信集团公司[53] QB-Y-062-2010 《中国移动省级增值业务综合运营平台技术规范-数据管理分册(v1.0)》中国移动通信集团公司[54] QB-Y-063-2010 《中国移动省级增值业务综合运营平台接口规范》中国移动通信集团公司[55] QB-Y-039-2011 《中国移动省级NG2-BASS(v3.5)业务规范》中国移动通信集团公司[56] QB-Y-038-2011 《中国移动省级NG2-BASS(v3.5)技术规范总册》中国移动通信集团公司[57] QB-Y-040-2011 《中国移动省级NG2-BASS(v3.5)技术规范数据集市分册》中国移动通信集团公司[58] QB-Y-041-2011 《中国移动省级NG2-BASS(v3.5)技术规范逻辑模型分册》中国移动通信集团公司[59] QB-Y-042-2011 《中国移动省级NG2-BASS(v3.5)技术规范外部接口分册》中国移动通信集团公司[60] QB-Y-043-2011 《中国移动省级NG2-BASS(v3.5)技术规范元数据管理分册》中国移动通信集团公司[61] QB-Y-044-2011 《中国移动省级NG2-BASS(v3.5)技术规范数据质量管理子系统分册》中国移动通信集团公司[62] QB-Y-045-2011 《中国移动省级NG2-BASS(v3.5)技术规范OP能力交互分册》中国移动通信集团公司[63] QB-Y-046-2011 《中国移动省级增值业务综合运营平台业务规范(v1.5)》中国移动通信集团公司[64] QB-Y-047-2011 《中国移动省级增值业务综合运营平台技术规范(v1.5)》中国移动通信集团公司[65] QB-Y-048-2011 《中国移动省级NG2-BASS技术规范系统安全管理分册(v1.5)》中国移动通信集团公司[66] QB-Y-044-2012 《中国移动省级NG2-BASS(v4.0)业务规范》中国移动通信集团公司[67] QB-Y-045-2012 《中国移动省级NG2-BASS(v4.0)技术规范总册》中国移动通信集团公司[68] QB-Y-045.1-2012 《中国移动省级NG2-BASS(v4.0)技术规范数据集市分册》中国移动通信集团公司[69] QB-Y-045.2-2012 《中国移动省级NG2-BASS(v4.0)技术规范逻辑模型分册》中国移动通信集团公司[70] QB-Y-045.3-2012 《中国移动省级NG2-BASS(v4.0)技术规范外部接口分册》中国移动通信集团公司[72] QB-Y-045.4-2012 《中国移动省级NG2-BASS(v4.0)技术规范元数据管理分册》中国移动通信集团公司[73] QB-Y-045.5-2012 《中国移动省级NG2-BASS(v4.0)技术规范数据质量管理子系统分册》中国移动通信集团公司[74] QB-Y-046-2012 《中国移动省级增值业务综合运营平台业务规范V2.0.0》中国移动通信集团公司[75] QB-Y-047-2012 《中国移动省级增值业务综合运营平台技术规范V2.0.0》中国移动通信集团公司[76] QB-Y-047.1-2012 《中国移动省级增值业务综合运营平台技术规范数据管理分册V2.0.0》中国移动通信集团公司[77] QB-Y-044-2013 《中国移动省级NG2-BASS(v4.5)业务规范》中国移动通信集团公司[78] QB-Y-045-2013 《中国移动省级NG2-BASS(v4.5)技术规范总册》中国移动通信集团公司[79] QB-Y-045.1-2013 《中国移动省级NG2-BASS(v4.5)技术规范数据集市分册》中国移动通信集团公司[80] QB-Y-045.2-2013 《中国移动省级NG2-BASS(v4.5)技术规范逻辑模型分册》中国移动通信集团公司[81] QB-Y-045.3-2013 《中国移动省级NG2-BASS(v4.5)技术规范外部接口分册》中国移动通信集团公司[82] QB-Y-045.4-2013 《中国移动省级NG2-BASS(v4.5)技术规范元数据管理分册》中国移动通信集团公司[83] QB-Y-045.5-2013 《中国移动省级NG2-BASS(v4.5)技术规范数据质量管理子系统分册》中国移动通信集团公司[84] QB-Y-045.6-2013 《中国移动省级NG2-BASS(v4.5)技术规范安全管理技术方案》中国移动通信集团公司[85] QB-Y-046-2013 《中国移动省级增值业务综合运营平台业务规范V2.5.0》中国移动通信集团公司[86] QB-Y-047-2013 《中国移动省级增值业务综合运营平台技术规范V2.5.0》中国移动通信集团公司[87] QB-Y-047.1-2013 《中国移动省级增值业务综合运营平台技术规范数据管理分册V2.5.0》中国移动通信集团公司3.术语、定义和缩略语下列术语、定义适用于本标准:下列略缩语适用于本标准:4.总体说明本章概述中国移动经营分析系统元数据管理的相关概念,并简要说明了本期规范的主要建设目标。