东方通ETL工具软件TI-ETL v2 产品白皮书

东方通ETL工具软件TI-ETL v2 产品白皮书
东方通ETL工具软件TI-ETL v2 产品白皮书

T ongT ech?

TI-ETL v2

产品白皮书

北京东方通科技公司

2015年

目录

1 前言 (1)

2 为什么要用ETL (1)

2.1 业务需求 (1)

2.2 IT需求 (2)

2.3 IT与业务一致性要求 (2)

3 TI-ETL v2简介 (3)

3.1 产品组成结构 (3)

3.1.1 集成开发工具 (4)

3.1.2 服务器 (5)

3.1.3 资源库 (5)

3.1.4 统一管理平台 (6)

3.2 产品结构关系 (7)

3.3 转换流程和任务流程 (8)

3.3.1 转换流程 (8)

3.3.2 任务流程 (9)

4 主要功能和特点 (10)

4.1 大数据适配 (10)

4.2 强健的ETL引擎 (10)

4.3 丰富的系统适配 (11)

4.4 资源统一存储 (11)

4.5 丰富的处理组件 (11)

4.6 多种数据抽取模式 (11)

4.7 图形化操作/调试/预览能力 (11)

4.8 高效数据处理 (12)

4.9 异常恢复和数据一致性 (12)

4.10 强大的监控管理功能 (12)

4.11 插件式组件管理和可扩展性 (12)

4.12 国产环境支持 (13)

5 成功案例 (13)

1前言

随着IT应用建设的发展,数据成为了最重要的资源,无论是接地气的业务系统、应用软件、数据中心或是高大上的云/物/移/大/智,均是以数据资源为核心,依托发挥数据价值而存在和发展。

目前,虽然各行业IT发展成熟度不一致,但基本已经度过了大批量业务系统建设阶段,业务系统也经过了几年的运转,积累了不同量级的数据资源。但因早起IT业务系统的很少跨部门、跨单位、跨层级的统一规划和建设,导致业务系统处于分散、独立的状况,业务间数据资源不仅处于烟囱状态,数据资源的一致性和互用性较差,数据资源的价值无法充分发挥。

此外,各行业自身业务也在逐渐多元化和复杂化,业务产生和所需使用的数据也就具有不确定和频繁变动性,导致一旦应用发生变化、新增系统或物理数据变动,一旦无法借助某些手段适应变化,整个应用和数据体系均有较大可能不得不随之修改。

数据集成是把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中,通过应用间的数据有效流通和流通的管理从而达到集成,主要解决数据的分布性、异构性、有效性和及时性的问题。此外,数据集成是个长期不断持续的过程,需要有易用的工具、长期可靠的运行环境、全面有效的监控管理共同支撑,而非仅通过工具可以一次性解决的。

ETL是数据集成领域的落地技术,区别与传统数据交换,ETL在可完成基本数据交换(抽取、传输、装载)的前提下,对数据的转换(即数据的按需加工处理)提供更易用和更强大的支持,使数据在不同业务之间流动的同时,各业务获取到的数据确实是可有准确、及时、有效应用的。

TI-ETL是从传统数据交换产品继续发展的产物,有着多年的数据集成领域产品研制的积淀,已在大交通(海/陆/空)、大政府、国防工业、企业等行业核心系统中成功应用,辅助众多行业和用户逐渐发挥出了数据的价值,提升了IT支撑业务的有效性。

2为什么要用ETL

2.1业务需求

IT建设随业务发展,业务过程以数据贯穿,即业务有效性的基础是数据,且有效性又包含可获得性、及时性、准确性和一致性。在信息化早起,因信息系统较少、业务关系复杂度较低,对数据关注度也较低。随着各单位自身的发展,内部组织机构、多级组织机构建设愈发全

面,业务关系也愈发复杂,各内部组织以及跨不同单位之间均会因为业务关联产生数据有效关联、互用的需求。

例如单位内人力作为人资管理的职能部门,新人入职、人员在部门间调动、人员岗位晋升等人员变动情况会影响向财务、档案、信息管理等多个部门的业务,包括工资涨降、档案归档、固定资产关联等等,即人资信息发生变化时需要其它同样存储了该信息的业务部门也能够自动完成信息变更。

例如部委需要从各下级委办局汇总数据,各委办局业务系统可能是分别由不同厂商建设,虽然是处理同样的业务,但业务系统存储数据的格式和方式不同。以数据项“部门名称”为例,有的业务系统存储是的汉字,也的存储的可能是数字编码,此时虽然数据都能汇总到一起,但数据却无法合并,即使汇总后也可能无法支撑业务。

2.2IT需求

数据大多以数据库、文件为存储载体,数据库和文件又存在多个品牌和版本,所以业务数据往往是分散在不同品牌、版本的数据库和文件中,业务系统间能够按需的互用数据则需要通过IT手段实现对不同数据源的按需适配、按需采集、按需处理、按需装载以及通过图形化界面操作定义数据间的关系和处理逻辑,实现一次定义长期有效执行,同时提供全局的可视化监控管理,能够随时掌握业务间数据交互的有效性。

2.3IT与业务一致性要求

“按需”是业务诉求,对应IT则包括了采集、加工处理、装载、监控、运维、管理等技术要求,以满足业务层面对可获得性、及时性、准确性、一致性的需求,多以ETL产品和技术实现IT支撑:

(1)ETL提供多种数据源适配组件,可与多种主流数据库、文件、通信协议进行对接,保

障采集的全面适配,提供高可获得性。

(2)ETL提供触发器、时间、CDC等多种数据采集模式,可根据业务对及时性的定义以及

业务数据存储的现状选择不同模式,并且提供并行等高效处理机制,提供高及时性。

(3)ETL提供丰富的数据加工处理组件达到100+,且可根据业务规则灵活拼接处理流程,

提供高准确性和高一致性。

(4)ETL提供基于Web的监控管理中心,在满足核心业务需求的同时提供易用、可视的运

维、监控、管理、监视的统一管理能力。

3TI-ETL v2简介

东方通数据集成产品TI-ETL,提供对企业数据的集成处理功能。通过TI-ETL产品,用户可以从不同结构的数据源中抽取数据(Extract),对数据进行复杂的加工处理(Transform),最后将数据加载到各种存储结构中(Load)。例如实现从多个异构的数据源(不同数据库、结构化文件等)抽取数据,并加工成统一的数据格式,最后加载到数据仓库中,供商业智能(Business Intelligent,BI)等应用使用。

TI-ETL提供一个简单易用的开发、管理工具,提供覆盖从数据集成逻辑的设计、开发、调试、部署,到运行、管理、监控各个生命周期不同阶段的集成开发工具。通过TI-ETL可以实现对数据集成流程的开发和部署;通过监控和日志功能,可以实现对数据集成的运行过程进行实时监视,对集成流程历史数据进行分析。

TI-ETL提供了一个强健、高效的数据处理引擎,支撑各种复杂的数据转换流程、任务调度流程的高效运行。引擎采取异步并行处理的技术,实现流程中的每个组件多线程并行高效处理;支持集群部署方式,允许将转换或转换中的比较耗时的数据处理组件部署在多台服务器上并发执行,从而将转换的工作分摊到多台服务器上,从而提高TIETL的数据处理效率。

TI-ETL基于Java技术和标准数据库接口(JDBC、ODBC等),支持部署在各种主流操作系统和国产操作系统上,支持与各种主流数据库、开源数据库、国产数据库的接入,支持对各种结构化/非结构化格式文件的读写,以及通过多种协议与其他应用系统的交互。

TI-ETL提供大量的任务组件和转换组件,如多源的数据合并、数据的路由、数据行列转换、字典表查询、定时重启、循环调度、流程告警等,用户可以通过拖拽方式快速完成各种复杂的数据集成需求和集成的调度控制,无需人工编码,快速构建数据集成应用。

TI-ETL提供Web形式的统一管理平台,用于将分布式网络环境中部署的TI-ETL服务器运行实例及运行在TI-ETL服务内的任务流程集中统一管理监控。提供功能级和数据集的权限管理,可定义的错误告警机制,自定义面板等。同时管理平台提供丰富的管理Rest API接口和方便的管理扩展机制,方便客户集成统一管理平台并扩展自己的插件集成到平台中。

3.1产品组成结构

TI-ETL产品架构由集成开发工具TI-ETL Studio、TI-ETL服务器、资源库、统一管理平台四大核心部分组成,如下图所示。

图:TI-ETL v2产品组成结构

3.1.1集成开发工具

TI-ETL Studio集成开发工具是一个集开发、调试、配置、部署、执行、监控、日志、管理等功能于一体的平台。通过该平台实现从数据集成需求到实现的快速转化,并实现对整个生命周期的管理。

开发/调试

TI-ETL Studio提供大量的任务组件和转化组件,通过这些组件,以图形化的方式,实现数据集成流程的快速编排。

TI-ETL Studio还提供了功能强大的调试预览功能,可以在开发过程中实现数据行级别的调试和预览,跟踪和观察每一行数据经过数据集成流程中每一个转化组件进行加工处理的结果。

通过集成开发工具开发调试完成的数据集成流程保存到资源库中统一存储管理。

远程管理

TI-ETL Studio通过ETL服务器的远程接口,实现对服务器的管理。包括数据集成流程的分布式部署、远程执行、对执行状态的实时监控、对执行日志进行查看和分析。

TI-ETL Studio的监控管理功能可以对运行中的流程执行暂停、开始、停止、解部署等控制,同时还可以对数据处理状态进行实时监控,包括每个组件处理的记录数、过滤的记录数,并且可以得到每个组件处理数据的性能指标和整个集成流程的性能指标。

3.1.2服务器

TI-ETL服务器是一个TI-ETL的逻辑节点,包含对数据集成流程的执行能力,并通过HTTP 协议对外开放对服务器的管理接口。

E TL引擎

TI-ETL服务器包含两个执行引擎:任务引擎和转换引擎,分别实现对任务调度管理的任务流程和完成对实际数据抽取、加工处理、加载的转换流程的执行。

在TI-ETL服务器启动时,可以检查部署在该节点上的数据集成流程,并执行配置为“自动重启动”的流程,其他非自动重启动的流程需要手工启动。

在TI-ETL数据流程中,数据是以行为单位进行处理,如下图所示,TI-ETL通过两个对象描述一个数据行:数据对象和元信息对象。数据对象实际的行数据,由一个或多个数据列(字段)组成;元信息对象用于描述数据对象,包括数据对象中每个列(字段)的类型、长度、格式等。

监控管理接口

TI-ETL服务器还提供了对运行时的监控和管理功能,这些功能通过Java、HTTP、REST等多种封装形式对外开放。通过这些接口,第三方应用可以将监控管理功能集成到自己的管理控制台中进行统一监控管理,实现对TI-ETL的远程管理,如流程部署、流程控制、转换监控、日志查看等功能。

认证授权

TI-ETL服务器提供了完善的认证授权机制,只有通过认证和授权的用户,才可以通过监控管理接口实现对服务器的管理和监控。

3.1.3资源库

TI-ETL资源库用于持久化存储TI-ETL的元数据,包括ETL服务器的配置信息、任务流程信息、转换流程信息、基础资源信息(如数据库连接)等。

TI-ETL提供基于关系型数据库和文件系统两种类型的资源库。一般文件系统资源库为本地库,在开发阶段使用;基于关系型数据库的资源库为共享库,可以作为开发库和生产库使用。

TI-ETL Studio可以连接多个资源库,在数据集成的开发调试阶段,可以将任务流程、转换流程和其他资源存储在开发库中。而对于已经完成开发调试,进入发布阶段的流程,可以方便的导入到生产库。

TI-ETL服务器也可以配置一个或多个资源库,并可以根据部署描述符从资源库中获取实际的流程信息,根据这些信息实例化实际运行的集成流程。

资源库的使用不仅可以方便数据集成流程的开发和管理,还可以有效提高数据集成流程的部署效率。

3.1.4统一管理平台

TI-ETL统一管理平台,用于将分布式网络环境中部署的TI-ETL服务器运行实例集中统一管理。

统一管理平台,提供对服务器、部署在服务器里的任务流程、转换流程的运行状态、运行日志、执行性能进行查看,远程的启动、停止、暂停、恢复等操作;提供统一的权限管理功能,包括用户、组织机构、角色的定义,以及从功能级、数据级等对用户进行细粒度的授权;提供错误告警功能,允许用户自定义告警规则,支持从告警对象、告警类型、告警级别、告警信息内容等信息中提取关键字定义接受规则、拒绝规则,只有符合规则的告警信息才通知用户,并支持用户自定义告警方式,默认为邮件通知;提供对服务器所在物理机器的CPU、内存、硬盘资源、网络IO等性能指标进行实时监控。

统一管理平台提供对分布式环境下交换拓扑的管理,可对方便直观的以拓扑形式来管理交换节点以及数据交换链路。

统一管理平台,提供自定义面板功能,允许用户将自己关注的功能、监控对象等定义在一个页面上集中展示,并支持将自定义的面板设置为平台主页,每次登录时直接进入到该面板,非常方便管理人员。默认提供ETL监控概览面版,可以对用户关注的对象资源(服务器、任务、转换等)集中配置到一个视图中集中监控,如下图:

统一管理平台提供基于OSGI技术的插件管理功能,非常方便地安装和卸载已有的功能插件,同时提供插件开发机制和规范,方便用户扩展开发自己的插件并集成到平台中,集中管理自己的应用。

3.2产品结构关系

TI-ETL四大组成部分的关系如下图所示。

使用TI-ETL的具体开发步骤如下:

(1)开发人员使用TI-ETL的集成开发工具,进行流程的开发和调试工作;

(2)开发调试完成的流程所有相关信息,统一存储到TI-ETL资源库中,作为团队资源共

享及运行时引用;

(3)开发调试完成的流程ID信息(流程引用信息),部署到TI-ETL服务器上;运行时,

根据流程ID信息从TI-ETL资源库中获取流程配置信息;

(4)管理人员使用TI-ETL的集成开发工具提供的监控功能,或者通过统一管理平台、或

者直接使用监控管理接口,从TI-ETL服务器中获取流程监控信息,或者远程控制服

务器、流程的运行状态。

3.3转换流程和任务流程

TI-ETL通过转换流程、任务流程这两种流程配合,可以完成不同系统间的复杂的数据整合工作。

3.3.1转换流程

转换流程负责完成数据集成过程中的数据抽取、转换、加载工作,转换流程由多个转换组件编排而成。转换组件是转换流程的最小处理单元,每个转换组件完成一个特殊的数据处理任务,多个转换组件组成一个转换流程。正是因为TI-ETL有丰富的转换组件,使得TI-ETL具备高水准的数据加工处理能力。

TI-ETL提供的转换组件如下图所示:

下图给出了一个转换流程的示例,它是将不同的转换组件编排在一起,完成了增量数据获取、数据内容判断、过滤、错误数据处理等一系列的数据加工过程。

3.3.2任务流程

任务流程负责整个数据集成过程的调度和管理,如定时执行、周期执行、告警等。任务流程一般由转换流程组成,从这一点上讲,也可以把任务流程看作转换流程的调度者,可以对多个转换流程和其他任务流程(子流程)进行流程编排。当然,任务流程也可以由多个任务组件编排而成。任务组件就是任务流程的最小处理单元,如开始组件负责启动任务流程,可以设定任务流程的执行方式,如一次性任务,定时启动的任务,循环性的任务等。

TI-ETL提供的任务组件如下图所示:

下图给出了一个任务流程示例,它定义了一个任务的启动方式,然后要查看文件目录是否存在文件,如果不为空,调度转换流程完成相应的数据加工工作,如果出错,可以通过邮件任务组件发邮件通知维护人员,如果正常就调用其他任务流程的过程。

4主要功能和特点

4.1大数据适配

提供HBase的输入/输出转换组件,支持与非关系型数据库HBase进行数据交互。

提供Hadoop HDFS文件拷贝的任务组件,支持复制文件到HDFS和复制HDFS文件到本地。

可连接的数据库类型支持Hadoop Hive,SQL查询组件支持编写Hive SQL进行数据查询。

4.2强健的ETL引擎

提供任务引擎和转换引擎,支撑各种复杂的数据转换流程、任务调度流程的高效运行,为大块、大批量、异构的数据的整合提供坚实保障。

4.3丰富的系统适配

基于标准的JDBC、ODBC接口,实现对各种主流数据库系统的支持。如Oracle、DB2、SQL Server、Sybase、InfoMix等主流数据库,MySQL、PostgreSQL等开源数据库,达梦、汉高、神通、GBase8t、KingBase等国产数据库。

提供丰富的数据文件抽取和加载组件,支持包括普通文本、CSV、XML、Excel等多种格式的文件。

支持HTTP、JMS、FTP、Web Services等协议和其他应用系统进行交互。

4.4资源统一存储

资源库为TI-ETL的元数据提供了统一的存储机制,并对元数据提供各种管理功能,同时资源库还为TI-ETL的分布式部署提供支撑。

4.5丰富的处理组件

TI-ETL内置大量的任务组件和转换组件,用户可以通过拖拽的方式快速完成各种复杂数据集成需求和集成的调度控制。提供的转换组件覆盖数据映射、数据丰富、数据计算、数据验证、数据排序、数据合并、数据拆分、数据生成、数据去重、数据分组、行列转换等复杂处理,提供的任务组件涵盖定时调度、周期循环调度等调度模式组件、以及数据处理的一些前置、后置检查操作等。

4.6多种数据抽取模式

支持各种数据抽取模式,如全量同步、增量同步CDC(基于触发器、基于时间戳、全表比对、基于数据库日志分析)、单向同步、双向同步、文件目录同步等。

基于数据库日志分析的增量抽取支持数据库:Oracle,SqlServer2008,Mysql5。

4.7图形化操作/调试/预览能力

通过TI-ETL 内置的大量组件和TI-ETL Studio的可视化图形界面,使用人员无需编码,既可以灵活、方便地定制出各种数据集成流程,又能够减少手工代码的错误,还可以利用调试预览及时发现潜在错误,提升集成质量,并能对ETL服务器和资源库进行管理,全面提高集成速度。

4.8高效数据处理

TI-ETL采用异步并行处理的方式实现数据的高效处理,数据在TI-ETL中类似于流水线上的产品,逐行流经流程中的每个组件,每经过一个组件就被加工成一个既定格式的中间状态。数据经过一个组件的处理后被迅速交给下一个组件处理,同时当前的组件已经开始处理新的数据。

TI-ETL提供集群部署方式,允许将转换或转换中的比较耗时的数据处理组件部署在多台服务器上并发执行,从而将转换的工作分摊到多台服务器上,提高TI-ETL的数据处理效率。

在某国产一体机硬件环境下,TI-ETL的处理效率达到4.5+万条/秒。

4.9异常恢复和数据一致性

任务流程提供多个调度机制和异常恢复机制,在异常后,支持自动和手动恢复。异常恢复可以保证恢复的流程从异常点开始重新同步,保证数据的最终完整性和一致性。

4.10强大的监控管理功能

提供基于JS+REST技术规范的前端界面和后台数据提供相分离的统一管理平台,界面风格符合扁平化设计潮流。

提供对分布式网络环境中部署的TI-ETL服务器运行实例集中统一管理,包括对服务器、流程的运行状态、运行日志、执行性能的查看,以及远程的启动、停止、暂停、恢复等管理操作,支持统一的权限管理配置、错误告警等功能。

提供插件管理机制,方便用户安装、卸载已有的功能插件,允许用户自定义自己的功能插件,并集成到统一管理平台中。提供自定义面板功能,方便用户在一个视图中集中展示自己关注的内容。

提供Java、HTTP、REST等多种封装形式的监控管理接口,方便用户快速将监控管理功能集成到自己的平台中。

4.11插件式组件管理和可扩展性

提供插件式的组件管理机制,对于特殊的场景,可以方便的进行扩展开发,如客户自定义结构的文本进行转换组件的定制开发、专有的应用系统进行适配器的定制开发等,并以插件的方式集成到TI-ETL中使用。

4.12国产环境支持

TI-ETL的图形化集成开发工具、服务器、资源库和统一管理平台均支持国产中标麒麟操作系统和国产龙芯、飞腾芯片。

5成功案例

全国32个省份通过京云万峰和清华同方两家公司的直报系统进行采集数据,将企业填报的数据存储到各省的直报系统中,然后再同步到国家的企业直报系统中。虽然京云万峰和清华同方开发的“企业一套表”系统都遵循了“企业一套表”制度,但在具体实现中数据存储格式、标识字段、元数据设计等都不一致,京云万峰和清华同方的两套“企业一套表”系统均无对方系统采集的业务数据,从而专业司无法直接统计汇总全国的企业信息。因此,需要在国家局节点以数据交换同步的方式将清华同方统和京云万峰采集的70万家企业的数据同步到对方数据库中,保证国家专业司可以汇总全国的数据。

“企业一套表”制度包括近300+张报表,涉及2000多个定义完全不同的指标字段、变长和定长二维表的不同存储格式、关联查询、条件判断、行转列、列转行等多种复杂处理要求。

在业务上需要考虑多个报告期的不同指标、不同报表不同处理需求、同一指标不同报表不同定义等需求,并通过大量数据关联查询、判断、行转列、列转行等复杂处理实现数据的同步。

快速集成

TI-ETL内置大量的任务组件和转换组件,可以通过拖拽的方式快速完成各种复杂数据集成需求和集成的调度控制,快速完成由于统计报表指标变化带来的处理流程的变更。

高效数据处理

TI-ETL采用并行处理的方式实现数据的高效处理,保证了从数据上报完成到各专业司进行国家数据统计汇总中间1-2天时间内完成数据的同步的繁重任务。

多种同步模式

TI-ETL支持各种数据抽取模式,如全量同步、增量同步(触发器、CDC)、双向同步等。

东方财富通快捷键

Insert:将当前个股加入自选股Del:删除自选股中的个股 Pause或Alt+Z或Alt+X:快速隐藏键←与→:移动十字光标 ↑与↓:查看多日分时 Tab:打开/隐藏报价信息 Ctrl+Q:标记股票 增仓排名:ZCPM 资金流向:ZJLX 研报中心:YBZX 盈利预测:YLYC 财务数据:CWSJ 选股器:XGQ 深度F9:SDF9 Ctrl+←:向左快速平移一段K线 Ctrl+→:向右快速平移一段K线Home:光标移至当前屏第一根K线End:光标移至当前屏最后一根K线01或F1:个股成交明细 02或F2:个股当日分价 03或F3:上证指数走势 04或F4:深证成指走势 05或F5:切换K线图和分时图 06或F6:自选股 061:自选股1 062:自选股2 063:自选股3 064:自选股4 065:自选股5 066:自选股6 067:自选股7 068:自选股8 069:自选股9 07或F7:高级选股 08或F8:K线图下切换分析周期 09或F9:个股深度资料 10或F10:个股基本资料 F11:刷新行情数据 12或F12:委托下单 1:上证A股行情 2:上证B股行情 3:深证A股行情 4:深证B股行情 5:上证债券行情6:深证债券行情 7:上证基金行情 8:深证基金行情 9:中小板块行情 30:全部板块列表301:行业板块列表302:概念板块列表303:地区板块列表60:沪深两市涨幅排行61:上证A股涨幅排行62:上证B股涨幅排行63:深证A股涨幅排行64:深证B股涨幅排行65:上证债券涨幅排行66:深证债券涨幅排行67:上证基金涨幅排行68:深证基金涨幅排行69:中小板块涨幅排行80:沪深两市综合排行81:上证A股综合排行82:上证B股综合排行83:深证A股综合排行84:深证B股综合排行85:上证债券综合排行86:深证债券综合排行87:上证基金综合排行88:深证基金综合排行89:中小板块综合排行92:5分钟K线图93:15分钟K线图94:30分钟K线图95:60分钟K线图96:日线K线图 97:周线K线图 98:月线K线图 99:年线K线图

数据交换平台解决方案

数据共享交换平台解决方案 1. 概述 在我国,政府职能正从管理型转向管理服务型,如何更好地发挥政府部门宏观管理、综合协调的职能,如何更加有效地向公众提供服务,提高工作效率、打破信息盲区、加强廉政建设 已成为当前各级政府部门普遍关注和亟待解决的问题。国家“十五”计划纲要要求“政府行政管理 要积极运用数字化、网络化技术,加快信息化进程”。各级政府、行政管理部门都面临着利用 信息技术推动政务工作科学化、高效率的新局面。 随着电子政务建设的不断发展,政府拥有越来越多的应用数据,如何建立政府信息资源采集、处理、交换、共享、运营和服务的机制和规程,实现分布在各类政府部门和各级政府机关 的信息资源的有效采集、交换、共享和应用,是电子政务建设的更高级的阶段和核心任务。 信息资源只有交流、共享才能被充分开发和利用,而只有打破信息封闭,消除信息“荒岛” 和“孤岛”,也才能创造价值。目前各级政府都在进行政务资源数据的“整合”,但“整合”什么? 如何“整合”?“整合”后做什么?将是摆在政府各级领导面前的首要问题。 北京华迪宏图信息技术有限公司凭借自身丰富的电子政务建设经验、自主创新的技术研发优势,为各级政府机构的实际需求提供了政务资源整合的综合解决方案——华迪宏图数据共享 交换平台。 2. 电子政务总体框架 华迪宏图数据共享交换平台总体框架如下: 由上图可以看出,华迪宏图数据共享交换平台交换体系共分为六个层次,分别是安全和标准体系、网络基础设施、信息资源中心、共享交换平台、应用层和展示层。 (1)展示层 通过建立综合信息集成门户系统为用户提供统一的用户界面,信息和应用通过门户层实现统一的访问入口和集中展现。 (2)应用层

IBM与东方通通讯中间件竞争力对比分析

IBM与东方通中间件竞争力对比分析 Table of Contents 目录 1. IBM MQ与东方通TongLinkQ对比分析 (2) 2. IBM ESB与东方通TongIntegrator对比分析 (3) 3. IBM WAS与东方通TongWeb对比分析 (5)

1.IBM MQ与东方通TongLinkQ对比分析 TongLinkQ是东方通科技公司的一个通讯产品,它是从一个文件传输工具发展改进而来的,其产品化程度很低。经过仅几年的发展,该产品虽然增加了一些功能,但是从产品的成熟和稳定性上来看,仍然与MQ存在相当大的差距。因此,在做产品选型时有必要从以下几方面慎重考虑: 产品的成熟稳定性: TongLinkQ作为一个国产中间件产品,其本身的成熟性和稳定性根本无法和IBM的MQ产品相比,它无法支持生产环境长时间运行和大规模数据传输的考验,在系统传输数据量大或者系统运行压力大的情况下,TongLinkQ会出现死机,进程挂起等现象。在数据传输的可靠性方面,TongLinkQ无法保障数据传输的可靠性。在用户的实际系统中,TongLinkQ曾出现过丢失数据的现象。 产品本身的兼容性: TongLinkQ产品本身的研发没有一个统一的、向上延续的框架和技术路线,因此,其产品底层每一个版本代码实现都不一样,版本之间根本无法兼容,例如:其版本5和版本6根本无法互连互通;同时,每个版本对外提供的API编程接口都不一致,导致如果进行TongLinkQ产品的版本升级,就必须要重新开发基于它的应用程序,巨大的工作量导致客户根本无法进行版本升级。这是一个非常大的隐患。 系统的可扩展性: IBM的MQ可以支持35种平台,而TongLinkQ支持的平台种类有限,这势必给项目今后的升级改造等带来限制。例如:每当某种操作系统升级时,例如Windows 操作系统或者AIX操作系统升级时,TongLinkQ的响应速度都非常慢。再例如,当一些新的技术、新的标准出现时,TongLinkQ都不能及时提供支持,比如到目前为止,它仍然不提供对Web Service的支持,仍然不支持IP V6的通讯协议等。

数据共享交换平台的设计方案

数据共享交换平台的 设计方案 1.1应用场景 ?场景一:电子业务统一平台与其它单位的信息交换 由于各单位信息化进程不同,特别是一些垂直管理单位已经建立起了自己专门的网上办公系统,这些单位如果要接收市公文,都必须通过手工录入,无法进行信息的自动交换,通过数据交换平台,结合简单的接口开发,能使市电子业务统一平台与已有业务系统之间实现信息的自动对接和交换,提高办事效率,减少人为错误。 ?场景三:基础信息库 基础信息库包括:人口基础信息库、企业基础信息库、宏观经济基础信息库、地理基础信息库。这些基础信息是**重要的信息资源,但这些信息分散在各个部门,各个单位独立存储,信息不全,也不具备权威性. ?场景四:领导决策支持 科学发展观是当前各级**的重要理论指导依据,科学发展观必须要求有科学的决策,正确的决策需要有科学准确的数据作为支撑,但现阶段大量的数据分散在各个单位业务系统中,各自通过纸质进行报送,一方面这些数据缺乏准确性和实效性,另一方面不同单位数据之间无法产生在的联系,不利于正确的决策。要建立有效的数据采集和分析系统,自动从各单位系统中采集数据,然后通过建立相应的模型进行分析,得出相对准确的结论,比如房地产,涉及国土、税务、房管、银行、运输、电力等。利用数据交换平台可很好的从不同系统中采集信息,使开发者不需要关心数据的采集和传输问题,只需要解决与决策有关的业务问题。 ?场景N:…… 随着电子业务的深入,数据交换平台的利用会越来越多,好比是经济发展需要修建高速公路一样……

1.2术语介绍 (1)企业基础信息 工商、国税、地税、质监等部门涉及到企业注册登记、变更、注(吊)销、年检、税务登记、组织机构代码登记等业务容的基础信息,具有跨部门共享需求的特征。 (2)企业基础信息交换平台 工商、国税、地税、质监等部门之间进行企业基础信息交换的通讯、传输与管理系统。 企业基础信息交换平台是指成熟的应用集成和数据交换中间件产品。 (3)交换前置机 企业基础信息交换平台中与工商、国税、地税、质监等交换节点进行信息交换连接的交换前置服务器。 (4)信息交换桥接 工商、国税、地税、质监等部门业务应用信息库与前置交换信息库之间信息安全交换的连接通道。 (5)企业基础信息库 存储、管理企业基础信息的数据库。 (6)前置交换信息库 工商、国税、地税、质监等部门与企业基础信息交换平台之间共享信息双向交换的中转数据库。 (7)业务数据库 业务数据库是指各个委办局保存业务数据的数据库,运行在委办局的网中。如税务部门的税务征管数据库,工商部门以“经济户口”为主要容的工商业务数据。 (8)应用系统 应用系统是指本项目开发的部署在各委办局节点前置机上的桥接系统、中心数据管理系统、数据比对和整合系统等应用的总称。 (9)中心数据管理系统 中心数据管理系统是指本项目开发的实现交换数据查询和管理等功能的应用系统。 (10)数据比对整合系统

【数据共享交换平台】政务资源交换平台解决方案v1

方案概要 本方案主要描述湖南省政务资源交换平台的建设要求而制作的。方案充分结合国家政务信息资源目录体系和交换体系标准制订,针对政务资源交换平台的具体需求,利用Java EE应用开发技术、Webservice技术等,提供完整的设计方案。 方案共分为8章,其中: 第2章,项目背景,主要描述本项目的整体应用背景 第3章,需求分析,项目总体实施需求以及各个部分的需求进行了描述 第4章,总体设计,针对系统的实际应用需求,详细说明了整个应用系统的架构以及各个应用子模块的功能,并结合实例分析了应用流程。 第5、6、7章,分别对目录体系管理平台、交换体系管理平台、共享数据库建设等应用系统进行了设计。 第8章,对部门应用系统对接方式进行了设计。 项目背景 电子政务总体框架 国家电子政务总体框架的构成包括服务与应用系统、信息资源、基础设施、法律法规与标准化体系、管理体制。政务信息资源目录体系是国家电子政务总体框架的重要组成部分,是电子政务的基础设施

之一,以政务信息资源为基础,依托技术总体架构,通过提供目录服务,实现部门间信息共享。政务信息资源目录体系与交换体系作为基础设施与电子政务的业务应用相对独立,其在国家电子政务总体框架中的定位如图2-1所示。 图0-1政务信息资源目录体系的定位 依托国家统一的电子政务网络,通过构建覆盖中央、省、市、县的多级政务信息资源目录体系技术总体架构,形成政务信息资源物理分散、逻辑集中的信息共享模式,提供全国范围内跨部门、跨地区的普遍信息共享,方便用户发现、定位和共享多种形态的政务信息资源,支持政府的经济调节、市场监管、社会管理和公共服务。政务信息资源目录服务中心之间通过互访接口实现互联互通。 政务信息资源交换体系的建设与应用以支持跨部门业务协同为目的,实现部门间横向按需信息交换与共享,满足各级政府履行职能的需要。围绕跨部门的业务协同,以部门业务信息为基础,确定部门

东方财富通的函数

东方财富通的函数(上) 东方财富通是在通达信基础上建立起来的软件。函数和通达信一样。我此前的通达信函数是早期的,所以不全。虽然后来补了一次,但不在一起。这次东方财富通的函数,算是全了。但东方财富通在处理千年虫的方法上,与通达信不同。在转换二者公式运用DATE函数时,要注意它们的区别。 [引用函数] [DRAWNULL] 说明:返回无效数 用法:DRAWNULL 例如:IF(CLOSE>REF(CLOSE,1),CLOSE,DRAWNULL),表示下跌时分析图上不画线 [BACKSET] 说明:将当前位置到若干周期前的数据设为1 用法:BACKSET(X,N),若X不为0,则将当前位置到N周期前的数值设为1 例如:BACKSET(CLOSE>OPEN,2),若收阳则将该周期及前一周期数值设为1,否则为0

[BARSCOUNT] 说明:求总的周期数 用法:BARSCOUNT(X),第一个有效数据到当前的周期数 例如:BARSCOUNT(CLOSE),对于日线数据取得上市以来总交易日数 [CURRBARSCOUNT] 说明:求到最后交易日的周期数 用法:CURRBARSCOUNT(X),最新有效数据到当前的周期数 例如:CURRBARSCOUNT,对于日线数据取得距离最新交易日的交易日数 [TOTALBARSCOUNT] 说明:求总的周期数 用法:TOTALBARSCOUNT,求总的周期数 [BARSLAST] 说明:上一次条件成立到当前的周期数 用法:BARSLAST(X),上一次X不为0到现在的天数 例如:BARSLAST(CLOSE/REF(CLOSE,1)>=1.1),表示上一个涨停板到当前的周期数[COUNT]

数据交换共享整合系统平台技术方案

数据交换共享整合协同平台设计

整合协同平台的主要功能是从其它子系统中提取共享数据,并对多来源渠道的、相互不一致的数据进行数据融合处理;基于数据字典对实时数据和历史数据进行组织,以保证数据间关系的正确性、可理解性并避免数据冗余;以各种形式提供数据服务,采用分层次的方法对各类用户设置权限,使不同用户既能获得各自所需要的数据,又能确保数据传输过程的安全性及共享数据的互操作性和互用性;维护基础信息、动态业务数据以及系统管理配置参数;支撑系统的网络构架、信息安全、网络管理、流程管理、数据库维护和备份等运维能力。整合协同平台根据功能可分为两个部分: 第一部分,基础数据和共享数据的交换服务和路由流程管理,该部分是交换平台的基础,包括:静态交换数据、动态交换数据、图形数据及表格、统计资料等属性数据。 第二部分,各子系统之间的接口实现,根据事先制订好的规范、标准,实现各子系统之间的数据共享和传输操作。在接入中心平台时,应按系统集成要求设计系统结构,各类数据接口遵循系统集成规范。

第一章中心平台设计 1.1 平台功能结构 整合协同平台服务器是公共基础平台的核心部分,XMA整合协同平台提供一整套规范的、高效的、安全的数据交换机制。XMA整合协同平台由部署在数据中心和各业务部门的数据交换服务器、数据接口系统共同组成,解决数据采集、更新、汇总、分发、一致性等数据交换问题,解决按需查询、公共数据存取控制等问题。 各业务子系统都要统一使用XMA整合协同平台进行数据交换。数据中心统一管理和制定数据交换标准。各业务部门通过数据级整合或者应用级整合通过XMA 整合协同平台向数据中心提供数据,也通过XMA整合协同平台访问共享数据。 XMA整合协同平台的基本功能如下: 共享数据库的数据采集、更新、维护。 业务资料库、公共服务数据库的数据采集。 提供安全可靠的共享数据服务。 业务部门之间的业务数据交换。 结合工作流的协调数据服务。

东方通——数据中心项目数据交换平台技术方案

数据中心项目 数据交换平台技术方案 二〇一三年二月

一、建设概况 数据交换平台是用于解决多系统之间的数据共享和应用整合问题。技术实现过程中所采用的技术来看,它包括了组件技术、中间件技术、XML技术、数据库技术等当今最成熟的计算机技术。功能上主要是实现数据抽取、数据格式转换、数据更新变化跟踪、数据加工、数据可靠传输、数据路由、数据流量监控、断点续传、传输队列保障等。数据交换平台技术当前已经十分成熟,从技术上必须基于成熟、可靠的中间件产品,包括应用集成产品和消息中间件产品。同时要考虑数据交换项目建设是一个螺旋式上升的系统工程,需要提供一定的实施服务能力。 从安全可靠的角度出发,目前科学的做法是采用前置机的模式实现数据采集,与原有业务系统分离采集模式。将所需要采集的数据桥接到前置机上,再通过前置机上的数据交换软件适配器将数格式化数据转换为XML,同样采集回来的数据可以双向的同步回业务系统中去。数据到达前置机后将通过数据交换平台进行技术上的操作以及业务上的数据加工合并等操作。 数据交换平台的需求可以概括为以下几个方面: (1).数据交换性能需求 数据交换平台的建设必须基于成熟、可靠的平台产品。 数据交换平台是系统的核心基础服务模块,负责实现跨系统的数据采集、数据交换、数据统计和分布式数据存储服务。这些系统必须基于成熟、可靠、遵循国际、国内通行标准的相关平台产品。同时符合国家、福建省有关数据交换规范要求。 (2).数据交换平台的建设是螺旋式上升的系统工程

数据交换平台由于系统规模大,业务需求不断发生变化,本着‘总体规划,逐步实施’的原则推进项目建设。在相关业务系统中,有一些业务系统内部已经建成了独立的网络信息系统,未来的系统必须能够与它们互连并进行信息交换。再就是系统建设要有充足的灵活性,满足业务关系不断变化需求。 (3).要充分利用现有系统的各类资源 在信息交换平台的设计中,充分利用现在已经建成的网络平台及信息资源,对这些资源加以合理利用,不仅可以大大缩短系统的建设周期,还可以降低系统的总体造价。 (4).数据交换平台要有充足的灵活性,满足业务关系不断变化需求 由于系统涉及多个部门的多个业务系统,它们之间的各种业务关系可能随时变更,因此要求数据交换平台必须有充足的灵活性,当业务系统发生变化的时候能够将系统变更的影响降到最小。 (5).先进实用与安全可靠是本系统成功的重要因素 数据交换平台的技术要求,充分体现了采用先进计算机技术与保护现有投资的结合,在各项技术指标满足要求的前提下,对于现有的网络设备、应用系统和信息资源进行合理的利用,充分发挥投资效益。 同时,数据交换平台也对系统的安全可靠提出了全面的要求,这也是数据交换平台的核心技术要求,必须将数据交换平台建设与电子政务安全体系建设紧密集成,才能保证各个系统全部范围的安全可靠和数据安全。

东方财富通的函数(1)

东方财富通的函数(上) 东方财富通是在通达信基础上建立起来的软件。函数和通达信一样。我此前的通达信函数是早期的,所以不全。虽然后来补了一次,但不在一起。这次东方财富通的函数,算是全了。但东方财富通在处理千年虫的方法上,与通达信不同。在转换二者公式运用DATE 函数时,要注意它们的区别。 [引用函数] [DRAWNULL] 说明:返回无效数 用法:DRAWNULL 例如:IF(CL0SE>REF(CL0SE,1),CL0SE,DRAWNULL),表示下跌时分析图上不画线 [BACKSET] 说明:将当前位置到若干周期前的数据设为1 用法:BACKSET(X,N),若X不为0则将当前位置到N周期前的数值设为1 例如: BACKSET(CLOSE>OPEN,2),若收阳则将该周期及前一周期数值设为1,否则为0

[BARSCOUNT] 说明:求总的周期数 用法:BARSCOUNT(X),第一个有效数据到当前的周期数 例如:BARSCOUNT(CLOSE)对于日线数据取得上市以来总交易日数 [CURRBARSCOUNT] 说明:求到最后交易日的周期数 用法:CURRBARSCOUNT(X)最新有效数据到当前的周期数 例如:CURRBARSCOUNT对于日线数据取得距离最新交易日的交易日数 [TOTALBARSCOUNT] 说明:求总的周期数 用法:TOTALBARSCOUNT,求总的周期数

[BARSLAST] 说明:上一次条件成立到当前的周期数 用法:BARSLAST(X)上一次X不为0到现在的天数 例如:BARSLAST(CL0SE/REF(CL0SE,1)>=,表示上一个涨停板到当前的周期数 [COUNT] 说明:统计满足条件的周期数 用法:COUNT(X,N),统计N周期中满足X条件的周期数若N=0则从第一个有效值开始例如:COUNT(CLOSE>OPEN,20),表示统计20周期内收阳的周期数 [HHV] 说明:求最高值 用法:HHV(X,N),求N周期内X最高值,N=0则从第一个有效值开始 例如:HHV(HIGH,22),表示求22日最高价

东方财富通可用的指标公式

东方财富通可用的指标公式(一) TBP-STD 趋势平衡点主图 APX:=(H+L+C)/3; TR0:=MAX(H-L,MAX(ABS(H-REF(C,1)),ABS(L-REF(C,1)))); MF0:=C-REF(C,2); MF1:=REF(MF0,1); MF2:=REF(MF0,2); DIRECT1:=BARSLAST(MF0>MF1 AND MF0>MF2); DIRECT2:=BARSLAST(MF050,MIN(MF0,MF1),MAX(MF0,MF1)),1); 多头获利:REF(IF(DIRECT0>50,APX*2-L,DRAWNULL),1),NODRAW; 多头停损:REF(IF(DIRECT0>50,APX-TR0,DRAWNULL),1),NODRAW; 空头回补:REF(IF(DIRECT0<-50,APX*2-H,DRAWNULL),1),NODRAW; 空头停损:REF(IF(DIRECT0<-50,APX+TR0,DRAWNULL),1),NODRAW; 一.开始进场 1.当收盘价高于TBP时,在收盘的那一刻,应该进场买入股票; 2.当收盘价低于TBP时,在收盘的那一刻,应该卖出股票出场或融券放空; 二.市况反转(股价未触及了结点或停损点时) 1.当收盘价高于TBP时,在收盘的那一刻,应该把空头交易改为多头交易; 2.当收盘价低于TBP时,在收盘的那一刻,应该把多头交易改为空头交易; 三.出场 1.当股价抵达了结点时,应获利了结出场,但不能反转; 2.当股价碰触停损点时,应停损出场,但不能反转; 四.重新进场 1.出场后,须依据收盘时的TBP来决定是否重新进场; 五.决定明天的TBP 1.如果市况是多头,则先挑出前两天速量因子中较小者,然后,再与昨天的收盘价相加,即可求出明天的TBP; 2.如果市况是空头,则先挑出前两天速量加子中较大者,然后,再与昨天的收盘价相加,即可求出明天的TBP。 智能中线 N 1,200,30 V AR2:=SUM(IF(CLOSE>OPEN,VOL,0),N)/SUM(VOL,N)*100; V AR3:=100-SUM(IF(CLOSE>OPEN,VOL,0),N)/SUM(VOL,N)*100; 多头力量: V AR2; 空头力量: V AR3; 多空平衡: 50; V AR2赋值:如果收阳线,返回成交量(手),否则返回0的N日累和/成交量(手)的N 日累和*100 V AR3赋值:100-如果收阳线,返回成交量(手),否则返回0的N日累和/成交量(手)的N日累和*100

数据交换与共享平台建设

顺德区数据交换与共享平台建设(SD09050) 采购内容及技术要求 一、现状 我区于2005年开发完成数据共享和交换平台,并于2008年对系统进行更新升级,进一步完善了系统的功能。平台目前运行在区信息中心机房,有公安局、计生局两个节点与之相连,运行正常。 二、建设目标 本项目建设目标是:调研业务部门的数据共享需求,编写《广东省顺德区数据共享规范与接口标准》和《顺德区政府资源目录》;开发和完善数据共享平台系统;建设顺德区数据共享资源体系,推进数据的共享和综合开发利用;实现顺德区各部门信息数据共享和互联互通,使数据共享平台成为电子政务建设的支撑和服务平台。 三、建设内容 本次建设内容分为三部分: 1)对政府重要职能部门开展调研 完成对12个政府重要职能部门数据集成方面的需求调研,完成以数据共享、交换和整合需求的梳理和分析。 2)数据共享规范与标准接口和政府资源目录建设 通过调研业务部门之间的数据共享需求,编写《广东省顺德区数据共享规范与接口标准》和《顺德区政府资源目录》,并逐步完善。 3)数据共享平台开发和完善 提供数据发布、目录维护、系统配置等界面,增强系统易用性;改善数据传输性能,支持不同级别数据量的应用系统的数据传输;集成数据共享申请、申请审核、数据共享目录编制等业务功能;实现全区、区与市之间的数据共享;增加共享数据分析统计功能,监控共享数据的访问量、数据状态、共享数据业务办理状况等。

四、建设原则 (一)开放性 数据源和目标数据可以是文本文件、Excel文档、Word文档、XML文档。通过JDBC、ODBC支持所有JDBC和ODBC数据库,并为部分主流数据库提供了专用的数据库接口。目前应该满足Sybase、Informix、Oracle、DB2、SQL Server等异构数据库双向数据传输的需求,根据实际情况还可以进行扩展。 整体开发遵循J2EE平台标准和XML交换标准,有良好的平台兼容性。可以应用于Windows、Linux和Unix系统。 (二)安全性 数据中心的安全非常重要,因此必须要做好系统的安全设计,防范各种安全风险,确保数据中心能够安全可靠的运行。同时数据中心必须采用成熟的技术和体系结构,采用高质量的产品,并且要具有一定的容灾功能。 (三)实用性 完善友好的定制开发环境支持不同技术层次使用者的使用要求。安装简易,使用简单,有完善的系统参数配置工具和管理控制台。 (四)可伸缩性 可以合理地定制数据共享交换方式。根据不同类型业务特色和技术要求特点,量身定制相应的数据交换解决方案。 (五)可扩展性 能够方便的加入交换节点以及增加交换共享服务。能够根据需要,通过增加硬件配置的方式对交换平台进行扩容。 (六)相对独立性 根据数据共享平台的目标定位,数据共享平台的建设和运作必须保持业务系统的相对独立性。为此采用松散耦合方式,通过在业务部门统一配置部门端数据共享交换管理系统(代理)实现数据资源整合。

东方通JDK安装说明

JDK安装说明 1、安装jdk 双击安装,后面的步骤就不做说明了! 增加环境变量 1)右击我的电脑――>属性――>高级――>环境变量 2)点击新建――>在变量名里面输入:java_home 变量值则为:jdk的安装路径

2、安装和配置收费站东方通服务端 1)安装东方通中间件(参考:浙江高速TLQ安装及实施说明) 2)拷贝tlqcu_qcu1.conf这两个文件夹到TLQ的安装路径的etc文件夹下面,覆盖原来 的相同文件。如:C:\Program Files\Tongtech\TLQ71\etc(默认路径) 3)将license.dat放到TLQ的安装路径下面:C:\Program Files\Tongtech\TLQ71(默认路 径) 4)配置东方通中间件(参考:浙江高速TLQ安装及实施说明) 3、安装和配置车道东方通客户端 1)安装东方通客户端中间件 2)修改车道配置,如下 [Broker] # 代理模板小节 #

[BrokerRecord] # BrokerId = 111 # 代理编号 BrokerDesc = # 代理描述 HostName = 10.33.193.5 # 代理所在的机器名或IP 收费站通讯机的地址ListenPort = 10261 # 代理的监听端口号 ConnTime = 30 # 连接的有效时间 BlockSize = 8 # 传输的数据块长度,单位kbytes NeedBlockReply = 0 ReplyTmout = 20 # 数据包的应答超时时间 ConnId = lane_311102 lane_ + 车道编号(如:311102) # 客户连接的标识#

东方财富通指标说明

东方财富通指标说明 CYD:承接因子 N:2 100 21 CYDS:WINNER(CLOSE)/(VOL/CAPITAL); CYDN:WINNER(CLOSE)/MA(VOL/CAPITAL,N); 1.CYD称为承接因子指标,其市场含义是以今天的成交量承接所有获利盘需要的天数; 2.CYD可以反映市场上持股者的信心。 CYD大,说明以较小的成交量就可以维持较多的获利盘,说明市场上持股者的信心较强;反之CYD小,或者由于成交量大或者由于获利盘小,都反映了持股者信心不足; 3.可以用CYD来寻找市场大盘信心崩溃的点,当CYD极低时,说明市场投资人信心极低,市场信心崩溃,根据相反原理,此时就是大盘的底了,是中线炒底的机会。 4.可以用CYD寻找市场中个股信心最强的股票。如果在某一天CYD很大,显示这只股票的持股者信心特强,则这只股票很可能有强庄在其中,下面就有迅猛拉抬的可能。 5.股价在筹码密集区下方和密集区内,CYD越低越好,说明市场承接市场抛盘能力加大。 6.股价在筹码密集区的上方,尤其是已经进入拉升阶段,CYD越高越好,说明主力的获利盘没有散户承接,主力不能出货。如CYD突然走低,小心主力派发。 7.零号指数CYD如果低于5是绝对中线底部信号,大盘将在5天内见底反转。 用法:WINNER(CLOSE),表示以当前收市价卖出的获利盘比例,例如返回0.1表示10%获利盘;WINNER(10.5)表示10.5元价格的获利盘比例。 该函数不包含未来数据,且仅对日线分析周期有效,运算过程比较耗时。 CYF:市场能量 N:2 100 21 CYF:100-100/(1+EXPMA(100*VOL/CAPITAL,N)); 1.CYF反映了市场公众的状态和追涨热情,又称市场能量指标; 2.使用CYF判断股票的活跃程度, CYF小于10的股票是冷门股,CYF在20到40之间是活跃股,CYF 大于50是热门股; 3.CYF与股价顶背离时,易形成反转. EXPMA:求指数移动平均,同EMA DKX:多空线 N 2 250 10

数据共享交换平台解决方案#精选.

数据共享交换平台解决方案 1、概述 目前,政府职能正从管理型转向管理服务型,如何更好地发挥政府部门宏观管理、综合协调的职能,如何更加有效地向公众提供服务,提高工作效率、打破信息盲区、加强廉政建设已成为当前各级政府部门普遍关注和亟待解决的问题。国家“十五”计划纲要要求“政府行政管理要积极运用数字化、网络化技术,加快信息化进程”。各级政府、行政管理部门都面临着利用信息技术推动政务工作科学化、高效率的新局面。 随着电子政务建设的不断发展,政府拥有越来越多的应用数据,如何建立政府信息资源采集、处理、交换、共享、运营和服务的机制和规程,实现分布在各类政府部门和各级政府机关的信息资源的有效采集、交换、共享和应用,是电子政务建设的更高级的阶段和核心任务。信息资源只有交流、共享才能被充分开发和利用,而只有打破信息封闭,消除信息“荒岛”和“孤岛”,也才能创造价值。目前各级政府都在进行政务资源数据的“整合”,但“整合”什么?如何“整合”?“整合”后做什么?将是摆在政府各级领导面前的首要问题。 2、电子政务总体框架

由上图可以看出,数据共享交换平台交换体系共分为六个层次,分别是安全和标准体系、网络基础设施、信息资源中心、共享交换平台、应用层和展示层。 (1)展示层 通过建立综合信息集成门户系统为用户提供统一的用户界面,信息和应用通过门户层实现统一的访问入口和集中展现。 (2)应用层 应用层提供满足面向各类用户依据实际需求开展业务的需要。如支撑城市应急联动应用、辅助领导决策应用、城市管理应用、社会救助应用等。 (3)共享交换平台层 共享交换平台层为城市数据共享交换平台所在位置,连接各类应用和应用所需的信息资源,组织和整合各类数据、组件和服务。

东方通中间件安装文档

东方通中间件文档 1.安装TongWeb5.0标准版 环境: Ip地址:118.123.204.65 操作系统:linux Tongweb版本:TW5.0.1.3标准版 安装路径:/opt/TongWeb5.0 2.1安装 文件名:Install_TW5.0.1.3_Standard_Linux.bin 执行命令sh ./Install_TW5.0.1.1_Standard_Linux.bin -i console,安装TongWeb5.0。 选择安装过成语言:1,回车; 显示许可协议,一直回车到确认;

是否同意安装许可,输入:Y,回车 输入安装路径,默认安装为:/root/TongWeb5.0,如果安装在默认路径下,直接回车;本项目安装路径为:/opt/TongWeb5.0,输入该路径回车;

确认安装路径,输入:y 回车; 选择是否创建link,选择不创建,输入4,回车 确认安装信息,确认输入回车,执行安装。 安装完成,输入回车,退出安装; 2.2参数配置 修改bin目录下的startserver.sh; 设置jvm内存,默认tongweb5.0的jvm内存为512m,修改成2048m;#JAVA_OPTS="${JAVA_OPTS} -Xmx512m" JAVA_OPTS="${JAVA_OPTS} -Xms2048m -Xmx2048m"

2.3License注册 将光盘中文件license.dat拷贝到tongweb5.0根目录,即/opt/TongWeb5.0 2.4T ongWeb启动停止 命令行方式启动 在TongWeb的bin目录下 使用命令nohup ./startserver.sh & 以后台方式启动TongWeb, 使用命令./stopserver.sh 停止TongWeb。 管理控制台登录 登陆TongWeb管理控制台: 默认地址:http://ip:9060/twns 默认用户名为:twns,密码为:twns。 参考文档:TongWeb5.0用户使用手册.pdf

东方财富通指标说明书

东方财富通指标说明 一、技术指标 (1) 1、ADTM动态买卖气指标: (1) 2、AMOUNT成交金额: (1) 3、ASR浮筹比例: (1) 4、ATR真实波幅: (1) 5、BBI多空指标: (2) 6、BBIBOLL BBIBOLL: (2) 7、BIAS乖离率: (2) 8、BIAS36三六乖离: (3) 9、BIAS_QL乖离率-传统版: (3) 10、BOLL布林线: (3) 11、BOLL副图布林线: (4) 12、BRAR情绪指标: (4) 13、BTX宝塔线(副图): (4) 14、CCI商品路径指标: (5) 15、CHO济坚指数 (5) 16、CR带状能量线 (6) 17、CSI股票选择指标 (6) 18、CYD承接因子 (6) 19、CYF市场能量 (7) 20、CYQKL博弈K线长度 (7) 21、CYR市场强弱 (7) 22、CYS市场盈亏 (8) 23、CYW主力控盘 (8)

25、DMA平均差 (9) 26、DMI趋向指标(标准) (9) 27、DMI_QL趋向指标(钱龙) (10) 28、DPO区间震荡线 (10) 29、DPTB大盘同步 (11) 30、EMV简易波动指标 (11) 31、ENE轨道线 (11) 32、EXPMA指数平均线 (11) 33、FSL分水岭 (12) 34、HSL换手率 (12) 35、KD随机指标 (12) 36、KDJ经典版KDJ (12) 37、LON钱龙长线 (13) 38、LWR威廉指标 (13) 39、MA均线 (13) 40、MACD平滑异同平均 (14) 41、MASS梅斯线 (14) 42、MFI资金流量指标 (14) 43、MIKE麦克支撑压力 (15) 44、MTM动量线 (15) 45、NDB脑电波 (16) 46、NVI负成交量 (16) 47、OBV累积能量线 (16) 48、OSC变动速率线 (17) 49、PB市净率 (17) 50、PBX瀑布线 (17)

中间件应用部署整体要求

1.中间件应用部署整体要求 以下中间件应用部署要求主要指基于WEB服务器及Java中间件部署的WEB、J2EE 等的应用。 1.1.内容要求 a)对整个系统硬件架构进行描述,提供系统架构组网图,此部分可以在主机集成部分提供。 b)对应用系统软件架构进行描述,提供应用软件架构图,对系统数据流,系统控制流以及 外部接口进行描述。 2.中间件应用部署用户要求 2.1.内容要求 a)要求对中间件软件及应用系统安装用户和组进行合理规划。 b)应用系统安装和部署必须新建用户和组,不能使用root安装。 c)对于一般应用,中间件软件与应用系统可以部署在同一用户下。 d)对于同一系统在不同主机上的相同应用,所有新建应用用户的UID,GID信息在所有主 机上保持一致。 2.2.内容实例 新建组示例

●新建用户示例 3.中间件应用部署目录要求 3.1.内容要求 a)要求对中间件软件及应用系统安装目录进行合理规划。 b)应用系统要求部署在独立的文件系统上,在rootvg下建立文件系统。 c)对于同一系统在不同主机上的相同应用,所有目录部署结构在所有主机上保持一致。 d)中间件软件安装目录、域目录、应用发布目录要求独立部署。 ●WebLogic应用目录部署模板

3.2.内容实例 WebLogic应用目录部署示例 网厅应用前台部署目录: 4.中间件软件及版本要求 4.1.内容要求 a)对使用的中间件软件及版本,32/64bit进行描述; b)对使用的JDK版本进行描述,根据中间件软件的安装要求,选择符合要求的JDK最新 稳定版本。

4.2.内容示例 ●WebLogic(AIX平台) ●WebLogic(HP-UX平台) 5.中间件主机参数及系统包要求 5.1.内容要求 a)根据不同操作系统平台,要求的操作系统补丁; b)根据不同操作系统平台,需修改相应的核心参数,保证中间件的安装与运行; 5.2.内容示例 ●WebLoigc(AIX平台) 操作系统补丁要求: 操作系统参数要求:

数据交换共享中心设计方案

数据交换共享中心设计方案

整合协同平台的主要功能是从其它子系统中提取共享数据,并对多来源渠道的、相互不一致的数据进行数据融合处理;基于数据字典对实时数据和历史数据进行组织,以保证数据间关系的正确性、可理解性并避免数据冗余;以各种形式提供数据服务,采用分层次的方法对各类用户设置权限,使不同用户既能获得各自所需要的数据,又能确保数据传输过程的安全性及共享数据的互操作性和互用性;维护基础信息、动态业务数据以及系统管理配置参数;支撑系统的网络构架、信息安全、网络管理、流程管理、数据库维护和备份等运维能力。整合协同平台根据功能可分为两个部分: 第一部分,基础数据和共享数据的交换服务和路由流程管理,该部分是交换平台的基础,包括:静态交换数据、动态交换数据、图形数据及表格、统计资料等属性数据。 第二部分,各子系统之间的接口实现,根据事先制订好的规范、标准,实现各子系统之间的数据共享和传输操作。在接入中心平台时,应按系统集成要求设计系统结构,各类数据接口遵循系统集成规范。

第一章中心平台设计 1.1 平台功能结构 整合协同平台服务器是公共基础平台的核心部分,XMA整合协同平台提供一整套规范的、高效的、安全的数据交换机制。XMA整合协同平台由部署在数据中心和各业务部门的数据交换服务器、数据接口系统共同组成,解决数据采集、更新、汇总、分发、一致性等数据交换问题,解决按需查询、公共数据存取控制等问题。 各业务子系统都要统一使用XMA整合协同平台进行数据交换。数据中心统一管理和制定数据交换标准。各业务部门通过数据级整合或者应用级整合通过XMA 整合协同平台向数据中心提供数据,也通过XMA整合协同平台访问共享数据。 XMA整合协同平台的基本功能如下: 共享数据库的数据采集、更新、维护。 业务资料库、公共服务数据库的数据采集。 提供安全可靠的共享数据服务。 业务部门之间的业务数据交换。 结合工作流的协调数据服务。

东方财富通函数(下)

东方财富通得函数(下) 东方财富通就是在通达信基础上建立起来得软件。函数与通达信一样。我此前得通达信函数就是早期得,所以不全。虽然后来补了一次,但不在一起。这次东方财富通得函数,算就是全了。但东方财富通在处理千年虫得方法上,与通达信不同。在转换二者公式运用DATE 函数时,要注意它们得区别。 文件大了,与讯不显示,我只好分上下了。 [逻辑函数] [CROSS] 说明:两条线交叉 用法:CROSS(A,B),表示当A从下方向上穿过B时返回1,否则返回0 例如:CROSS(MA(CLOSE,5),MA(CLOSE,10)),表示5日均线上穿10日均线 [LONGCROSS] 说明:两条线维持一定周期后交叉 用法:LONGCROSS(A,B,N),表示A在N周期内都小于B,本周期从下方向上穿过B时返回1,否则返回0 例如:LONGCROSS(MA(5),MA(10),3), 表示5日均线在3周期后上穿10日均线

[UPNDAY] 说明:返回就是否连涨周期数 用法:UPNDAY(CLOSE,M),表示连涨M个周期 [DOWNNDAY] 说明:返回就是否连跌周期 用法:DOWNNDAY(CLOSE,M),表示连跌M个周期 [NDAY] 说明:返回就是否持续存在X>Y 用法:NDAY(CLOSE,OPEN,3),表示连续3日收阳线 [EXIST] 说明:就是否存在 用法:EXIST(CLOSE>OPEN,10),表示前10日内存在着阳线 [ANY] 说明:就是否存在 用法:ANY(CLOSE>OPEN,10),表示前10日内存在着阳线

[EVERY] 说明:一直存在 用法:EVERY(CLOSE>OPEN,10),表示前10日内一直阳线 [ALL] 说明:一直存在 用法:ALL(CLOSE>OPEN,10),表示前10日内一直阳线 [LAST] 说明:持续存在 用法:LAST(X,A,B),表示从前A日到前B日一直满足X条件。若A为0,表示从第一天开始,B 为0,表示到最后日止 例如:LAST(CLOSE>OPEN,10,5),表示从前10日到前5日内一直阳线 [TESTSKIP] 说明:不满足则直接返回 用法:TESTSKIP(A)不满足A则直接返回,不计算接下来得表达式 [BETWEEN]

数据共享交换平台解决方案

数据共享交换平台解决方案 1.概述 在我国,政府职能正从管理型转向管理服务型,如何更好地发挥政府部门宏观管理、综合协调的职能,如何更加有效地向公众提供服务,提高工作效率、打破信息盲区、加强廉政建设已成为当前各级政府部门普遍关注和亟待解决的问题。国家“十五”计划纲要要求“政府行政管理要积极运用数字化、网络化技术,加快信息化进程”。各级政府、行政管理部门都面临着利用信息技术推动政务工作科学化、高效率的新局面。 随着电子政务建设的不断发展,政府拥有越来越多的应用数据,如何建立政府信息资源采集、处理、交换、共享、运营和服务的机制和规程,实现分布在各类政府部门和各级政府机关的信息资源的有效采集、交换、共享和应用,是电子政务建设的更高级的阶段和核心任务。 信息资源只有交流、共享才能被充分开发和利用,而只有打破信息封闭,消除信息“荒岛”和“孤岛”,也才能创造价值。目前各级政府都在进行政务资源数据的“整合”,但“整合”什么?如何“整合”?“整合”后做什么?将是摆在政府各级领导面前的首要问题。 北京华迪宏图信息技术有限公司凭借自身丰富的电子政务建设经验、自主创新的技术研发优势,为各级政府机构的实际需求提供了政务资源整合的综合解决方案——华迪宏图数据共享交换平台。 2.电子政务总体框架 华迪宏图数据共享交换平台总体框架如下: 由上图可以看出,华迪宏图数据共享交换平台交换体系共分为六个层次,分别是安全和标准体系、网络基础设施、信息资源中心、共享交换平台、应用层和展示层。 (1)展示层

通过建立综合信息集成门户系统为用户提供统一的用户界面,信息和应用通过门户层实现统一的访问入口和集中展现。 (2)应用层 应用层提供满足面向各类用户依据实际需求开展业务的需要。如支撑城市应急联动应用、辅助领导决策应用、城市管理应用、社会救助应用等。 (3)共享交换平台层 共享交换平台层为城市数据共享交换平台所在位置,连接各类应用和应用所需的信息资源,组织和整合各类数据、组件和服务。数据共享交换平台层为实现应用层各种应用系统的搭建和运行提供支撑服务,包括目录服务系统、交换服务系统、安全服务系统和平台管理系统等。交换平台还提供了资源目录管理体系。目录服务主要提供目录注册、目录发布、目录查询、目录维护等功能,能够实现各类基础资源和共享资源目录信息的统一汇集和管理 (4)资源层 资源层通过定义数据模型,实现数据组织、存储和管理,为平台层和应用层提供数据服务。 主要包括元数据库、四大基础信息库、平台日志库、各类主题信息库以及其他数据库等。根据应用的深入和信息量的增加需要建设的共享信息库以及数据中心等,都作为资源层为各类应用提供数据支撑。 (5)网络基础设施层 基础设施层提供各类系统的承载网络、所需的系统软件和硬件设备及其运行环境。 (6)安全、标准体系层 信息安全保障体系、法规与标准体系提供电子政务应用系统安全稳定运行的保障。标准规范建设是政务信息资源共享交换平台建设的基础性工作,是接入城市平台的各个节点之间实现互联互通、信息共享、业务协同和安全可靠运行的前提条件

相关文档
最新文档