金融行业的大数据应用案例及解决方案

来自Connotate的解决方案 (2)

金融数据聚集 (2)

金融行业应用 (2)

金融行业应用案例-华尔街个案 (4)

用户案例：FactSet (5)

Conotate功能介绍： (6)

来自Datameer的解决方案 (8)

大型零售银行 (8)

金融机构 (8)

Datameer简介 (9)

来自Syncsort的解决方案 (13)

Syncsort为金融服务行业提供的解决方案 (13)

Syncsort的产品介绍 (15)

来自Connotate的解决方案

金融数据聚集

每天，所有的政治事件、金融行业动态、企业动态和其他的市场动态都会发布到网上。实时地监控和了解金融行业的动态对于占领和稳固金融数据的市场份额是必不可少的。速度和精准度是最关键的。

自动化Web数据监控和抽取功能，大大方便了金融数据提供商持续的跟踪各银行、客户金融服务网站和世界各地的新闻、企业新闻、政府新闻和媒体新闻，并向其用户推送所需的信息，自动化监控的解决方案能够做到：

?通过监控市场动态，利用内部变化监控和关键字搜索方式，提供实时的更新报表?通过复制收集的数据和减少数据上传时的人工干预，大大提高了数据的精准度?通过选择性数据推送功能，向特定的管理员发出提醒，告知用户哪些企业网站、新闻门户和政府网站有重要的改变

?通过增加对金融文件的监控力度（自动化抽取），大大减少了成本

?通过从世界各网站中收集精准的数据（语言不限）并转换成结构化数据，大大提高了数据收集的广度

?通过一些指标性特征使管理人员迅速调整监控个抽取的目标数据，提高商务和管理的灵活性

有了Web数据自动化监控和抽取的Connotate，管理人员和分析人员可以收到关于数据更新的报告，无需再依赖易于出错的人工方式和繁琐的脚本语言处理工具

Connotate自动化监控所有数据源的数据，如银行网站等，下载PDF文件并把Web页面转化为Excel、XML或者适用的文件格式

Thomson Reuters（路透社）、 Dow Jones（道琼斯）、FactSet和其他世界各主流金融数据商都新来Connotate，用Connotate进行数据监控和抽取。

金融行业应用

信息和内容随时可以在Web上获得，随着其价值的增加，对相关的信息内容做出及时的措施、分析和加快决策就越来越显得重要。

有了Connotate的帮助下，投资者和分析师可以针对企业和部门的表现有更加深刻的认识，即使在市场看来并不是很明显的表现。Connotate的必杀技在与不断的标记来自Web 上部门和政府的变化数据、新闻信息、诸如价格、库存、产品供应水平、生产力和招聘人员活动等操作数据，和各种能够帮助预测分析的指标。

现在，从Web上精准的收集数据并进行数据分析成本是很高昂的。如今Connotate的自动化数据抽取和分析不仅为用户大大减少了成本而且其操作也是非常简易的—即使不是专业的编程人员或者IT架构人员也可以进行部署和操作。详情见下文：

?支持买卖双方的决策—通过抽取一系列操作数据来加速对整个季度的趋势分析?对市场变化的反应更加灵敏—通过实时地监控市场动态

?为研究调查加大深度—通过锁定需要监控的数据源

?加速产品上市—通过监控市场异常和机遇

利用Web数据支持研究调查，以增加调查的质量和效率。

Connotate优越的自动化数据监控和抽取的解决方案能够让用户实时地发现公共资源的价值，大大增加其透明度以更好的支持研究调查和投资决策。

过去使用Web爬虫的用户，会发现要花费很大的精力对收集的数据进行处理后，数据才会有意义。与Web爬虫工具不同的是，Connotate能够抽取Web数据并转换为结构化数据格式（CSV、 XML、 XLS等格式）

Connotate使用户不必等待季度报表或者成本昂贵的消费研究调查来进行投资决策。Connotate使用户对数据抽取拥有最大的控制权。无论数据集的保存期限是几天、几周、还是几个月，用户都可以精准地定位需要的数据，并获得实时的洞察。

金融行业应用案例-华尔街个案

Connotate使用户对市场部门个体股票的微小动态都了如指掌，获得支持买方购买的可行性洞察。

华尔街一家投资机构欲更好地了解个别企业、企业产品销售情况和市场部门的微妙动态，其选择是是实时地收集操作数据，其目的是为了应对瞬息变化的股票市场做出更好的投资决策。

随之电子商务的大兴崛起，除了纯粹惯例地发布数据和季度报表，该企业抽取了不同企业、电子商务平台、博客和社交平台网站（Amazon和Crunchbase等）上的Web数据。

该企业选择了Connotate实地部署的解决方案，在几周内就设定好预访问的网站，抽取营销活动、价格数据、库存情况和客户偏好选择等的数据。利用这些数据为相应的金融趋势、金融活动和金融观点建立模型。在过去的一年里，该企业在Connotate的帮助下，在股票市场上获得了额外的一百多万美元的收益。

?Connotate实地部署能够使数据分析更加灵活简易了，更易于调整，更易于管理、查询和定位。

?Connotate在电子商务上网页内抽取关于营销活动和库存情况的数据，然后只推送与上次抽取的数据相比有变化的数据—提供了清晰明了的定位信息。

?Connotate将抽取的数据转换和推送结构化数据，如CSV文件；将重点数据推送到分析应用程序中进行趋势分析

“Connotate的解决方案为我们提供了产品价格、库存情况、广告话费、转换率、订单情况和其他重要的非结构化数据信息，而这些数据（用其他工具）是很难抽取的但是却是很有分析价值的。”--- Jason Jones，对冲基金投资组合经理

用户案例：FactSet

FactSet在世界各地的成千上百个网站中收集数据，并向其金融行业的用户推送数据，支持他们更好地做出投资决策。FactSet的客户要求数据是精准、实时和完整的。

随着Web数据量的不断增加，FactSet也在寻求能够加快数据抽取自动化程度的工具。由于其业务的不断扩大，FactSet分析师更多对更新数据有更大的需求。

在使用Connotate之前，FactSet使用的是一种Web监控工具（带有少许的过滤功能）；一般分析师收到的35%的提醒信息是有效的。因此，FactSet希望能够提高其数据抽取的效率并简化工作流。自从选择了Connotate之后，数据提醒的有效率从35%上升到90%。

?FactSet选择的是Connotate的实地部署解决方案，他们利用下拉式菜单和便捷式点击页面管理和设置了成千上万个web Agents(Connotate数据抽取的工具) ?Connotate使FactSet能够访问到一些没有宽带的偏远地方的数据

?Connotate使FactSet在无需增加管理人员的数量的同时增加企业监控数量Connotate抽取的数据比我们之前使用的那套工具精准多了，推送的数据更加可靠、精准和便于使用。-- Chris Clifford，FactSet的信息创建经理说道

Conotate功能介绍：

Connotate利用机器学习自动生成的高效代码和辅助配置，其数据抽取的工具称为Agent。

在Agents的指引下，用户能精准地获得需要的信息—Connotate在过滤了广告和无关信息的同时，将非结构化数据转化成为支持业务流程的可读性数据。

Connotate的解决方案相比于网页脚本工具要优越得多，由于网站格式不断变化，修整是一项很重要的工程，Connotate的解决方案具有较强的适用性。

各网站都在不断地更新。优化解决方案，不但是为了精准地检测网页内容的变化，而且是为了更有效率地提高推送信息。过滤垃圾信息和删除重复数据可使工作流取得更大成效。

部署选项

Connotate能够满足用户的业务之需，并且适应今后的发展和变化。而且，Connotate能够提供灵活实用的解决方案以满足用户具体的业务需求。

详情请访问：

来自Datameer的解决方案

大型零售银行

为了量化资产风险和遵守监管报告的要求，如多德- 弗兰克法案，这家一流的零售银行正在使用Datameer来验证数据的准确度和质量。

?银行贷款和分支数据以及财富管理数据集成，数据质量的举措是负责确保每一条记录是准确的。这个过程包括对数据超过50个数据的理智和质量检查。这些检查的结果，随着时间的推移的趋势，以确保数据损坏和数据域的公差不改变不利和被报告给投资者和监管机构的风险状况，审慎和符合监管要求。

Datameer之前，该银行采用Teradata和Netezza公司和建设数据集市，以分析数据的质量，使用他们的SAS应用。这个过程是耗时和复杂，数据集市的做法没有提供数据的完整性需要确定整体数据质量。

金融机构

为了提高客户保留和参与，这家领先的金融研究机构使用Datameer加快客户的使用情况分析和产品改进。

?基于Web的平台结合了全球性的公司具有强大的财务基本面分析，构思一代，为用户的工作流管理工具的信息和市场研究。

该公司的产品管理团队需要了解用户访问模式和产品互动的细节，以便更好地吸引和留住客户。该公司此前使用OLAP多维数据集，存储和报告用户访问日志，客户数据和许可证信息。他们拼命用一个4-6周的周转时间，提供新的或更新的数据。因此，产品管理一直非常被动，他们的大部分时间花在管理报告的过程，而不是理解最终用户如何响应特性和内容。

该公司选择了Datameer加快洞察顾客使用，并加快新产品型号。有了Datameer，产品经

理现在可以快速地关联在用户的流量模式的变化（点击流）和事件的背景下，如新版本，A / B测试和故障，以确定哪些工作或不执行队列分析。产品策略，现在可以迅速调整和改进Datameer释放产品经理的部署，把重点放在分析用户的使用模式，并创造新的产品模型，而不是建设报告。

Datameer简介

数据快速集成

将您的IT资源从数据管道中释放出来, 为IT和商业用户快速整合任何数据源。

数据自由化

无ETL

数据是观察事物的基础。你掌握的数据越多，对事物的了解就会越深入。因此，你不仅要掌握传统意义上的交易数据，而且还要掌握所有其它类型的数据，这样才可以完全了解客户，充分理解业务流程，提高业务绩效。

Datameer为了把所有数据整合到Hadoop，而不关注ETL和静态模式的局限性。预建的数据连接向导关联所有常见的结构化和非结构化数据源，这就意味着，数据集成是一种简单的，分成三个步骤的过程：集成存储于哪里的数据、集成哪些数据、什么时候集成这些数据。

结构化数据包括：

?Oracle, DB2, MS SQL, MySQL等

?Teradata, Greenplum等

?XML, JSON, CSV等

?HBase, Cassandra

非结构化数据包括：

?Twitter, Facebook, LinkedIn, Jive等

?Email

?LogFiles

?SaaS - CRM, GitHub, Jira, Zendesk等

数据导入类型

导入作业

Datameer将所有数据以其原始格式直接导入到Hadoop。强大的采样、解析、调度和数据保留等工具使得整个导入过程到了优化和支持，从而用户可以便捷高效地获得他们所需要的数据。

任何数据的无限相关性

数据链接

在某些使用场景下，如分析瞬息万变的用户数据时，系统需要在分析在进行的过程中即将数据导入Hadoop平台中。这确保了用户数据始终处于最新状态。为此，Datameer为所有数据源都提供数据链接.

开放数据平台

数据导出

Datameer独特的整合和分析能力的妙处在于其结果可以被导出至其他数据存储，如数据库、远程文件服务器、数据仓库或第三方BI（商业智能）软件包。这种数据导出可以是手动的，也可被设定为每当工作薄更新时，或者按一定的时间间隔由系统自动进行操作。

数据的应用编程接口访问（REST API）

数据获取、发布、安置、删除

在某些使用场景下，如嵌入式分析（作为有更广泛意义的CRM应用程序的一部分）要求无需通过网站页面即可获取Datameer数据。有了Datameer的REST API接口，远程应用程序即可通过命令行工具获取Datameer数据。该API接口可通过脚本或者监控工具运行。运行请求为URL地址和命令，而运行响应会以JSON格式返回。

产品信息详情请访问：

来自Syncsort的解决方案

Syncsort为金融服务行业提供的解决方案

金融服务企业深受全球金融危机的影响，更受到新的条例和同行竞争压力的影响。这也是目前主流的银行、投资公司和信贷企业依赖Syncsort提供的数据整合方案的重要原因。

现在，爆炸式的数据量让金融服务机构头晕脑胀，因此及时地获得关键信心，对于他们提高风险评估，确保合规和提高服务水平来说是至关重要的。

四十多年来为金融机构的服务经验，Syncsort为用户提供数据整合方案，帮助用户从海量数据中抽取有价值的数据。实现在更少的时间和更少的硬件资源内，为金融机构解决更多来自大型主机和Hadoop之间的所有问题。

Syncsort为许多金融机构的关键业务提供技术支持。其中包括：

?风险调整后的盈利能力

?分行的效益

?数据仓库回复和重组

?提高跨渠道和跨产品的关系管理

?提高销售额、营销效果、和绩效管理报表和分析

?把复杂的基础架构简单化，实现灵活调整，减少分析需要的时间

?通过把不同的图像、不同的渠道和产品信息整合在一起，发现商业洞察

?发现新的商业机会

?实行风险管理以应对新增的管理条例

?进行系统风险管理并升级本地的风险管理程序?减少成本，如大型机的转移和硬件的更新换代

Syncsort的产品介绍

Syncsort为用户提供快速、安全的企业级别的大数据解决方案，主要是针对大型机和Hadoop上出现的问题。Syncsort能够为世界各地的用户在更短的时间内收集、处理和发送更多精准的数据，而且所需要的资源和成本更加低。世界上前100强的企业基本上都是Syncsort的客户，而且Syncsort已经应用于全球85个国家中，为用户进行宝贵的数据处理，加快数据仓库的效率和大型机对数据的处理速度，优化云端的数据集成。

DMX-h：一种更智能的Hadoop ETL&数据分类工具

更全面的释放Hadoop的潜能，是一种更加智能的大数据分类、集成和处理工具。

随着越来越多的企业青睐Hadoop，但是他们面临越来越多的限制了Hadoop潜能的问题。DMX-h是一种智能的Hadoop分类和HadoopETL工具，为用户大大释放了Hadoop 的潜能。使用Syncsort的企业能够使他们的Hadoop分类&Hadoop ETL更加智能。减少自定义代码的需要，更加智能地连接到用户的所有数据和大大提高了Hadoop数据处理的效率。

DMX-h是一种更加智能的Hadoop ETL工具！

Syncsort是一种智能和独特Hadoop ETL工具，使企业用户在Hadoop上用更少的时间进行获取更多的数据价值。

Syncsort成功解决了企业在Hadoop上部署ETL的问题，无代码，无脚本，无需调优，就只是一种更加智能的数据集成方案，Syncsort的Hadoop ETL 性能是无敌的，超强的连通性和优越分类。

更智能的应用—Hadoop ETL工具，无编码的噢！

若企业要在Hadoop上部署ETL工具，是需要具备一整套新的高级编程人员，而用够这种技能的人才往往是比较少的而且劳动力成本很高昂。

DMX-h使用户拥有更多的技能—不仅仅是MapReduce的编程人员一般的技能，完成ETL 的工作却不需要MapReduce，不用复杂的Java工具或者pig代码，取而代之的是简易使用的图形用户界面进行管理。

DMX-h使运行在Hadoop上应用程序更加容易使用、维护和再次使用。

?基于Windows的图形用户界面管理

?内置强大的格式转换功能

?通过实施普通ETL任务，如文件格式变化任务，joins或者其他任务，加速Hadoop的数据集成效率

?内置的元数据功能，更好的进行数据再次使用、分析和数据分类

DMX-h不会生成任何代码，因此用户不用担心理解、维护和要对成千上万行代码进行调优的难题

更智能的架构，无代码生成、无需编译

DMX-h不仅是一个简单的Hadoop ETL工具。想其他的ETL工具，如Informatica或者Tailend，在数据抽取之后会生成一系列代码，而要对其后期进行调优和维护是非常困难的。DMX-h不是一个代码生成器，相反，是在Hadoop上自动高效进行数据抽取的工具，是在Hadoop上的大型机上运行，解决所有节点的数据，就好像已经是Hadoop大型机的一部分似的。这就意味着没有代码生成，加快MapReduce的运行。用户可以无缝地把DMX-h插入到Hadoop上，用来优化Map-Sort和Reduce-Merge执行的任务。

DMX-h是一个非常简易的工具，遗留痕迹很少，不依赖于第三方系统，如RDMS、Compiler和应用程序。因此，DMX-h能够轻易的部署在所有Hadoop集群上的数据节点上。

更加智能的连通：只需要这一个工具，就可以连接所有的资源和目标。

DMX-h的超强的连通性实现了Hadoop ETL上的成功部署。有了DMX-h，用户只需要用一个工具就可以连接到Hadoop所有的资源和目标上。无代码和无脚本。平行地在所有的可视数据源上进行数据加载和抽取，而且更省时。

DMX-h是一种高性能的连接器，用于连接主要的RDBMS应用程序，XML，平面文件和其他系统。此外，DMX-h独特的数据访问能力能够为用户解决一系列的数据难题。

DMX-h也适用于数据前处理阶段，如数据清洗、数据分类、数据分区和数据压缩，这些都是在加载到Hadoop的前期工作，可以提高数据集成的性能和实现数据安全存储。

更智能的灵活性。每个节点的性能更优。

随着数据处理的需求的增加，Hadoop要增强其灵活性就必须增加数据的节点。然而，这也会导致硬件成本的增加。因此，优化每个数据节点的效率是非常重要的。

大多数的ETL工具是通过在Hadoop的表层增加一抽取层。完美的Hadoop ETL部署必须做到没有代码生成同时实现性能高效。

DMX-h通过优化集群中每个数据节点以解决以上提到的问题（提高Hadoop的灵活性）。一旦部署了DMX-h，就能够自动优化CPU使用、内存使用和数据输出输入的问题，因此每个节点的数据都能够实现高性能，而且无需调优。

每个数据节点高性能和高效率就意味着要在更少的时间和更少的服务器上处理更多的数据详情请访问：