全球｜北美大数据企业Splunk、Palantir业务及产品分析
Splunk大数据解决方案
© Copyright 2011 – Company Confidential
选择目标时间段
28
Listen to your logs
内存健康度
内存整体健康度
内存超载时长
内存低于5GB的主机数
© Copyright 2011 – Company Co以T字节的容量规模进行搜索，无需适配器或数据库。
告警
可用于任一应用程序、服务器或网络设备
Windows
• 注册 • 事件日志 • 文件系统 • sysinternals
Linux/Unix
• 配置 • 系统日志 • 文件系统
• ps, iostat,top等
系统性能分析工具
© Copyright 2011 – Company Confidential
© Copyright 2011 – Company Confidential
18
Listen to your logs
本次测试采集的数据包括：
数据采集与整合
Splunk
应用
主机
基础设施
核心应用
Web服务
WIN平台：WMI
App Trace、 TraceDB
IIS Log
Event Log： Application、 Security、System
Splunk大数据解决方案
Splunk公司介绍 什么是Splunk？ 案例分享
Q&A
内容
© Copyright 2011 – Company Confidential
Listen to your logs
Splunk公司
成立于2005 总部位于美国旧金山 员工：: 300+ Pre-IPO, 年增长率96% 全球超过2800个客户, 75% 的财富500强公司选择Splunk. 2011年进入中国，北京移动，北京电信，内蒙古移动，联想集团，支付宝，
大数据领域国内外对标公司介绍
政府最迫切需要解决的问题。尽管 CIA、FBI 等情报机构掌握着成千上万个数据库——其中包括 为数众多的财务数据、DNA 样本、语音资料、录像片段以及世界各地的地图，但要在这些数据 之间建立联系，却是相当的耗费时间。如何从浩如星海的数据中快速找出有价值的线索，提前掌 握恐怖份子可能发动袭击的消息，就成了情报技术部门面临的的难题。
析、智力支持、品牌监测等。同时，清博大数据拥有超过三百万微有深度合作。目前主要产品和
服务有清博指数、清博舆情、清博管家、清博广告、清博学院。目前总计有两万多家单位或
组织、机构使用清博指数的指标体系。
历史融资
2016.4.19 Pre-A 轮 2100 万人民币 飞图创投
力于社会物理领域大数据的挖掘分析与应用实践。
张丹峰，清博大数据 CMO。资深市场营销专家，2013 年荣获中国百强市场分析师称
号。观媒媒体观察员，自媒体联盟资深导师。
7
璞华大数据（A 轮）
公司简介 璞华大数据以大数据、云计算技术为核心，专注于为企业提供闭环的大数据应用整体解
决方案，帮助企业用户实现智慧的数据化运营，从而提升企业核心竞争力。服务的客户包括 国内外的企业和政府机构，为 IoT 物联网、房地产、媒体、化工、教育、汽车 4S 等行业提 供一站式大数据行业解决方案。 业务介绍
Palantir 的用户主要集中在华盛顿，其中来自政府的业务占到了 70%。
历史融资 2010 年 7 月，当时已经拥有 250 位工程师的 Palantir 完成 9000 万美元的 D 轮
Splunk-7.0.0指标详解官方文档
如果您选择创建一个索引，请在新索引 对话框中： 1. 输入索引名称 。用户定义的索引名称只能由数字、小写字⺟、下划线和连字符组成。索引名称不能以下 划线或连字符开头。 2. 请单击指标 选择索引数据类型 。 3. 需要时，配置其他索引属性。 4. 单击保存 。
示例指标：
performance.os.disk:1099511627776|g|#region:us-west-1,datacenter:us-west1a,rack:63,os:Ubuntu16.10,arch:x64,team:LON,service:6,service_version:0,service_environment:test, path:/dev/sdal,fstype:ext3
7. 单击查看 ，然后单击提交 。
提 取 格 式 不 受 支 持 的 StatsD 维 度
许多 StatsD 客户端都将维度名称嵌入指标名称。例如，假设您的 StatsD 客户端使用以下线路指标协议格 式，Splunk 平台本机不支持此格式：
<dimension>.<metric_name>:<value>|<metric_type>
为 StatsD 数 据 设 置 数 据 导 入
在您配置 StatsD 协议中要发送数据的数据来源之后，请在 Splunk 平台中创建一个 UDP 或 TCP 数据导入，以在 打开的端口侦听 StatsD 数据。
palantir技术指标
palantir技术指标Palantir技术指标Palantir是一家美国的数据分析公司，成立于2003年，总部位于加利福尼亚州帕洛阿尔托。
该公司的主要产品是用于大数据分析和智能决策的软件平台。
Palantir技术指标是指用来衡量和评估Palantir技术的一些重要指标和数据。
1. 用户增长率（User Growth Rate）用户增长率是衡量Palantir技术受欢迎程度的一个重要指标。
通过统计不同时间段内注册和使用Palantir技术的用户数量，可以计算出用户增长率。
用户增长率的高低可以反映出Palantir技术的市场需求和竞争力。
2. 客户满意度（Customer Satisfaction）客户满意度是衡量Palantir技术质量和服务水平的指标。
通过调查Palantir的客户，收集他们对Palantir技术的满意度和使用体验，可以了解到客户对Palantir技术的评价和建议。
客户满意度的提升可以帮助Palantir增加客户粘性和市场口碑。
3. 数据处理速度（Data Processing Speed）数据处理速度是衡量Palantir技术性能的一个重要指标。
Palantir 技术被广泛应用于处理大量复杂的数据，因此数据处理速度的快慢对于用户的体验和效率至关重要。
通过测试Palantir技术在不同数据量和复杂度下的处理速度，可以评估其性能和稳定性。
4. 数据准确性（Data Accuracy）数据准确性是衡量Palantir技术数据质量的指标。
Palantir技术处理的数据涉及各种领域和行业，包括金融、医疗、能源等。
数据准确性的高低直接影响用户对数据分析结果的信任和决策的准确性。
通过对比Palantir技术处理数据的准确性和真实性，可以评估其数据质量。
5. 数据安全性（Data Security）数据安全性是衡量Palantir技术风险控制能力的指标。
Palantir技术处理的数据可能涉及敏感信息和商业机密，因此数据安全性的保护至关重要。
Splunk 发力复杂数据价值挖掘和安全业务
Splunk 发力复杂数据价值挖掘和安全业务作者：暂无来源：《计算机世界》 2017年第29期本报讯（记者莉莉）大数据时代海量的数据中蕴藏着无限商机。
统计显示，全球的数据有90%是过去4年出现的，而这些数据大部分来自于机器数据，假如不懂得利用，这些数据便毫无用处。
来自美国旧金山的Splunk是一家提供实时运营智能软件平台的领先企业，通过分析机器数据提供运维IT数据整合、IT安全信息及数据整合、应用程序IT数据整合等服务，同时还可以利用所有机器产生的数据去做转型，让客户在比较复杂的数据里面找到价值。
Splunk北亚区总经理戴健庆表示，机器生产的数据是增长最快，也是大数据中较为复杂的领域之一，Splunk希望能让所有人都可以访问机器数据，让机器数据对所有人有用并具有价值。
“我们会先把非结构性的数据放在系统里面，有需要的时候再根据当时面对的困难进行查询，这是Splunk比较特别的地方。
”当然，数据带来商机的同时也充斥着各种危机，例如前段时间爆发的“想哭”(WannaCry)勒索病毒让全球范围内的企业遭受重创。
在WannaCry勒索软件事件的反馈上，Splunk看到了市场需要对于潜在勒索软件威胁具备可见性和行动力的高性价比解决方案。
“我们推出的Splunk Insights for Ransomware使我们能够为规模较小的机构提供实时应对大型软件勒索事件的能力。
能够为此类客户提供清晰的解决问题的方案，使他们的业务免遭来自勒索软件的威胁。
” S plunk全球安全事业部总经理、公司高级副总裁宋海燕说。
目前，Splunk在全球大概有1300多个客户，全球财富100强中有超过85家的公司是用的是Splunk的产品。
另外，Splunk非常重视中国市场，近年来也在不断加大对中国市场投入。
6年前，Splunk进入中国市场，2014年在上海杨浦区建立研发中心，主要的角色是支撑全球的业务，以及支撑本地的客制化。
Splunk的“黑科技”
Splunk的“黑科技”作者：郭涛来源：《中国信息化周报》2017年第41期第八届Splunk年度大会conf2017在美国华盛顿落幕，机器学习与大数据的激烈碰撞让人印象深刻。
“把机器数据转换成答案”这一直是Splunk的理想和奋斗的目标，而人工智能、机器学习为这一理想插上了翅膀。
在Gartner列举的“2017年十大战略技术趋势”中，人工智能和先进的机器学习位列第一。
Gartner的报告指出，人工智能和先进的机器学习技术是被广泛关注的新兴技术，将在企业甚至整个行业中掀起革命浪潮。
它们将大幅度降低劳动力成本，产生意想不到的新见解，从原始数据中发现新模式，并建立预测模型。
机器学习无处不在有了人工智能、机器学习，似乎一切难题都会迎刃而解。
真是这样吗？至少在conf2017大会上，我们看出了一些苗头。
Splunk给我们带来的惊喜是，其主打产品，包括Splunk Enterprise 7.0、Splunk IT Service Intelligence（ITSI）3.0、Splunk User Behavior Analytics（UBA）4.0以及Splunk Cloud等在内都进行了更新，进一步增强了机器学习的能力。
尤其是将分析技术和机器学习用于欺诈监测和云监测等应用场景中，拓宽了人工智能和机器学习的应用领域。
数据是企业的一种战略资产。
如今，企业正在寻找将数据转换为答案的快速且行之有效的方法。
而Splunk将这当成自己的使命。
Splunk首席产品官Richard Campione表示：“机器学习对于客户的成功和Splunk的发展都非常重要。
我们的无缝集成功能使每个人都能够使用机器学习，更好地预测未来结果，以及更有效地分析数据。
Splunk Enterprise 7.0和Splunk Cloud能够比以往更快速、更容易地提交任务关键问题的答案。
”Splunk Enterprise 7.0已经推出，Splunk ITSI 3.0和UBA 4.0将于下个月提供。
Palantir解读
五大支柱
• 数据集成：集成不同源数据，基于语义网 （Ontology）来创建实体
• 搜索和发现：围绕Ontology来搜索发现结果和 关系
• 知识管理：所有的知识是有权限控制的 • 协作：知识可以在不同的用户之间共享，协同
编辑复杂搜索
浏览
图视角
地图视角
实例探索/Object Explorer
SnapShot小结
协作
编程扩展
Q/A?
• Kite：将结构化数据（数据库）转成pXML，然 后import或resync
• Raptor：抓取大量文档并索引 • Phoenix：用来import和索引petabyte的结构化
数据，比如电话记录等 • Plugin开发：比如一个wikipedia搜索的插件
编辑知识图谱
编辑实例关系
搜索
非结构化的文本数据?每个实例的结构属性和关系是细粒度的权限来控制的对于数据的安全很重要知识图谱样例数据集成?前端输入frontendimport
Palantir产品技术解读
Palantir是什么?
• 业界理解：数据分析平台，通过图 （graphs），地图（maps），统计 （statistics），非结构化的文本数据 • 每个实例的结构，属性，和关系是细粒度的权
限来控制的，对于数据的安全很重要
知识图谱样例
数据集成
• 前端输入（Front End Import）：用户import数 据到系统，既可以手动，也可以使用CEDT （Crawl，Extract，Detect，Transform）
工作 • 算法引擎：对于通用领域问题，提供了通用算
palantir aip解读
Palantir AIP（Application Integration Platform）是一款用于企业级应用集成和数据交换的平台。
它提供了一套完整的工具集，帮助企业快速、安全地将不同应用系统集成在一起，实现数据的无缝交换。
Palantir AIP 是一个基于API（Application Programming Interface）的平台，它支持多种API类型，包括REST、SOAP、GraphQL等。
Palantir AIP的主要特点如下：
1. 易于集成：支持多种API类型，包括REST、SOAP、GraphQL等，可与各种应用系统进行集成。
2. 安全性：提供强大的身份验证和授权机制，确保数据交换的安全性。
3. 可靠性：支持数据传输的可靠性和事务处理，确保数据交换的准确性。
4. 监控性：提供详细的日志记录和监控功能，方便用户对集成过程进行监控和管理。
5. 易用性：提供直观的图形化界面，降低使用门槛，使非技术人员也能轻松使用。
6. 支持多种开发语言：支持多种编程语言，如Java、Python、C++等，方便开发者进行集成开发。
Palantir AIP的应用场景包括但不限于：
1. 企业应用集成：将多个业务系统集成在一起，实现数据的共享和交换，提高业务流程的效率。
2. 数据迁移：将数据从一个系统迁移到另一个系统，实现数据的无缝对接。
3. 微服务架构：在微服务架构中，实现服务间的数据交换和集成。
4. 跨平台开发：在不同的平台之间实现数据的交换和集成。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
全球｜北美大数据企业Splunk、Palantir业务及产品分析
Wikibon 统计了 2013 年全球大数据领域收入排名TOP 30 的公司，其中不仅包括 IBM、 HP 等传统综合 IT 企业，也包括 palantir、 inrix 等专注于特定领域数据分析的新兴企业，我们尝试对该 30 家公司进行归类分析，并探索各类别企业背后的一些共性的因素。
传统 IT 企业。
以IBM、 HP、 dell、 oracle 等企业为代表，该类企业具有完整的软、硬件产品线，并通过既有产品线、 hadoop 等开源计算框架的融合，迅速构建出综合性大数据解决方案。
传统互联网企业。
以 google、 amazon 为代表，本身具有雄厚的技术和资金支持，且数据源丰富，自身业务对大数据具有较强的需求。
传统咨询公司。
以埃森哲、 BCG 等传统咨询公司为代表，作为咨询业务的延伸，依赖于对行业的理解，面向企业输出大数据实施方案以及承担相应的数据分析职能等。
新兴大数据企业。
以 palantir、 splunk 等为代表，依赖于融合的计算框架和强大的技术实力，并叠加对特定行业的深入理解，提供相应的数据分析服务，典型的技术、行业认知驱动。
新兴大数据企业依靠技术、行业认知快速崛起
完成上述的分析后，我们再回到产业链本身，沿着数据源、
基础软硬件设施、数据分析三个核心环节进行归纳总结。
数据源：单一的数据源业务难独立存在
在营收排名靠前的大数据相关企业中，我们并未发现单纯聚焦于数据源环节的企业，我们判断在现阶段，数据源环节仍和数据分析等环节实现紧密绑定，难以独立存在，在未来从事单纯数据源业务的企业可能逐步出现。
从数据来源来看，以美国市场为例，目前已经形成了企业自有数据、商业数据、第三方数据等多种数据融合、互通的良好局面。
基础设施服务：云计算和大数据相互促进，基础软件市场空间有限
我们观察到，云计算产业的大规模发展为大数据产业的崛起奠定了扎实的底层基础，同时市场对大数据产业价值的认可，也进一步推动云计算产业的规模化部署，两者互为促进。
在基础软件业务部分，传统的数据分析软件和基于 Hadoop、Nosql 的开源生态互为补充，开源软件部分，目前来看，Hadoop、 Nosql 商业化产品市场整体空间有限，且发展缓慢，且商业变现周期漫长。
以从事 Hadoop 商业化产品开发的 Hortonworks 为例，该公司自上市以来营收增长乏力，股价持续下挫。
数据分析：新兴大数据企业的孵化池
作为上层应用环节，数据分析市场占比在整体大数据产业中无疑是最大的，其在产业中占比同时也客观上反映了产业的发展成熟度，这里聚集了大量的新兴大数据公司，比如知名的 Palantir、 Splunk 等，我们分析发现该类成功
新兴企业典型的特征可以简单概况为：突出的技术、行业深度理解。
同时，从目前主要大数据分析企业所服务的行业来看，政府、金融、电信、医疗、 IT 等行业仍是主要的应用领域。
案例 1： Splunk
公司概述。
公司成立 2003 年，从机器日志分析产品起步，经历近 10 年的发展，逐渐成为机器日志处理、分析领域的全球领先企业，并通过持续的并购和外部合作，不断拓展自身技术边界，围绕机器日志分析丰富产品组合。
公司业务：围绕基础日志分析产品构建数据分析平台：
产品结构。
公司业务功能主要分为五大块： IT 运营、应用管理、安全合规、网络智能与商业分析。
作为平台型公司，公司依托 splunk 基础产品，不断挖掘用户使用场景，根据公司对客户的调研发现，老客户的服务购买量是三年前的四倍，公司70%的收入来自于老客户的贡献。
商业模式：软件 license+运维服务。
Splunk 软件平台可以实时对任何 APP、服务器或网络设备的机器数据进行索引、监控与分析，并将结果生成图形化报表，在此基础上帮助客户避免服务性能降低或中断。
在此基础上， Splunk 逐渐形成软件许可证售卖和运维服务两种主要业务模式。
公司成功经验小结：
出众的机器日志分析产品。
Splunk 通用引擎能够将任何的机器数据广泛地索引，并支持任何格式的数据，而无需进行
格式转换。
同时在计算架构上，其自主开发了类似于MapReduce 的分布式架构，能够轻松扩展到支持每天新增上百 TB 的数据，配合基于角色的数据访问控制，还能跨多数据中心运行。
基于基础产品的数据分析平台构建。
公司围绕基础的splunk 机器日志分析产品，不断挖掘客户的商业应用场景，并持续丰富产品组合，应用场景从机器性能分析到用户行为分析等，使得单位企业用户的价值挖掘和客户粘性均保持较高水平。
案例 2： Palantir
公司简介。
公司成立于 2003 年，创始人为 Peter Thiel, Alex Karp, Joe Lonsdale,Stephen Cohen 和 Nathan Gettings，其中 Peter Thiel 为原 paypal 创始人，硅谷著名投资人，后面三位均为硅谷顶尖程序员。
发展初期主要面向政府机构提供数据分析服务，后借助政府订单背书，逐步将业务扩展至民用领域。
公司业务：
业务模式。
整合海量的数据源形成全方位的可视化的输出，运用公司设计的相应算法进行联想、定位、分析的形式来分析单一个体或特定场景，提供解决方案。
产品组合。
公司主要有两款产品， Palantir Gotham 和Palantir Metropolis。
它们都具有开放性、可延展性和可规模性，可以数周甚至数天内完成部署、发挥作用，可以快
速迭代以反映用户反馈。
公司运营数据表现：
收入表现。
从 2011 年至今，公司年收入增长率维持在50%-80%之间。
业务结构。
公司以政府客户订单起家，从 2010 年起公司业务在商业领域取得重大突破，目前已经有 70%以上的业务来源于非政府客户。
客户粘性。
一家企业成为公司的客户后， 1 年内的平均消费额是初始消费金额的倍， 2 年内的平均消费额是初始消费金额的倍， 3 年内的平均消费额是初始消费金额的倍，良好的客户粘性成为公司业务维持高速增长的重要动力。
成功经验总结：
借助政府领域背书，向民用领域积极拓展。
Palantir 在成立之初，主要面向政府部门提供数据服务，在 2010 年以前，其没有任何的非政府订单，但是借助政府领域订单的背书，从 2011 年开始，公司先后获得摩根士丹利等大型金融机构的订单，到 2015 年，公司民用领域的订单额占整体订单收入比已经超过 70%。
技术和专业人才的有机结合。
Palantir 创立之初，已经具有社会威望的四位创立者和原 PayPal 技术人员就组成了
强大的技术团队，并且依靠在 PayPal 时积累的反洗钱、反欺诈技术进入了政府大数据市场，以技术为导向的工程师文
化是企业的核心文化，公司人员结构中，目前 75%以上为技术人员。
Palantir 认为分析工具固然重要，但是人的判断也是非常重要，最后机器不能做高级决策，需要人的参与；Palantir 平台奠定了基础，该平台把人工算法和强大的引擎（可以同时扫描多个数据库）整合到了几近完美的境界。
注重信息安全和隐私保护。
Palantir 坚持认为，在数据无所不在的时代，严格的隐私和数据保护尤为必要。
在其为政府部门提供的产品服务中，自动带有 Audit trail，以在需要时呈现政府用户对哪些公民信息进行过窥探。
据 Wikibon 数据，全球大数据市场规模在 2015 年突破
400 亿美元，产业发展初具规模，同时全球市场发展具有如下典型特征：
（ 1 ）形成多层次、融合的大数据来源，包括企业内数据、商业数据以及独立第三方机构数据源。
（ 2）基础软件模块整体空间有限，市场收入主体主要由数据分析服务和基础硬件模块构成，开源工具引入使得软件模块整体空间非常有限。
（ 3）技术、行业认知驱动新兴数据分析企业崛起，以palantir、 splunk 为代表的企业依托突出的技术，以及对特定行业的深刻认知，迅速打破传统 IT 企业的壁垒，并在特定细分行业领域占据主导地位。
节选自中信证券2016年5月6日发布的报告《 DT 时代真
正驾临》。
End.转发朋友圈积攒送大数据书籍。