京东图片系统演进
内部绝密PPT揭秘京东大数据平台,这才是完整版
Part1:京东大数据分析及创新应用
Part 2 京东大数据基础架构和实践
Part 3：京东数据仓库海量数据交换工具t揭秘京东大数据平台京东大数据平台从无到有从集中式到分布式从oracle数据仓库到jdw20在演变过程中一直在思索两个问题
内部绝密PPT揭秘京东大数据平台
京东大数据平台从无到有，从集中式到 分布式，从Oracle数据仓库到JDW2.0， 在演变过程中，一直在思索两个问题： 如何建设电商特有的复杂业务的数据仓 库？如何在保障安全的情况下降低使用 数据的成本？从下面的内容中似乎能够 看到这些问题的答案。
京东企业购发展历程
京东企业购发展历程京东企业购是京东商城旗下专为企业用户提供的一站式采购平台，通过互联网技术，打造了一套高效、便捷、安全的企业采购解决方案。
下面是京东企业购的发展历程。
2007年，京东商城正式上线，开始提供个人用户的购物服务。
其后，京东逐渐洞察到企业采购市场的巨大潜力，决定开展企业购业务。
2010年，京东推出了企业采购业务，为企业用户提供在线采购平台和专业服务。
初期，京东企业购主要以办公用品和IT设备为主要商品，方便企业用户进行常规办公采购。
2012年，京东企业购正式成立独立事业部，专门负责企业采购市场的拓展和运营。
同时，京东通过建立与供应商的深度合作关系，拓宽了产品品类，满足企业用户多样化的采购需求。
2014年，京东企业购率先在行业内推出了“秒杀团购”活动，给用户提供更高性价比的商品。
这一创新活动瞬间吸引了大量企业用户，并进一步提升了京东企业购的市场竞争力。
2015年，京东与国内知名的企业采购平台阿里巴巴达成战略合作，双方共享资源，共同打造企业采购生态圈。
这一合作为京东企业购带来了更多的优质供应商和多样化的商品，丰富了平台的产品选择。
2017年，京东企业购推出了“全球直采”项目，开始引入海外商品供应链，满足国内企业对于进口商品的采购需求。
企业用户可以直接通过京东企业购平台进行全球商品的采购，无需额外的繁琐手续，大大提高了采购效率。
2020年，受疫情的影响，线上办公和线上采购成为主流。
京东企业购迅速调整策略，推出了一系列线上展览和在线采购会议，为企业用户提供更多的线上采购机会，并通过提供全程无接触的配送服务，保障了用户的安全和健康。
至今，京东企业购已经成为国内企业采购市场的领导者之一。
通过持续的创新和优质服务，京东企业购不断提升用户体验，满足企业用户多样化的采购需求。
未来，京东企业购还将继续加大对技术研发和供应链建设的投入，为企业用户提供更加完善的采购解决方案。
物流业中的智能仓储系统技术应用案例
物流业中的智能仓储系统技术应用案例智能仓储系统技术在物流业中的应用案例随着科技的发展和社会进步，物流行业也在不断演进和创新。
其中，智能仓储系统技术的应用对于提高物流效率和服务质量起到了重要作用。
本文将通过介绍物流业中的智能仓储系统技术应用案例，探讨其对于物流行业的影响和价值。
1. 京东物流的智能仓储系统京东物流是中国最大的自营物流公司之一，致力于将智能化仓储系统技术应用于其物流流程中。
京东物流的智能仓储系统采用了自动化设备、无人搬运车、机器人等先进技术，实现了仓储过程的自动化和智能化。
通过人工智能算法的支持，京东物流的智能仓储系统能够根据订单的特点和优先级自动调度和优化仓储空间，提高了仓库利用率和作业效率。
此外，智能仓储系统还能准确追踪货物的位置和状态，提供实时的货物跟踪和库存信息，提升了物流的可视化和可控性。
2. 亚马逊的机器人仓储系统作为全球知名的电商平台，亚马逊致力于提供高效的物流服务。
为了应对日益增长的订单数量和提高物流处理效率，亚马逊引入了机器人仓储系统。
亚马逊的机器人仓储系统利用自主导航技术，机器人能够自动识别和避免障碍物，准确且高效地将货物从货架上取下或放回。
这种智能化的仓储系统大大减少了人工搬运的工作量，提高了作业效率。
此外，机器人仓储系统还能够实时监测和管理库存，准确追踪货物的位置和状态，为亚马逊提供了高度可视化和精确的库存管理。
3. 菜鸟网络的智能仓储系统菜鸟网络是阿里巴巴集团旗下的物流和仓储服务提供商，借助阿里巴巴在物联网和人工智能领域的技术积累，菜鸟网络打造了智能仓储系统。
该智能仓储系统通过物联网技术实现了设备、载具、库存等各个环节的智能互联，实现了对于整个仓储过程的综合管理。
菜鸟网络的智能仓储系统还引入了机器学习和预测算法，能够准确预测物流需求，优化仓库规划和调度，提高了作业效率和客户满意度。
此外，智能仓储系统还能够提供大数据分析和实时监控，帮助企业更好地管理和控制其物流网络，降低物流成本和风险。
京东金融金融科技创新案例
京东金融金融科技创新案例近年来，随着互联网和科技的快速发展，金融科技（FinTech）正迅速崛起并改变着人们的生活方式。
京东金融作为中国领先的金融科技公司之一，积极探索创新，并成功推出了一系列金融科技创新产品和服务。
本文将以京东金融为例，探讨其在金融科技领域的创新案例。
一、智能投顾智能投顾是金融科技领域的一项重要创新，它结合了人工智能和金融理财，为用户提供个性化的投资建议和组合优化。
京东金融推出的智能投顾产品，基于大数据和机器学习算法，能够根据用户的风险承受能力和投资偏好，为其定制化的投资组合。
通过智能投顾，京东金融为广大用户提供了高效、智能的理财工具。
用户只需回答一些简单的问题，系统将根据用户的回答生成相应的投资方案，并提供在线购买等服务。
这种金融科技创新将传统的投顾服务数字化，大幅提高了投资的便捷性和透明度。
二、区块链应用区块链技术近年来备受关注，京东金融积极应用区块链技术，为用户提供更安全、高效的金融服务。
京东金融的区块链技术主要应用于供应链金融领域。
传统的供应链金融存在信息不对称、资金周转周期长等问题，京东金融借助区块链技术，通过建立去中心化的信用系统和智能合约，实现了供应链金融的全流程可追溯和自动化。
同时，区块链技术的应用还能够确保交易和数据的安全，提升金融业务的效率和准确性。
三、消费金融创新消费金融是金融科技领域的另一个创新方向，京东金融积极探索消费金融的创新模式，为用户提供更便捷、灵活的消费信贷服务。
京东金融借助大数据和风控技术，通过与京东电商平台的深度合作，实现了线上线下的全面融合。
用户可以通过京东金融的APP进行在线申请和审批，享受到秒级的贷款放款服务。
与此同时，京东金融还推出了以“先消费后分期”为特色的新型消费信贷产品，为用户提供更灵活的支付方式。
四、人工智能风控金融科技的另一个创新方向是人工智能风控。
京东金融通过引入人工智能技术，构建了一套完整的风险识别和评估系统，提升了风控的准确性和效率。
360展示广告智能化演进过程
360展示广告智能化演进过程 360展示广告平台始终关注广告投放效果，围绕广告后续优化问题先后开发了多款产品。随着产品规模的不断扩张，有关效果优化的新需求新问题不断产生。本文主要介绍了效果优化系统随业务发展的演进过程，聚焦如何使用算法解决客户痛点，实现广告投放智能化。使大家了解到展示广告算法团队如何分析业务，如何选择算法，如何优化系统的过程。
01 背景介绍 1. 展示广告业务介绍
市场上有很多媒体，用户访问媒体 ( 比如PC端的搜狐、网易、新浪，移动端的头条等 ) 时页面会出广告，媒体会将用户当前流量 相关信息发送给Ad Exchange ( 流量拍卖平台 )，该流量会由Ad Exchange发送给与其对接的多家DSP ( 广告投放系统 )，DSP会根据当前流量选择合适的广告返回给Exchange，响应时间要求在100ms以内，这些广告一般是由客户或者广告主 ( 比如电商类广告主京东、唯品会、苏宁，旅游类广告主携程等 ) 在DSP平台按照流量筛选条件 ( 用户、媒体、时间、地点 ) 设置，Exchange将各个DSP平台返回的结果进行整理，选择出价最高的广告返回给媒体，媒体最终将出价最高的广告展示给用户。
2. 常见展示广告
常见的展示广告有： 场景橱窗广告，购物tab栏里出现的购物商品广告，有价格、商品名称； 开屏广告，打开媒体产品时展示由设计师精心设计的广告素材； 信息流广告，用户在阅读信息流内容时，像正常信息流形式一样出现的广告，有标题有图片有内容，这样的信息形式不会特别破坏用户的阅读体验。
3. 展示广告架构
展示广告技术架构，可以分为线上系统和线下系统。线上系统以DSP Server切入，Ad Exchange会将流量发送给DSP Server，DSP Server会将信息传递给Ad Search，Ad Search是广告的检索召回系统，海量广告中粗召回匹配的几百个甚至上千个广告投放，Ad Search会将信息发送给Ad Selector，Selector会在几百个广告中选择当前最合理的一个返回给DSP，DSP再返回给Ad Exchange。整个过程的数据都会被记录，以消息的形式发送给Kafka，最后存储在hdfs上。线下系统，ETL会将数据转成标准的训练样本，这些训练样本会提供 给CVR、CTR等模型训练，训练好的模型在由线下推送到线上，交给Ad Search、Ad Selector作为广告召回和排序使用。
京东商城发展史
京东商城发展史集团标准化办公室：[VV986T-J682P28-JP266L8-68PNN]1998年6月18日，刘强东先生在中关村创业，成立京东公司。
2001年6月，京东成为光磁产品领域最具影响力的代理商，销售量及影响力在行业内首屈一指。
2004年1月，京东开辟电子商务领域创业实验田，京东多媒体网正式开通，启用新域名。
2005年11月，京东多媒体网日订单处理量稳定突破500个。
2006年1月，京东宣布进军上海，成立上海全资子公司。
2006年6月，京东开创业内先河，全国第一家以产品为主体对象的专业博客系统――京东产品博客系统正式开放。
京东在由第三方电子支付公司网银在线与中国计算机报联合主办的“网银杯” 2006超级网商评选活动中，荣获“最受欢迎的IT产品网商”称号。
2007年5月，京东广州全资子公司成立，全力开拓华南市场。
6月，京东商城日订单处理量突破3,000个。
2007年6月，成功改版后，京东多媒体网正式更名为京东商城，以全新的面貌屹立于国内B2C市场。
京东正式启动全新域名，并成功改版。
7月，京东建成北京、上海、广州三大物流体系，总物流面积超过5万平方米。
8月，京东赢得国际着名风险投资基金——今日资本的青睐，首批融资千万美金。
10月，京东在北京、上海、广州三地启用移动POS上门刷卡服务，开创了中国电子商务的先河。
2008年6月，京东商城在2008年初涉足平板电视的销售行列，并于6月将空调、冰箱、电视等大家电产品线逐一扩充完毕。
标志着京东公司在建司十周年之际完成了3C产品的全线搭建，成为名副其实的3C网购平台。
2009年1月，京东获得来自今日资本、雄牛资本以及亚洲着名投资银行家梁伯韬先生的私人公司共计2,100万美元的联合注资。
也是2008年金融危机爆发以来，中国电子商务企业获得的第一笔融资。
2月，京东尝试出售特色上门服务，此举成为探索B2C增值服务领域的重要突破，也是商品多元化的又一体现。
3月，京东商城单月销售额突破2亿元。
京东使用Elasticsearch实现日均5亿订单查询
京东使⽤Elasticsearch实现⽇均5亿订单查询京东到家订单中⼼系统业务中，⽆论是外部商家的订单⽣产，或是内部上下游系统的依赖，订单查询的调⽤量都⾮常⼤，造成了订单数据读多写少的情况。
我们把订单数据存储在MySQL中，但显然只通过DB来⽀撑⼤量的查询是不可取的。
同时对于⼀些复杂的查询，MySQL⽀持得不够友好，所以订单中⼼系统使⽤了Elasticsearch来承载订单查询的主要压⼒。
Elasticsearch作为⼀款功能强⼤的分布式搜索引擎，⽀持近实时的存储、搜索数据，在京东到家订单系统中发挥着巨⼤作⽤，⽬前订单中⼼ES集群存储数据量达到10亿个⽂档，⽇均查询量达到5亿。
随着京东到家近⼏年业务的快速发展，订单中⼼ES架设⽅案也不断演进，发展⾄今ES集群架设是⼀套实时互备⽅案，很好地保障了ES集群读写的稳定性，下⾯就给⼤家介绍⼀下这个历程以及过程中遇到的⼀些坑。
ES 集群架构演进之路1、初始阶段订单中⼼ES初始阶段如⼀张⽩纸，架设⽅案基本没有，很多配置都是保持集群默认配置。
整个集群部署在集团的弹性云上，ES集群的节点以及机器部署都⽐较混乱。
同时按照集群维度来看，⼀个ES集群会有单点问题，显然对于订单中⼼业务来说也是不被允许的。
2、集群隔离阶段和很多业务⼀样，ES集群采⽤的混布的⽅式。
但由于订单中⼼ES存储的是线上订单数据，偶尔会发⽣混布集群抢占系统⼤量资源，导致整个订单中⼼ES服务异常。
显然任何影响到订单查询稳定性的情况都是⽆法容忍的，所以针对于这个情况，先是对订单中⼼ES所在的弹性云，迁出那些系统资源抢占很⾼的集群节点，ES集群状况稍有好转。
但随着集群数据不断增加，弹性云配置已经不太能满⾜ES集群，且为了完全的物理隔离，最终⼲脆将订单中⼼ES集群部署到⾼配置的物理机上，ES集群性能⼜得到提升。
3、节点副本调优阶段ES的性能跟硬件资源有很⼤关系，当ES集群单独部署到物理机器上时，集群内部的节点并不是独占整台物理机资源，在集群运⾏的时候同⼀物理机上的节点仍会出现资源抢占的问题。
京东评价系统海量数据存储设计
京东评价系统海量数据存储设计京东的商品评论目前已达到数十亿条，每天提供的服务调用也有数十亿次，而这些数据每年还在成倍增长，而数据存储是其中最重要的部分之一，接下来就介绍下京东评论系统的数据存储是如何设计的。
整体数据存储包括基础数据存储、文本存储、数据索引、数据缓存几个部分。
基础数据存储基础数据存储使用mysql，因用户评论为文本信息，通常包含文字、字符等，占用的存储空间比较大，为此mysql作为基础数据库只存储非文本的评论基础信息，包括评论状态、用户、时间等基础数据，以及图片、标签、点赞等附加数据。
而不同的数据又可选择不同的库表拆分方案，参考如下：评论基础数据按用户ID进行拆库并拆表；图片及标签处于同一数据库下，根据商品编号分别进行拆表；其它的扩展信息数据，因数据量不大、访问量不高，处理于同一库下且不做分表即可。
因人而异、因系统而异，根据不同的数据场景选择不同存储方案，有效利用资源的同时还能解决数据存储问题，为高性能、高可用服务打下坚实基础。
文本存储文本存储使用了mongodb、hbase，选择nosql而非mysql，一是减轻了mysql存储压力，释放msyql，庞大的存储也有了可靠的保障；二是nosql的高性能读写大大提升了系统的吞吐量并降低了延迟。
存储的升级过程尝试了cassandra、mongodb等分布式的nosql存储，cassandra适用于写多读少的情况，而 mongodb也是基于分布式文件存储的数据库，介于关系型数据库与非关系型数据库之间，同时也是内存级数据库，mongo写性能不及cassandra，但读写分离情况下读性能相当不错，因此从应用场景上我们选择了mongodb。
mongodb确实不错，也支持了系统稳定运行了好几年。
但从今后的数据增长、业务扩增、应用扩展等多方面考虑，hbase才是最好的选择，它的存储能力、可靠性、可扩展性都是毋庸置疑的。
选择了hbase，只需要根据评论ID构建Rowkey，然后将评论文本信息进行存储，查询时只需要根据ID便能快速读取评论的文本内容，当然也可将评论的其它字段信息进行冗余存储，这样根据评论ID读取评论信息后不用再从mysql进行读取，减少数据操作，提升查询性能。