当前位置：&&&&&正文
找好玩手机游戏，上&
GMGC2016 | 京东云的首席架构师杨海明:京东云——让你的游戏快人一步
在好游快爆上浏览
安装好游快爆，资讯随身看
扫描右侧二维码下载，您可以
· 掌握好玩新游资讯· 查找热门手游攻略· 强大工具助你成功
报道，由全球移动游戏联盟GMGC主办的于3月7日至9日在北京国际会议中心隆重举行。此次大会以&Game2.0：创新不止&忠于玩家&为主题，吸引了众多业内精英前来参与。主会场峰会分为&游戏领袖峰会&及&泛娱乐主题峰会&两场同时进行，在游戏领袖峰会上，京东云的首席架构师杨海明发表了以《京东云&&让你的游戏快人一步》为主题的演讲。
京东云的首席架构师杨海明
▍以下为演讲实录
杨海明：非常感谢大会给我们这个机会，面对众多的游戏伙伴、厂商，让我们来做一个演讲，促使你的游戏更快。刚才的论坛大家也看到了现在游戏发展是需要更快一些，这块我首先说一下京东云，在云计算这个行业里，京东做的很久，但是业界来讲并不是特别有名，因为京东云这个平台跟京东商城绑定是很紧的。为什么说让游戏更快一些，做云计算，像游戏、电商、视频都是非常好的营销场景，电商领域做的还是不错的，我们有信心把电商的云计算能力放到游戏这个场景。
从我们技术分析的角度来讲，游戏的特性和电商的特性有很多相似的地方，这块也让我们有信心让这些游戏厂商在我们的平台上能更快人一步。
这里插一句，本来应该由一位女士站在上边讲，因为三八节换我来讲，也祝女人节快乐。刚才这个论坛我也认真听了一下，其实在移动游戏行业，现在是面临一些增速放缓的情况，也认为趋于理性，通过自然选择的话会让更优质的行业，优质的企业活下来，之前项目制，只是打猎型的公司就会逐渐被淘汰，我们这个数据的话，截至15年，规模还是蛮大的，增速已经放缓了。受一些大型游戏企业垄断的影响，投资要比较谨慎，大量中小的CP在进行合并，进行整合，不管资本层面，还是业务层面，都在发生一些变化。这块不仅仅是游戏行业，我们做电商，我们接触更多的是传统的企业，就是做买卖这种东西的，他们也遇到了大量的经济不景气所带来的影响，我开始看到这个图的时候我蛮惊吓的，我们跟传统行业其实接触蛮多的，一般来讲传统行业不景气的时候是游戏娱乐行业很景气的时候，大家没有事情干打打游戏，看看片，在家里宅。我的感觉就是整个游戏行业的话，虽然是一个蓬勃发展的行业，但其实也是需要转型。
这块是游戏规模发展，刚才提到手游的发展规模大概是个什么状态，增长是个什么状态，收入规模也从数字上能够看到，三天翻了十倍，但是这块的话，我们也看到游戏这个行业其实有一些喜新厌旧，不存在IBM这种百年老店，三个月上线一款游戏，非常流行，但是过了几个月之后就没有人玩了，暴涨暴落的情况非常常见。618、双十一大促是有计划的，我们知道这个事情会发生，但是游戏这种事情，三个月上线这个东西能不能好玩，能不能用户买账这个事情不清楚。而且我们看到整个游戏行业产业也在升级，比如说动漫、影视、文学、综艺，这些与传统游戏进行融合，发展出更新颖的一些游戏，大家都在追求新的东西，所以跨行业的这种融合是在游戏行业，我们感觉到这是一个前沿的方向。
这块捉到我们京东云所做的事情了，我们是支撑京东商城整体信息系统的基石，它是典型的云计算的场景，这是我们京东云比较重的场景。另外一块大家可能不是特别容易看到的就是我们所谓的京东大脑的事情，实际就是大数据，刚才论坛提到大数据和游戏行业的融合，这块能不能创造一些新的价值，产生新的利润，这块我个人认为是一定会的。比如在京东的场景，我们说一个客户上去浏览这些东西，买一个东西，基于用户信息以及购买习惯，以及他在这一次访问商城浏览的场景里，他的意图是什么，比如你看一个N95的口罩，肯定是对雾霾天气有一些想法，如果推荐空气净化器就会比较好了，而且推荐高档品牌的，因为N95还是比较专业的防护。这些是我们京东大脑在尽量短的时间内，基于用户的使用习惯以及他的画像推荐他适用的东西。这块游戏领域基于这个人推荐什么装备，以及采购习惯、使用习惯，都是云计算带来的东西。
我们现在说京东云的网址，大家可以访问，我们在API层面开放，体系是开放的体系，在现在比较流行的都是建立我们体系的基石。如果基于这些开放的东西所制作的这些应用，其实都是我们可以支撑的，就是我们是在技术体系上是有贡献的，开放的生态，生态这块我想重点强调一下，我要服务一个客户，给他更好的服务，给他更优惠的价格，或者低于成本的价格。每家都会这么做的，但是我们想说的是我们开放生态的意思是一个游戏厂商你有一款很好的游戏，或者一个想法，我们可以跟你一起做，我们可以在架构层面基于你的特性进行修改。这块我们本身会有一些针对游戏的一些技术，比如我们的设备快速的处理数据，我们在短视频的处理，我们对它的支持，以及在全国布局CDN的体系，这些都可以帮助到游戏的能力。在生态领域不仅仅是说我给你这个东西，你可以更好的服务，而是可以走的更深一点，我们是伙伴，不是买卖的关系。
开源的技术框架，开放的业务生态，开放的平台，开放这个点是我们非常强调的。京东云我们做了四个层面的事情，一个是基础资源服务，这块所有的厂商都会提供网络、计算、存储这些服务，再往上就是IT流程托管服务，负载均衡，以及云的安全等，这块会提供这些服务，而且我们会开放给行业里的生态客户说你比我们做的更好，我们也愿意跟你合作，一同满足客户需求。然后就是云的特性，比如弹性的特性等，以及我们会提供一些相应的自动编译，统一监控日志，这些东西可以更快速帮助你完成一款云领域的应用和开发，因为我们现在说应用开发都是自己做云的应用，其实做出来不是真的云的应用，必须基于规范做出来才是云的应用。
这块是云服务架构，作为传统IT来讲，资源、主机、网络、安全，就我们架构的话，就是一个可靠的弹性云的架构，它是经历过618、双十一考验的，是平时的峰值十倍左右，准备十倍的机器一定会有很糟糕的用户体验，我们是用自动的方式实现这个扩容的。我们的应用层面能保证这个东西，应用层面是可以保证这种弹性架构的。之前几位嘉宾提到跨境的事情，我们不仅在全国有数据中心的布局，而且我们在全球也会有相应的布点，这块也算借着京东商城的能力，我们跟着出去。
比如VR这个业务，今天看了很多展台，都提到VR，两个门槛，一个数据处理的速度，一个是数据延时，京东商城也需要解决这两个问题，我们把同样的解决方案放到这个上边，京东云不会做任何一款VR的应用，因为有更专业的人，但是我们相信我们有能力支撑。
这块是特别想着重聊的地方，就是更准确的用户画像，刚才也提到用户画像画的是用户购买的习惯。商城上如果逛的话，其实是提供游戏道具购买的渠道，我觉得跨界数据的融合产生更好的效果。这个人经常买一些道具，说明他对某种游戏感兴趣，都是比较好的借鉴。基于用户画像的这种能力是可以给你的游戏更精准的推送，玩游戏的人也是比较多变，刚才描述日本的场景是比较对的，日本的用户有那种特性，中国的用户，我个人感觉有点喜新厌旧，在新的游戏上越劲爆，越快，怎么能够把他的兴趣调动起来，这个是用户画像解决的问题，就是更精确理解你在给谁做游戏，满足什么需求，甚至买东西的一些行为是都可以变成游戏的一些状态。用户画像的能力依托京东大数据能力，原来是京东大脑的核心组成部分，有几块，数据收集、数据存储、数据决策支撑、数据开放以及数据交易等等，就是如何根据你的行为搞清楚到底想干什么，以及帮助你干什么，以及挖掘出什么东西。
这个就是我今天跟大家分享的观点，这块重复一下京东云我们希望做游戏厂商的合作伙伴，我们希望作为你的合伙人提供更好的服务，而且会进行更深度的合作，让我们能够帮助你的游戏，更精确地找到谁在玩你的游戏，你需要谁来玩你的游戏，就是建立更好的客户体验。谢谢。
更多大会报道，尽在！
热门游戏推荐
热门关键字
热门游戏专区
扫描二维码,关注4399手游微信独家解读：京东架构师眼里的京东大数据平台
京东大数据平台部架构师赵国梁作为大圣众包在线沙龙的主讲嘉宾，从技术、应用、运营三个维度对京东大数据平台做了详细解读，群友表示干货太多，受益匪浅。沙龙会活动主要分为嘉宾发言与互动交流两部分。现为大家实录如下：
赵国梁嘉宾精彩发言
嘉宾分享的主题由以下3部分组成：
技术——京东大数据平台的发展历程及概况，以及构建了怎样的架构来处理巨大的数据量并满足不同业务应用场景的需要。
应用——如何通过大数据分析和挖掘来进行产品创新，提高用户体验和创造用户价值。
运营——如何通过构建大数据平台的生态来提升平台的服务水平和能力。
1.专家拆解京东“大数据”平台的革命性发展阶段
“大数据”是最近很热门的话题，我们该如何理解大数据呢？
据京东大数据平台部知名架构师赵国梁认为，大数据是一场革命，其驱动了数据处理技术新一轮的架构性变革。以下图为例，我们可以清晰看出京东大数据平台所经历的几个阶段的发展。
（图：京东大数据平台的几个阶段的发展）
在关系数据库年代，京东先后使用了Oracle ExaData 一体机和Mysql数据库，而随着业务的快速发展，数据量急剧膨胀，很显然，传统的商业软件已经满足不了日益渐增的需求了。
于并存年代，随着“雪耻”项目的启动，京东开始研究和使用Hadoop开源技术框架来搭建数据平台。当时是边研究边开发，因此在Mysql平台上遗留了一些数据处理任务。在2012年，Hadoop集群已初具规模，数据抽取、处理已逐步在新的数据平台上开发。
随着科技的发展，大规模集群年代来临，集群数量更是急剧增加，数量级从百台上升至千台，所有数据任务全部迁移至新平台，同时，围绕大数据平台的工具/产品体系也基本完成。
在复杂计算年代，京东搭建了Spark集群，着力研究数据挖掘算法平台。同时，为了满足实时业务场景的需求，基于Kafka+Storm用于处理数据流，京东也突破了数据库实时数据抓取技术，并实现实时计算平台的逐步搭建、完善，Persto、ElasticSearch等集群也同时开始使用。
2015年，虚拟化、自动化、集成，成为京东大数据的关键词，京东不仅开发自动化运维工具，更使用Docker容器做资源隔离，以及改造了Yarn框架，集成了Persto等。2016年，京东将继续以高端科技和架构使运营更为有效快捷。
2.在数据面前没有秘密，一切都是透明的
（图：目前京东的大数据平台概况）
据悉，京东大数据平台的数据主要来源于京东自营电商业务和POP平台业务，以及京东金融、京东到家（O2O）、京东智能、海外业务、供应商、O2O合作伙伴等。其覆盖了采购、订单、仓储、配送、售后以及用户在网站浏览和搜索的数据，是电商产业链上最全的数据。
虽然目前公共数据和社会服务数据相对较少，这是因为公开的、有价值的数据不多，而且从外部网络上爬取得数据也不多。架构师赵国梁更透露：“爬虫是个有意思的事情，一般电商网站都会有‘反爬’的一些措施，主要是避免商品价格等一些关键信息的泄露。目前有专业的公司通过从网页上爬取相关的信息，并通过数据模型算出公司的销售额、成本、利润等等相关的数据，所以有句话说——在数据面前没有秘密，一切都是透明的。”
3.深度剖析京东大数据平台逻辑架构与技术架构
京东大数据平台从逻辑架构上来看，主要分成离线数据平台和实时数据平台。
离线数据平台指的是，主要以Hadoop+Spark为主，以满足日常批量数据抽取和计算的要求。应用Spark，是基于其内存并行计算的框架能够满足高效运行各种并行化挖掘和机器学习算法的需要，实现对海量数据的挖掘，以及为一些重要的任务提高效率。
实时计算平台，意即覆盖实时数据接入、存储、处理全流程基础的实时数据平台，其自助研发的实时数据接入系统，可满足各种数据源的实时采集，基于Kafka的分布式消息队列，满足数据的暂存、桥接，其工作原理是基于Storm的实时数据流处理。
（图：京东大数据平台逻辑与技术架构）
技术架构上也是随着Hadoop版本一步步升级过来的，因为不同的Hadoop版本带来了不同的技术特性。
目前的技术架构集成了Spark、Hive、Mahout、Presto、Hbase等众多的技术工具，是基于Hadoop 新版本的Yarn资源管理框架来集成的。Yarn是Hadoop体系的一个重大进步，因为它作为一个通用资源管理系统，可为上层应用提供统一的资源管理和调度。
（图：离线平台的技术架构）
为了让开源的Hadoop技术框架能更适合京东运营的实际情况，技术团队对源码做了很多的改动，这是为什么写京东Hadoop和京东Hive的原因，比如用户权限管理、多NN节点、关键目录保护及回收站保护等。
4.模块独立的模型层次
京东大数据平台从建立之初就是公司的统一数据平台，从模型层次上划分为4个层次：
BDM：缓冲数据，源数据的直接映像
FDM：基础数据层，数据拉链处理、分区处理
GDM：通用聚合
ADM：高度聚合
“京东的模型层次和传统的数据仓库模型设计是类似的，它借鉴了传统仓库的一些模式，不同的是，它很少像传统的仓库模型设计般进行范式化和打散再整合的处理。一个原因是这样做数据太庞大了，动辄上亿行的记录，传统的做法是玩不转的；另一个原因是，业务系统的设计从先天上避免了之前银行信息散落的模式，用户注册统一在一个地方，订单、仓储、配送、售后均是独立设计系统，相对来讲业务模块独立，其基本以订单为线索，串起了信息流。”
5.新的技术也在关注，这是个循序渐进的过程
“工欲善其事，必先利其器”，数据平台的目标是打造一体化、自助化的平台，围绕数据平台的管理和运营，京东开发了一系列工具来做好管理、提升效率。
（图：京东开发一体化、自助化平台）
数据工场：开发了数据抽取工具（离线和实时），允许业务部门自助配置抽取数据；开发了IDE，用于开发人员的数据查询、数据订阅需求，可连接Hadoop、Spark、Presto、JES、Hbase等数据源。数据知识是元数据管理工具，监控中心可做到对任务和机器的全面监控。
数据应用：包括了自助定制报表的工具，流量分析平台，OLAP分析工具，仪表盘工具以及用于移动端的工具（可用于任务管理、数据查看、会话、监控查看、工作任务监督等）。
运营中心：用户权限申请、审批、分配等。
实验室：主要是对一些新技术的研究和应用，数据挖掘平台用Scala实现了GBDT、LDA等算法模型，机器学习算法的研究，语音、图像识别以及文本分词和挖掘等。
（图：用户画像）
用户画像是最基础、最重要的数据分析结果之一，是精准营销、产品创新、个性化服务的基础。何为用户画像？百度解释：通过用户调研去了解用户，根据他们的目标、行为和观点的差异，将他们区分为不同的类型，然后每种类型中抽取出典型特征，赋予其名字、照片、人口统计学要素、场景等描述，使之成为一个人物原型（personas）。用户画像是动态的，是用户行为数据的真实还原，是基于场景的还原，但也可能代表了不是“真实身份”。基于用户画像的应用很多，比如搜索、推荐、EDM等，不一一列举了。
（图：个性化推荐）
个性化推荐是用户画像中一个典型应用，个性化推荐的目的是实现千人千面，打造极度的个性化商城，实现因人而异，从着陆页到个性化搜索排序都具有很强的针对性。
（图：基于大数据分析结果的反向定制生产模式）
上图为另一个应用的举例，是基于大数据分析结果的反向定制生产模式。基于用户购买商品的数据分析，可以得到用户对产品的喜好，将这些数据反馈给产品生产厂家，可以使厂家在产品的创新和设计上有的放矢，缩短产品的生产周期，减少生产成本和增加销量。这种模式应用范围很广，目前从手机扩展到其他的家电品类都适用。类似的数据产品还有数据罗盘和供应商罗盘。数据产品是数据变现很好的一种方式，数据罗盘能让一个产品每年给京东带来超过千万的收入，这还是初期阶段。
基于用户购买行为和地理位置的分析，可以对城市的商圈和生活圈做精确定位，数据可提供给商家使用，有助于商家根据所处的商圈及购买人群调整自己的定位和货品，店面选址等。类似的例子有很多，如产品动态定价、减少拆单、配送路径优化等，都是基于大数据分析的应用。
（图：打造一体化、弹性化、自助化的数据平台）
打造一体化、弹性化、自助化的数据平台，是运营的一大胜利法则。
平台的服务水平和能力包括以下几点。服务标准：建立服务标准，基于SLA的服务目录和等级建立，规范模型、数据质量、权限等。服务能力：提升服务能力，通过大数据专家认证培训平台使用人员，经过认证的人员才能开通使用权限，保证平台使用的可靠性，并通过提供一站式的服务平台，让用户可以自助完成数据源接入、报表定制、数据订阅、数据查询等工作，解放数据平台人员的工作压力，研发平台化产品和新技术，如数据挖掘平台、深度学习算法等，提高技术水平，促进工作效率。控体系：庞大的机器集群，维护绝对是个非常严重的问题，上万台机器和几十万的任务数量，如果没有一个完整的监控体系，维护起来相当吃力，大数据平台搭建了完整的监控体系，对机器的CPU、内存、存储、端口存活、任务状况等数据进行收集和分析。
结合京东的数据平台的工具/产品进行定期的运营报告加以分析，大数据认证是为了提高应用大数据平台的人员能力和水平，也是生态体系建设的一个重要方面。
（图：京东的数据平台的工具/产品进行定期的运营报告）
（图：集群监控的一些节目）
包括集群监控的一些节目，以下为其界面，清晰有序。
（图：集群监控节目界面）
“毕竟运维是大数据平台中非常重要的一个环节，面对上万台机器和几十万的任务，如果没有一个好的制度和体系，那绝对是灾难性的。”架构师赵国梁如是说。
嘉宾与群友问答集锦
经过“大圣众包”服务号诚邀的京东大数据平台部知名架构师赵国梁深入浅出的讲解后，终于来到群友们期待已久的发问时间。
问1：集群负载均衡用的什么？
答1：service的负载均衡。
问2：有没有用nginx?
答2：ngnix主要用于Web。
问3：机器学习这块用了些啥？r？python？还是直接写java？
答3：机器学习用的是Python和Scala。
问4：传统企业的精准营销等数据应用还是业务方主导或者是要靠业务端支持才能做下去的，京东现在的数据应用是数据驱动的还是业务提出的想法呢？
答4：目前每个业务部门有自己的数据分析团队，我们平台本身也有数据分析团队。
问5：提数需求如何满足?
答5：数据订阅可以在IDE工具完成，或者专门的提数由人员对接来提供。
问6：能都解释下什么时候用python？什么时候选择scala？
答6：现在一般都用spark性能比hadoop好很多。
问7：目前hadoop 的稳定性如何？
答7：稳定性还可以，也会发现Hadoop体系本身的一些BUG，都靠改源码或者通过其他途径来避免。
问8：京东现在有多少Hadoop 数据节点？单机配置如何 ？
答8：现在的节点数大概在万台左右。
问9：能讲讲京东的HA这块么？
答9： Hadoop是文件系统，数据是以文件形式存储的。而且，Hadoop本身是一个完整的体系，资源调度管理，都有它本身的技术架构来解决。
（图：Hadoop是文件系统）
PS：特别致谢群友“傲骨”童鞋无偿提供本场沙龙笔记，叩谢！
期待大家自荐或推荐在线沙龙的主题和人选，微信联系bigbigsage
下期登场嘉宾可能是你或TA！
越分享，越成功！
责任编辑：
声明：该文观点仅代表作者本人，搜狐号系信息发布平台，搜狐仅提供信息存储空间服务。
大数据与商业智能领域IT人的专属威客平台，找最有逼格的DT威客，交给大圣！
一键上传简历注册，IT类兼职不再难找。
今日搜狐热点}