中国金融电脑――2016年7月――金网在线
当前位置： &
创新是破解大数据“黑盒子”的“密钥”――农业银行在数据价值挖掘应用领域的思考与实践
　　中国农业银行软件开发中心总经理&& 蔡钊
　　大数据时代，银行业面临着一场经营方式上的变革，大数据既为银行创造了深化客户挖掘、加快产品创新的广阔空间，同时也催生出很多新的金融业态来直接瓜分商业银行市场，对传统的银行业带来巨大的冲击。在这样的背景下，挖掘利用大数据的能力将成为决定银行竞争力的关键因素。可以说，谁能从大数据中摄取更多“养分”，谁才更有可能在这场看不见硝烟的“战争”中坚持到最后。
　　然而，从大数据中发掘“大价值”并非易事。大数据时代，数据的体量越来越大、结构越来越多样、增长速度越来越快、数据之间的关系越来越错综复杂。面对令人眼花缭乱的数据资源，只有深度挖掘才能提炼出隐藏其中的价值奥秘。但这如同在浩瀚的数据大海中找到一方价值宝岛，是破解数据之谜的关键，也是难点所在。
　　农业银行紧跟大数据时代的步伐，以信息化银行建设战略为指导，在大数据技术体系建设及分析挖掘应用方面进行了大量实践，并取得一些成效。总结经验，我们认为要破解大数据价值应用的难题，需要把握“一个目标、两个问题、三个环节、四个创新”。
　　探秘大数据：一个目标、两个问题、 三个环节、四个创新
　　面对大数据，一个目标就是“充分发挥大数据的综合价值，将数据转化为推动业务持续发展和经营管理改革的生产力”。要实现这一目标，必须解决好两个问题：在技术上，如何构建开放、融合、高效、稳定的技术平台体系，实现海量异构数据的采集、处理、存储、分析、应用及治理，也就是要具备驾驭大数据的技术本领;在管理上，如何形成一个良好的、深度融合的、有机闭环的数据价值应用体系，实现数据价值落地应用、反馈后评价、迭代优化及不断提升的完整闭环，也就是要具备消化吸收大数据价值的综合管理能力。
　　围绕着一个目标和两个问题，我们进一步分析从数据到生产力的转变过程(如图1 所示)，主要有三个环节：从数据到知识(从无序到有序)，从知识到价值(从有序到增值)，从价值到生产力(从增值到持续发展)。那么，谁是推动从数据到生产力这一流程的“无形的手” 呢?答案是“创新”。
　　农业银行林晓轩副行长要求全行科技工作做到“四个新”：“新技术、新机制、新思维、新人才”。其实，这四个“新”也恰恰是破解数据价值应用难题的四把“钥匙”：充分利用大数据、云计算、分析挖掘等新技术，搭好平台、建好系统、提供服务、做好支撑，有力推动数据向知识的转变;不断建立数据价值在生产经营中落地应用的新机制，有力推动知识向价值的转变;逐步形成“用数据说话”的精细化管理新理念和企业级数据文化，有力推动价值向生产力的转变;强化培养懂业务、懂技术、懂数据的复合型新人才，打造全行的数据分析师团队，为数据价值深度挖掘及综合应用奠定坚实的人才基础。
　　农业银行以四个“新”为指导思想，逐步构建全行数据价值挖掘应用的生态环境。
　　探索新技术， 做好数据挖掘应用的基础平台支撑
　　农业银行积极探索创新，借鉴同业先进经验，吸收业界前沿技术，搭建了具有农业银行特色的大数据技术体系，磨砺了两把神兵宝刃――“屠龙刀”大数据平台与“倚天剑”分析挖掘平台，前者用于大数据处理，后者用于大数据挖掘，双刃合璧，把纷乱如麻的大数据化繁为简、理出头绪。
　　大数据平台通过国产MPP 数据库与Hadoop 技术深度融合，搭建了高性能、大容量、并行可扩展、自主可控的云计算环境。MPP 数据库主要处理海量的、长历史周期的、复杂业务逻辑的行内结构化数据，Hadoop 技术框架采用了HFDS、MapReduce、HBase、Kafka、Storm、Hive、Spark 等多个组件，主要完成海量数据备份、非结构化数据处理、流数据处理、大规模批量作业及复杂分析等功能，两者的完美融合既能优势互补、发挥所长，又能满足不同场景下异构复杂数据处理的不同需求。比如传统数据库处理热数据、MPP 数据库处理温数据、Hadoop 处理冷数据，再比如Hadoop 完成数据文件清洗转换、MPP 数据库完成仓内数据模型化，实现计算性能和研发效率的最大化。依托大数据平台，农业银行具备了PB 级结构化数据、EB 级非结构化数据及实时流数据的处理能力，实现了行内核心数据的全覆盖、行内与行外数据的有效融合、结构与非结构化数据的统筹处理，打好了数据价值挖掘应用的基础。
　　分析挖掘平台按照“面向用户、多态开放、虚拟化、云服务”的指导思路，搭建了融合SAS、Spark、R、Python 等多种数据分析技术的计算框架，实现了算法选型、变量处理、模型驯化、测试评估等分析挖掘全流程支撑, 集成了丰富的模型库、高效的计算引擎和便捷的操作工具，为用户提供了多实验场景、流水线作业、组件化模型和立体式服务。依托数据分析挖掘平台，农业银行具备了PB 级海量异构数据并行计算及大数据云挖掘的能力，有效支撑了业务深度挖掘的需求，打破了传统数据分析技术瓶颈，实现了诸多“不可能”。如利用Spark 技术实现了海量数据、复杂挖掘算法的并行处理，基于大量的、长历史周期的行内个人客户交易数据及属性信息可以快速建立“社交网络”，近3 年约3TB 的网银交易流水10 分钟完成处理，高效、准确地识别特定社群，开展集中营销、疑似恐怖融资风险分析等;基于Storm 实时流计算技术，可以实现对交易数据的实时处理，处理延迟达到ms 级，每秒处理数据量可达40 万笔，有效支撑实时反欺诈监控等业务应用场景;基于Hadoop 环境下的行外非结构化数据分析，可以采用文本向量空间模型、文本聚类等技术，实现大数据舆情监测分析，为经营管理和产品优化提供信息参考。
　　大数据技术体系搭建的过程中，技术创新是贯穿始终的一条主线。农业银行坚持“面对新问题、采用新技术、总结新路子、搭建新平台”的思路，在大数据基础架构、计算环境、数据模型、配套工具、服务应用、分析挖掘、运维保障等方面做出了大量创新实践，并得到了业界的认可，“国产MPP 架构数据库在金融业大数据计算环境中的研究和实践”获得人民银行科技发展二等奖，应邀多次在人民银行、工信部主办的大数据论坛中分享经验。实践经验表明，采用大数据发展的新技术，并结合自身实际消化吸收、为我所用，是打好数据利用基础的关键。
　　摸索新机制，打造分析挖掘落地应用的生态闭环
　　大数据技术体系推动了数据向知识的转变，但分析挖掘的成果只有落地应用才能产生真金白银的价值。现实中，由于传统“部门银行”的思维方式，存在职能边界僵化、业务流程割裂等情况，影响了数据价值的发挥效果。举例来说，通过分析挖掘找到精准营销的客户群体，但如果产品创新和业务策略调整跟不上，就会导致精准营销不精准。所以说，创新工作机制是数据产生价值的保障，是提升大数据综合运用能力的关键。
　　数据分析挖掘及落地应用的新机制，可以总结为“三个融合、两个闭环、一套流程、一个保障”。“三个融合” 指的是不同业务领域融合、业务与技术融合、总分行融合，通过数据壁垒的打通及分析应用的整合打造流程银行，通过业务经验与数据规律的双向驱动让分析挖掘真正解决业务问题，通过总行与分行的有机联动让数据挖掘应用着眼一线、接地气。“两个闭环”指的是，技术上形成“源数据- 分析挖掘- 应用建设- 数据反馈”的IT 闭环，体系上形成“数据挖掘形成成果- 产品创新及管理优化- 持续监控及反馈评估- 综合考评及优化提升” 的管理闭环。“一个流程”指的是，建立一套与分析挖掘落地应用整个生态闭环相适应的流程、制度和规范。“一个保障”指数据全生命周期管理，包括落地数据标准、强化数据治理、监控数据问题、统筹数据使用等，目的是提高数据海洋的“清澈度”(数据质量和规范性)，有效降低“海中寻宝”的难度。
　　机制上的创新联合技术上创新，可以有效地推动数据价值的最大化，为生产经营管理带来意想不到的科技“红包”。如通过分析挖掘平台和个人营销管理系统的有机联动，以及配套的零售产品创新机制及个性化营销策略，农业银行动态实现了目标客户识别、客群划分、客户偏好分析、产品匹配、营销管理、考核及后评价等业务流程创新，在信用卡交叉营销、基金精准营销等多个实际应用中获得了近300% 的同比营销响应率。再如， 通过分析挖掘技术创新与信贷管理机制创新的结合，农业银行构建了小微企业风险预警模型及优农贷模型，模型的有效性达到70.94%，实现贷前识别优质客户、贷中动态评价客户、贷后及时监控并做好风险预警，为小微企业、三农客户的信贷管理开辟了新路子。
　　打造新思维，逐步形成以数据说话的企业文化
　　大数据不只是一种技术、方法和工具，更是一种思维方式。
　　通过技术创新和机制创新可以实现从数据到知识、再到价值的转化，但若要进一步转变为持续发展的生产力和基业长青的竞争力，就必须在思维方式上和企业文化上进行“洗礼”：需要认识到互联网和大数据给传统银行业所带来的挑战与机遇，要思考在经济下行、利差收窄、风险攀升的经济金融环境中如何借助数据价值寻找新的增长点;需要真正形成“用数据说话”的经营管理文化，大力推动从“基于经验”的粗放式管理向“基于数据”的定量化、精细化的经营决策方式转变;要坚持互联网思维，以“创新的速度、使用的易度、覆盖的广度、应用的深度”来重新审视金融产品，并推进金融产品的变革。
　　大数据思维的不断深化，带来的是全行产品创新能力、数据服务能力和价值创造能力的全面加强。以产品创新为例，农业银行依托大数据技术体系，通过对客户信息、交易信息、资金信息、物流信息等数据的整合应用和深度分析，在互联网金融三大平台中逐步推出数据网贷、网捷贷、快农贷等一批创新产品，为客户提供“管家式”的新型信息服务。再以经营决策“数据化”为例， 农业银行依托大数据分析挖掘平台，整合行内外各类信息，建立客户、产品及经营热点多个维度的动态监控、深度分析和报告机制，为经营管理决策提供参考，也成为传播数据文化的载体和贯彻“数据治行”经营理念的重要抓手。
　　培养新人才，为数据价值应用注入不竭的活力
　　大数据时代，掌握数据分析能力的新人才团队将成为企业核心竞争力的基础。就数据挖掘应用而言，新技术、新机制、新思维都要通过新人才才能发挥作用，从数据到生产力的各个环节，都离不开人的能动作用和创造力。数据本身不会主动“说话”，要让它说出来、说得对、说得好，就需要数据分析师发挥聪明才智、做好工作。就像一块美玉需要经过采矿、选石、锻造、雕琢、打磨等环节方能现其本色，数据只有经过数据分析师的加工处理、分析挖掘、测试验证、监控评价等过程，才能彰显数据价值的巨大威力。所以，数据分析师人才培养及队伍建设是数据价值挖掘应用基础中的基础、关键中的关键，正所谓“千金易得、一将难求”。
　　农业银行非常重视数据分析人才的培养，通过三个着力点和四个落脚点开展工作。三个着力点是指“人才、队伍、模式”：培养一批懂业务、懂数据、懂技术、懂分析、会创新的复合型人才，打造涵盖总分行各业务条线、业务技术相融合的数据分析师团队，结合数据挖掘应用的特点探索创新团队组织模式、项目建设模式及工作开展模式。四个落脚点是指“选拔、培养、发展、留住”：通过内部人才储备库及定期岗位双选、外部专业人才引进等方式识别、选拔人才，通过专题分析挖掘实践与多层次的培训交流相结合培养、锻炼人才，通过个人能力偏好与岗位的良好匹配、与贡献相对等的绩效考核方式及畅通的技术晋升渠道等使用、发展人才，通过中坚科技人才激励、优秀项目实践奖励及价值导向的动态薪资机制等吸引、留住人才。最终实现为全行数据价值应用能力的全面提升，注入源源不竭的人才资源和创新驱动力。
　　展望未来，农业银行将深入贯彻信息化银行建设的战略部署，以“新技术、新机制、新思维、新人才”的战略要求为指导，持续推动数据价值深度挖掘应用，通过大数据优化银行流程、高效配置金融资源、有力推动产品创新、敏锐洞察客户需求并为客户创造最佳服务体验，让数据产生价值，让数据“为懂它的人说话”，让数据转化为持续发展的生产力，为农业银行业务发展和经营管理提供强大的科技引擎。
Copyright &copy 2005 Fcc.Com.Cn, All Rights Reserved. 中国金融电脑杂志社版权所有
Tel:010- Fax:010-
京ICP备号-1　京公安网备：21　技术支持：您所在位置： &
&nbsp&&nbsp&nbsp&&nbsp
QAR的深度挖掘和应用【参考】.doc 63页
本文档一共被下载：
次 ,您可全文免费在线阅读后下载本文档。
下载提示
1.本站不保证该用户上传的文档完整性，不预览、不比对内容而直接下载产生的反悔问题本站不予受理。
2.该文档所得收入(下载+内容+预览三)归上传者、原创者。
3.登录后可充值，立即自动返金币，充值渠道很便利
你可能关注的文档：
··········
··········
QAR的深度挖掘和应用
Flight data to investigate the cause of the accident flight the main basis. In this paper, the flight data recording system in accordance with the development process, application and development of the General Administration of Civil Aviation of China in the discussion. And for the actual situation of China's civil aviation on the quick access recorder, as well as the engineering and technology in China's civil aviation to understand a situation analysis of the use of surveillance data analysis, we found the incident overrun. Of flight data during the flight to quality control to ensure the quality of the implementation of the flight plan, engine condition monitoring and fault diagnosis based on data such as monitoring the actual role. Sure that the flight to quality control to ensure flight safety in the role, and for individual companies have done in flight quality inputs and made available for evaluation and comparison of results.
Key words：Flight safety
QAR(Quick Access Recorder)
Transfinite events
Early-warning management
1.1 研究的目的和意义 2
1.2 研究的国内外现状 3
1.2.1 国外研究现状 3
1.2.2 国内研究现状 4
1.3 研究的方法和思路 4
关于QAR的工程技术状况分析 6
2.1 QAR简介 6
2.2飞行品质监控的数据处理系统 7
飞行数据的记录 8
飞行数据的记录格式 9
飞行数据的译码系统 11
2.3 设备状况 14
2.4 地面数据分析系统 15
QAR飞行品质监控的流程及目标 18
3.1 QAR飞行品质监控的流程 18
3.2 我国某航空公司QAR的施行情况 26
基于飞行性能的超限事件参数研究 29
4.1 起飞阶段飞行性能及超限事件特征参数分析研究 29
4.1.1 主要性能及其影响因素分析 29
4.1.2 起飞阶段可能发生的超限事件及其特征参数的选取 32
我国民航飞行品质监控的应用现状 34
5.1 QAR在我国民航的应用和发展情况 34
5.2 利用飞行品质监控进行预警管理的思路 35
第六章 影响B-737-800机型运行安全的主要超限事件 36
B737-800机型接地距离长三级超限特点、原因分析及应对策略 36
6.２　B-737-800机型重着陆分析及应对措施 44
B-737-800机型起飞/着陆擦机尾/尾撬分析 45
结合QAR译码对飞机故障进行诊断 53
7.1 结合QAR译码巡航报告进行发动机性能故障诊断 53
7.2 空调引起故障诊 54
主要参考文献 57
（1）飞行品质监控的概念，并提出了飞行品质监控的重要性。
（2）飞行品质监控的数据处理系统。分别介绍了飞行品质监控的数据记录系统、数据格式和数据译码系统。
（3）飞行品质监控技术的实施与应用。介绍了FOQA计划以及FOQA在我国的实施现状和应用。
（4）飞行品质监控在机务维修中的应用。着重研究探讨发动机状态监控技术的应用和飞行品质监控技术在当今机务维修中的重要作用。
（5）QAR数据的深度挖掘
正在加载中，请稍后...【比特盒子怎么样？】-看准网
公司地址 深圳公司介绍
比特盒子点评
还没有老鸟分享过该公司点评
如果你在这里工作过，只需几秒分享你的经历，帮助更多求职者
你可能感兴趣
问公司的人员流动性大吗？是否适合长期发展？
工资低，工资太低了。
体制僵化,官大一级压死人,升职靠手段开始变相裁人了，这是最近
问公司有年终奖吗？一般什么时候发？能发多少？
公司各项福利待遇都还不错，适合推荐朋友来此工作。
问你是否愿意推荐朋友来这里工作？原因是什么？
愿意 对于刚毕业的小白型人士可以来这边学习 ，对自己来说算上
问公司考勤制度怎么样？（年假、单双休、加班、调休情况等）
公司的考勤比较人性化，不需要打卡，如果有事情，直接跟领导打个
在比特盒子工作过么？
给TA打个分吧！
对这里感兴趣，你可以：
向该公司老鸟提问
比特盒子点评：想知道比特盒子怎么样？看准网(Kanzhun.com)免费提供比特盒子招聘、比特盒子工资、比特盒子面试、评价、工作环境招聘及员工等比特盒子的信息。
内容索引：
优秀公司：
行业公司：
关注看准官方微信
下载看准官方APP
关注看准官方微信
下载看准官方APP
爆料数十万公司信息爆料
互助职场人在线互动
工资公司实际工资查看
改简历专人改简历提高工资
老鸟私聊求助能挣钱
输入手机号，下载看准APP
扫码下载看准APP或各大应用商店搜索：看准
广告等垃圾信息
违禁信息（色情、欺诈、非法传销）
不友善内容（诽谤，人身攻击、骚扰、侵犯隐私）
违法、政治敏感内容
感谢您的举报，我们会尽快处理~
订阅公司信息
订阅成功！
向老鸟咨询
把你关于比特盒子的问题大胆的提出来，这里的老鸟很乐意为你解答～
写下问题吧~
提交成功！请静静等待老鸟们回答~
扫描二维码分享到朋友圈，邀请微信好友帮忙解答
小贴士：问题描述的越清楚，越能吸引老鸟来回答哟~
请输入问题
下载看准APP
立享畅读全站爆料(window.slotbydup=window.slotbydup || []).push({
id: '2014386',
container: s,
size: '234,60',
display: 'inlay-fix'
&&|&&0次下载&&|&&总65页&&|
您的计算机尚未安装Flash，点击安装&
阅读已结束，如需下载到电脑，请使用积分（）
下载：30积分
7人评价18页
4人评价70页
0人评价20页
15人评价92页
0人评价53页
所需积分：（友情提示：大部分文档均可免费预览！下载之前请务必先预览阅读，以免误下载造成积分浪费！）
（多个标签用逗号分隔）
文不对题，内容与标题介绍不符
广告内容或内容过于简单
文档乱码或无法正常显示
文档内容侵权
已存在相同文档
不属于经济管理类文档
源文档损坏或加密
若此文档涉嫌侵害了您的权利，请参照说明。
我要评价：
价格：30积分VIP价：24积分}