网易杭州研究院执行院长汪源：十余年大数据凝结成“网易云”

网易汪源大数据网易云

汪源 | 2016-07-19 09:51

【数据猿导读】日前，网易杭州研究院执行院长汪源应邀出席了在上海举办的WAW大会。面向近400位与会者，汪源首次深入解密了网易在大数据分析领域的发展历程

作为国内最早诞生的互联网公司之一，网易在过去十余年的产品研发、孵化和运维过程中，各个部门对数据有着不同且繁杂的需求。而如何把这些繁杂的需求用统一的手段来解决，网易在大数据分析方面同样进行了十余年的探索，并自去年开始通过“网易云”将这些能力开放出来，推出了一系列面向B端企业客户的云服务产品。

从起步到整合，“平台化”让网易大数据分析进入全新阶段

“如何梳理数据、处理数据、提高数据分析的效率，这是网易一直思考的问题。”为此，汪源将网易大数据分析之路划分为的初步阶段、起步阶段和整合阶段。

在2008年之前的初步阶段中，网易和国内的大部分公司一样，使用传统的方法进行数据统计。2009和2010这两年的起步阶段可以说是网易大数据分析的“初体验”，当然，这也与网易及国内整体互联网行业的快速发展密切相关。据汪源介绍道，正是因为面对海量的业务数据，网易开始尝试引入Hadoop等成熟的开源技术来解决数据存储和计算的瓶颈。

从2011年开始，针对在前一阶段中数据格式不规范、产品接入成本高、计算任务不稳定等突出问题，网易开始走上大数据分析的整合阶段，其中最显著的变化便是整合、规范各类采集机制、指标体系等等，将数据分析“工具化”，以适应产品、设计、运营和市场等不同场景。

在经历全面整合的阶段之后，“尽管将数据分析进行‘工具化’，问题依旧无法全部解决，个性化的数据需求以及灵活的多维分析难以完全满足，数据分析的“平台化”开始被提出并让网易的大数据分析进入了全新的阶段。”汪源介绍说。

十年磨一剑，平台化产品逐渐成型

2014年以来，网易开始加速大数据分析的平台化发展，以提高数据获取速度，提升数据分析效率，更快发挥数据价值。汪源在现场着重向与会人员介绍的“网易猛犸”与“网易有数”两大数据分析平台就是在这个阶段逐渐成型的。

对于很多企业而言，大数据虽然看起来很美，却又面临着数据孤立，需求反馈周期长的问题。汪源介绍说，“网易猛犸大数据平台可以实现从各种不同数据源提取数据，同步到内核存储系统，同时对外提供便捷的操作体验”。据悉，现在每天约有130亿条数据进入网易猛犸平台，经过数据建模和清洗，进行数据分析预测。

网易的另一大数据分析平台，网易有数则可以极大简化数据探索，提高数据可视化方面的效率，提供灵活报表制作等，以帮助分析师专注于自己的工作内容。此外，网易有数在二维空间通过综合运用分区块、颜色、大小等标识，展示多维数据，推动数据文化落地，有利于管理层和业务人员的自助分析。

未来设想：融合大数据处理平台

在演讲最后，汪源对未来大数据平台进行了展望。他认为，从网易大数据分析发展历程的第三阶段开始，抽象数据的层次已经很高。进入第四个阶段，网易希望能够开发出更基础的大数据处理平台。

大数据分析面临着各种挑战，既有集成、计算和分析等老问题，同时也有新的挑战，诸如数据量多样性、数据类型多样性、需求多样性等等。面对这些问题，汪源对网易大数据分析平台未来的解决方案做了设想：“回归到计算机软硬件设计的基础，各类计算机应用场景，总线和组件的标准是统一的。从底层基础开始，设计大数据平台的数据集成、计算和分析，开发出融合大数据处理平台，从而满足未来遇到的各种个性化的数据分析需求。”

网易云：网易技术服务能力的全面开放

从网易大数据发展的历程来看，基于杭州研究院10年的技术积累，网易已经具备了成熟的互联网产品技术体系，并且有力的支撑了网易云音乐、云课堂、易信、LOFTER、公开课等产品的发展。

汪源表示，网易云将会把这些能力开放出来，提供给更多的用户使用。比如网易易盾作为网易云推出的极速智能反垃圾云服务，其依托的便是网易的大数据和云计算服务，提供文本过滤、图片识别、语音分析、视频检测等服务，帮助企业和开发者实现对垃圾有害信息的实时过滤、精准拦截。

除了网易易盾，从去年开始，以网易技术服务能力的全面开放为初衷，网易云还陆续发布了网易云信(即时通讯云服务)、网易七鱼(全智能云客服)、网易视频云、网易蜂巢(容器云)、网易云捕(质量跟踪平台)一系列的产品，并从研发云、运营云、运作云的角度对云服务进行了重新的划分。不难想象，随着网易在云计算、大数据等方面的研发积累日渐成熟，将会有更多样的云服务出现。

来源：网易

收藏分享

声明：数据猿尊重媒体行业规范，相关内容都会注明来源与作者；转载我们原创内容时，也请务必注明“来源：数据猿”与作者名称，否则将会受到数据猿追责。