链家网架构师吕毅：链家网大数据平台的架构演进

链家网吕毅大数据架构演进

吕毅 | 2016-11-09 10:45

【数据猿导读】技术角色都是工程师，高级、资深与架构，只是对工程师能力的一种认可。既然都是工程师，工作内容的变化不大，还是以研发工作为主。只是随着阶段递进，需要承担的责任越大，这需要不断提升自己与同事的技术能力，优化解决问题的方法，来支撑好本职工作

记者：请先和大家介绍一下您和目前所从事的工作以及关注哪些技术领域？

吕毅：大家好，我目前负责链家网大数据平台建设，也就是大家常说的 Data infrastructure 相关的工作，目标是通过技术手段，面向全公司提供平台化工具化的大数据服务，提供数据全面并使用便捷的数据分析、数据获取的平台。

平日里，我一方面会关注开源项目，以及它所能构建出的能力；另一方面比较关注技术解决方案与架构变迁，关注公司内、行业内如何通过技术手段解决实际业务问题，以及架构改造引入的成本与带来的好处。

记者：您在新浪、百度等大公司都供职过比较长的时间，可否谈下您此前公司的感受？

吕毅：这两段工作经历都帮助我获得了全方面的成长。在新浪平台架构部期间，会接触各种技术方向的工程师，开阔了技术视野的同时，也体会到了技术驱动型项目的开展方式。在百度期间，一直在手机百度这款移动 APP 的服务端团队做研发工作，因为属于业务团队，接触的项目角色多且项目节奏快，提升了我综合能力的同时，也对项目管理与工作流程有了清晰的认识，特别是我在百度的中后期，主导一些跨团队的平台服务建设，提升了不少架构设计的能力。

综合来看，技术方面一直在成长，技术外的部分在不同阶段有不同的收获。

记者：您已经在链家网工作一年多，能够谈下作为一名技术人员的你，当时为何选择链家网？

吕毅：我一直青睐开创中的团队。毕业时选择新浪 SAE，是 SAE 刚刚创立不久，并且在那时是国内第一家 PaaS 平台。之后选择手机百度 APP 团队，是因为那时的手机百度整体还是三四十人的小团队，太多移动领域的挑战需要去解决。

在去年，链家网刚搬到西二旗办公不久，那会链家网整体一百多人，这个垂直领域同样有太多技术工作待开展，迫切需要有效的线上解决方案来改善房产交易。正是这些技术挑战，吸引着我选择了链家网。来链家网工作已一年多，实现了很多技术项目，产生价值的同时也验证了我之前的想法。

记者：此外，作为一名技术人员，您至今成为了一个团队的技术负责人，能够谈下在做工程师、高级工程师、架构师，其中的变化有哪些？尤其同时负责技术与管理时，有什么心得和体会可分享？

吕毅：在我眼中，技术角色都是工程师，高级、资深与架构，只是对工程师能力的一种认可。既然都是工程师，工作内容的变化不大，还是以研发工作为主。只是随着阶段递进，需要承担的责任越大，这需要不断提升自己与同事的技术能力，优化解决问题的方法，来支撑好本职工作。

随着负责的项目越多越重要，与自己一起做事的同事会多起来，今年初我们还是7人团队，管理与研发工作的比例大概是1:2，如今我们已是16人团队，我的管理与研发工作比例已是1:1。期间感受是，给予团队成员技术提升空间的同时，也应给予骨干成员管理工作锻炼的机会。一些小组内的工作他们可以直接决策，我会与他们做好及时同步。这可以避免我过度关注细节，也可以帮助成员全面成长，同时也是梯队建设的过程。我还是希望有些精力开展技术攻坚，带领团队凌峰再登高。

记者：从工程师到架构师的转变需要做好哪些准备呢？

吕毅：回答这个问题显得有些卖弄，简单两点吧。

第一点是技术规划，工程师时更关注当下问题，而架构师除了当下，还需要及时规划好半年到一年的事情，把半年内的技术架构设计清楚，达到可执行状态并有效落地，并且逐步去接近一年的目标。这需要工程师锻炼自己的技术规划、方案设计与前瞻性能力。

第二点是关注细节，工程师阶段常常完成手头任务即可，很少理解实现细节、有无更优方案、背后原理这些刨根问题的问题。而架构师则需要设计出架构的同时，看的出整体项目的关键环节，并有能力详细设计与实现这些环节中的细节。架构不太容易出太大偏差，但成败往往由细节决定。

好了，只说两点吧，有宏观的规划与微观的细节，不发散了，若展开详细讲，我看能写本书了。

记者：链家网大数据部门已经成立一年多，缘何会成立这样的一个部门？

吕毅：链家已经成立十五年，线下经纪人13万名，围绕的线下房产交易，有大量的运营需求需要数据支撑，分城市、分商圈、分门店的情况都需要细分。所以，在链家网成立初期，集团运营数据需求就已经有了，故在2015年初就搭建了第一套系统来支持数据报表，逐渐围绕着上层需求，构建起了链家网大数据架构。也是在那时，成立的大数据部门，为公司做好数据支撑。

记者：目前该团队主要支持公司哪些业务？以及改变了什么？

吕毅：我们目前数据分析方向上支持的团队有运营体系、研究院、内容体系、市场部门、数据开发团队，以及各业务线数据分析 PM。数据产品方面，我们面向用户的产品链家网、掌上链家 APP 中的数据频道、趋势数据是由大数据团队做数据与技术支持，面向内部的房客管理、客源情况数据也是基于大数据的数据应用产品。

记者：能否简单分享下当前的大数据平台的架构演进？

吕毅：链家网大数据从最初的技术支持报表需求，到年初的技术实现自助报表需求，到现在的技术搭建平台提供数据分析、数据获取服务，这正是链家网大数据这一年多所经历的，其中涉及到的架构变迁、新技术方案的引入、大数据平台化等等，这里提供一张我们一两个月前的设计图。

图1：链家网大数据平台

我们在三个月前开始着手规划链家网大数据平台，从目前链家网大数据应用的需求为主，设计了上图中的几大部分。最上层提供数据服务，包括数据分析服务与数据 API 服务。中间构建大数据工具链，提供 OLAP 引擎、AdHoc 引擎与调度引擎，底层是集群部分，目前技术选型以开源为主，旁路的我们在做集群安全与集群调度工作。贯穿上中下三部分的数据管理，涵盖应用层的权限管理、全公司元数据与指标的管理平台、调度任务管理和集群权限管理。

【作者简介】吕毅，链家网大数据平台架构团队负责人，链家网架构师。2015年8月加入链家网，之前负责过链家网基础服务平台建设。曾供职于百度移动云事业部（2012~2015），新浪平台架构部 SAE（2010~2012）。

来源：CSDN 大数据

收藏分享

声明：数据猿尊重媒体行业规范，相关内容都会注明来源与作者；转载我们原创内容时，也请务必注明“来源：数据猿”与作者名称，否则将会受到数据猿追责。