数据科学家VS数据工程师，谁是你的真实身份？
Kesci数据实践 | 2016-08-08 15:10
【数据猿导读】 随着大数据的出现，企业和研究中心开始出现新的角色，即数据科学家和数据工程师。很多人经常把二者混为一谈，实际上，他们在专业背景和技能上区别多多。身为大数据从业者的你，知道他们有哪些区别吗
“数据科学家”和“数据工程师”可能是新的职位名称，但其核心的工作角色已经存在了一段时间。传统上，我们把进行数据分析工作的人称作“数据分析师”，而把那些创造支撑数据分析后端平台的人称做 “商业智能(BI)开发者”。
随着大数据的出现，企业和研究中心开始出现新的角色，即数据科学家和数据工程师。
在日常工作中，数据科学家与数据工程师，二者常常被混为一谈，而实际上，他们在专业背景和技能上区别多多。身为大数据从业者的你，知道他们有哪些区别吗?
»数据分析师：
编程 ★★★★
沟通 ★★★
创新 ★★★
数据分析 ★★★★
其他能力 ★★★
所谓数据分析师，指的是那些可以挖掘、处理数据，提供报告，进行数据可视化处理的专业人士，他们在组织中有着十分丰富的数据经验。数据分析师可以熟练利用现有的工具和方法来解决问题，从而帮助整个公司的人了解具体的查询数据，并在完成点对点汇报与图表方面驾轻就熟。
然而，有趣的是，他们本身并不处理大数据，一般也不具有开发新算法来解决具体问题的数学或研究背景。
技能及常用工具：
统计建模 数据清洗 数据可视化 探索性数据分析 Excel SPSS SAS Modeler SQL Access Tableau SSAS。
»商业智能开发者(BI开发者)：
编程 ★★★
沟通 ★★★★
创新 ★★★★★
数据分析 ★★
其他能力 ★★★★
商业智能开发人员其实是数据专家的一种。与其他数据专家相比，商业智能开发人员与企业内部的人员有着更加密切的交流，他们更懂得报告的需求——收集需求，进行设计，然后完成商业智能的开发并将结果上报给公司。他们需要设计、开发、支持现有及未来的的数据仓库，包括ETL包，cubes，仪表板和分析报告等。
此外，他们的工作也与数据库密切相关。作为一名合格的商业智能开发人员，他们必须具备出众的SQL开发能力来整合不同来源的数据。商业智能开发人员需掌握大量技能，以满足企业广泛的自我服务需求，但商业智能开发人员通常不一定擅长数据分析。
技能及常用工具：
ETL 开发报表 业务对象设计 画面 仪表工具 OLAP cubes Tableau SQL SSAS SSIS Web intelligence
»数据工程师：
编程 ★★★★
沟通 ★★★
创新 ★★★★
数据分析 ★★
其他能力 ★★★
所谓数据工程师，指的则是那些为数据科学家们提供基础“大数据”的人。简而言之，他们是设计、建造、整合各种数据资源并管理大数据的软件工程师。除此之外，他们还要基于大数据编写复杂的 queries，确保它们容易访问，运行流畅，因此他们的主要目标是优化公司大数据生态系统的性能。
他们同时也可能在大数据集的基础上运行一些ETL(提取，转换和加载)和创建大数据仓库，以便于数据科学家撰写报告和进行分析。除此之外，因为数据工程师更专注于设计和架构，他们通常不擅长机器学习和大数据分析。
技能及常用工具：
Programming Hadoop MapReduce Hive Pig MySQL MongoDB Cassandra Data streaming NoSQL SQL
»数据科学家：
编程 ★★★★
沟通 ★★★★
创新 ★★★★★
数据分析 ★★★★
其他能力 ★★★★
数据科学家是二十一世纪的炼金术士：他们洞悉原始数据，从而进行转化。数据科学家利用统计、机器学习和分析方法来解决关键业务问题，帮助公司将大数据量化为有价值、可操作的见解。
事实上，数据科学本身并不是一个新领域，但它可以被看做是数据分析的前景——一个被机器学习和计算机科学所驱动的时代。换句话说，与“数据分析师”相比，数据科学家除了数据分析技能之外，一般也拥有较强的编程技能、设计新的算法的能力、处理大数据的能力以及其他领域知识的一些专业知识。
此外，数据科学家通常也能够借助可视化技术、建立数据科学的应用程序或用有趣的故事，更好地阐述他们通过分析数据得出的对业务问题的解决方案。
数据科学家的问题解决能力通常建立在对新老数据进行分析、建立模型和发现数据模式的基础之上。例如创建一个推荐引擎来进行股票市场预测，就需要数据科学家在相似性的基础上进行模式分析，或者发现欺诈交易模式。
数据科学家在面对大数据时，有时并没有特定的业务问题解决需求。在这种情况下，具有好奇心的数据科学家通常会探索数据，提出正确的问题，并得出有趣的探索结果。这件事情最难的地方在于，要想分析这些数据，就要求强大的数据科学家应该在机器学习、数据挖掘、统计和大数据基础方面具有极其广泛的知识储备和足够的能力。
数据科学家需要拥有处理不同大小、不同形状的数据集的能力，并且应该有能力在巨大的数据下快速且高效的运行自己的算法，而这通常意味着要时刻紧跟最新的尖端技术。这也就是为什么数据科学家要了解计算机科学的基本原理和编程，包括各种语言编写经验和数据库(大/小)的技术了。
技能及常用工具：
Python R Scala Apache Spark Hadoop 数据挖掘工具和算法 机器学习 统计建模
以上便是数据分析师，商业智能开发，数据工程师和数据科学家在数据中所扮演角色的几点不同，愿大数据从业的你，找到自己的目前定位;还未就业的你，可依据优势选择自己擅长的职能哟~
来源：Saeed Aghabozorgi，Polong Lin
我要评论
活动推荐more >
- 2018 上海国际大数据产业高2018-12-03
- 2018上海国际计算机网络及信2018-12-03
- 中国国际信息通信展览会将于2018-09-26
- 第五届FEA消费金融国际峰会62018-06-21
- 第五届FEA消费金融国际峰会2018-06-21
- “无界区块链技术峰会2018”2018-06-14
