深扒一个独角兽公司标配，但仍被低估的岗位

本文由峰瑞资本（微信ID:freesvc）授权发布，来源Stitch Data，编辑张潇冉。

美国数据工程概况

目前，LinkedIn 上有 6500 人称自己是数据工程师。而仅在旧金山，就有 6600 个这样的工作机会虚位以待。去年，数据工程师的数量翻了一倍，但工程主管们却仍觉得人才匮乏。

数据人才的旺盛需求源自一个根本性的变化：科技公司现如今都成了数据公司。

像 Uber、Airbnb、Spotify 这些公司都在大力发展数据产品，结果便造成数据系统开发和维护人才的激烈争夺。

Josh Wills 是 Slack 的数据工程师，在 2016 数据工程大会（DataEngConf 2016）上半开玩笑地说：“我的数据工程师都在会场了，请你们别挖墙角。”即使 Slack 这样当红的硅谷企业，也在担忧如何留住这些宝贵人才。

我们的研究着重于说明以下几个方面：

目前市场上数据工程师的数量；

数据工程师的背景和核心技能 —— 这些信息对于主管们研究如何将软件工程转换至数据工程特别有用（编者按：以缓解招聘数据工程师的压力）；

数据工程师的就业信息 —— 帮助你说明为什么要投资（时间/精力/金钱）到这项昂贵的技能中来。

从 Stripe、MIT、Looker 的工程主管对数据人才的发现、留任和对数据工程师团队项目的开发等一系列策略的分享中，我们找到了这些问题的答案，使得这份报告清晰地呈现出数据工程的现状。

关键指标：

人数：6500 人在 LinkedIn （领英）上称自己是数据工程师。

发展：2013 到 2015 年，数据工程师的数量至少翻了一倍。

分布：50% 的数据工程师都在美国。

之前的职务：42% 的数据工程师都是软件工程出身。

产业：数据工程师主要供职于信息科技与服务产业。

技能：数据工程师前 5 项主要技能是：SQL, Java, Python, Hadoop, 和Linux。R语言甚至都没进前 20。

分析方法：

本报告基于 Linkedin 上的用户资料，包括所有公开可见的个人及公司档案、技能与工作经验，数据以 2016 年 3 月份的统计为准。

我们根据档案上的职业标题和头衔识别出数据工程师，这里只纳入了那些可确认公司的数据工程师档案。

【图表：LinkedIn 个人档案总结】

▲ 截止 2016 年 3 月 1 日，Linkedin 上的个人档案大约 4.3 亿，此次参考了 2.6 亿例档案，其中列有至少一项经历的近 1.9 亿， 有一项已认证经历的超过 1 亿，当前经历已认证的近 8000 多万。

在这些数据工程师中，我们分析了：

3 万项工作经验

8.2 万条个人经历

3400 个公司

分析工具：

分析采用 Python, SQL 和 Jupyter。

HighCharts 和 HighMaps 中的交互式可视化效果采用 Python 的制图包和 Python-highchairs 实现。

数据采用 AWS Redshift 进行存储和处理。

1、数据工程师有多少

“数据工程师”（所有以某种方式与数据打交道的软件工程师）的定义仍有很大的模糊性，目前并没有一个完美答案，我们觉得由这些从业者自己来解读是最好的方式。

我们发现在 Linkedin 上有 6500 人称自己是“数据工程师”。

6500，这个数目并不大。

实际上，我们有些惊讶“数据工程师”竟如此之少。而在写这篇报道的时候，Indeed 上有 6600 个 数据工程师的招聘启事，这还仅仅是在旧金山和湾区。

薪酬数据也证实了数据工程师很受欢迎。据说，在 Facebook, Amazon 和 Google 这样的巨头公司工作的顶级数据工程师工资超 50 万美金。Indeed 的数据分布更保守一些，尽管如此，薪资也达到了 6 位数。

【图表： 旧金山地区数据工程师的数量和薪酬比】

▲截止从上图可以看出，薪酬在 10 万美元以上的职位超过 80%, 其中 110k-120k， 120k-130k 和 130k+ 的职位都很多，均超过了 20%。数据工程师成为当下的黄金职业！

专家洞见

Jonathan Coveney，Stripe 数据工程师：“对数据工程师型人才的需求”。

近十年来，Jonathan 都在数据领域深耕，曾在 Twitter、Spotify 等公司建立数据系统。在他看来，有三种主要趋势在推动着对数据工程师类人才的需求：

公司在对数据和管理数据的人的思考上更加精深。“数据不再是副产品，而是一个公司运作的核心”。

对机器学习愈加倚重。由于机器学习的进步，对专有数据的掌握逐渐成为各个领域的公司最重要的竞争优势。

公司开始建造数据产品。“以地图为例，机器学习主要作用于交通路线的侦测与规划，而地图的基础建设则在于管理和组织大规模的数据，这就是数据工程。”

2、数据工程师的数量随时间的变化

LinkedIn 的简历显示了一个人声明的自己的职业发展历史，包括了在各个时间段内的职务。这些数据让我可以构建出某个职务的不断演变。

下图就展示了”数据工程师“这个职务的飞速发展：

【图表】累计数据工程师的数量（单位：千）

▲数据工程师的数量从 2013 年到 2015 年增长超过了一倍。而且基于上文中相关岗位需求的数据，该增长趋势并不会减慢。

相比之下，数据科学家的数量大约是数据工程师的两倍（大约 11,400 人），但是数据工程师的增长速度却要更高：在同一时期，数据科学家数量“仅”增长了 50%。

3、数据工程师从哪里来

数据工程师的疯狂增长让人产生了一个疑问：这些人从哪里来？他们之前是什么职业？

我们通过观察数据，调查了数据工程师这一职业的 DNA —— 他们之前的职业。

在我们的调查前有以下几个猜测：

数据工程师是软件工程师和数据科学家之间的桥梁：他们编写了生产代码来方便数据科学家们进行大规模的运算实验。因此，我们猜测有很大一部分数据工程师的前身是软件工程师或数据科学家；

因为数据工程师很大部分的工作都围绕着运算的规模，他们同时也是软件工程师和运维开发 ( Devops ) 的桥梁。因此我们猜测一部分人由运维开发转来；

数据库管理员曾在一个企业中扮演类似的角色。因而，不难假设一部分数据库管理员投身到这一更加先进的职业中。

结果显示，我们的猜测部分是正确的，有一点是非常明确的：数据工程师的 DNA 和软件工程师最接近 。

【图表 ：TOP 10 数据工程师的来源】

▲数据工程师前职调查，最多依次为软件工程师、分析师、咨询师、商业分析师、数据架构师、数据分析师、数据库管理员、数据科学家、实习生、研究助理等

4、数据工程师都在哪

50% 的数据工程师在美国。这并不奇怪，因为数据科学家这个称谓的本身和很多基础技术都是来自于美国的科技公司和大学。

【图表：数据科学家全球化】

▲大部分的数据科技或是来自于一小部分大学——特别是伯克利大学 AMP 实验室，或者是来自于全球最大的网络公司软件工程团队。

谷歌、脸书、领英和亚马逊在领先该产业其他对手很久，就已经开始挑战大数据，并投入了大量资源。他们不仅创造了很多的数据科技，他们成为了数据人才的培育基地。

然而，这张图有些误导。

美国至今有着最多的数据工程师，也同样在全球有着最多的数据工程师档案：接近4倍多于排名第二的印度。

为了标准化数据，我们图中排名前十的国家展开详细，看他们各自数据工程师人数与在领英（LinkedIn）档案数的对比，以及与总人口的对比。

【图表：TOP 10 数据工程师最多的国家】

（编辑：ASP站长网）