摘要

数据作为一种重要的生产要素，在现代社会中的作用愈发凸显。数据工程师作为数据服务的重要提供者，所能发挥的价值也与日俱增。本文先介绍了数据在人类社会中发挥的价值，然后通过分析讨论数据服务价值和数据工程师的工作职责，论述了数据工程师的工作价值。

前言

数据在人类社会中的应用长期且广泛地存在。两千多年前的秦朝政府施行了按亩纳税的政策；而在今天，中国政府则根据作物类型和种植面积给予农民补贴。从国家的税收预算，到个人的财产管理，都需要借助数据工具实现。随着科学技术进步，数据的使用方法也变得越来越复杂。从结绳计数到阿拉伯数字的应用，再到如今融合了图像语音等多媒体数据的人工智能，人类开发出了各种手段去发掘数据的潜在价值，推动了数字经济的蓬勃发展。作为现代社会的公民，应该重视数据的价值。大数据工程师作为直接参与数据服务的角色，更应该理解数据和自身工作的价值，努力推动数据服务行业的发展进步，更好地满足社会对于数据的需求。接下来，本文将分别论述数据的价值、数据工程师的工作价值以及同其他岗位的区别，最后对数据工程师的行业问题进行总结和展望。

数据的价值

数据的价值具有长期性。资源的稀缺要求人能够做出科学的决策，从而提高资源的利用率，或者更快地达到某一目标。数据是科学决策的必要因素，因而只要资源的稀缺性存在，社会对于数据的需求就不会消失。

数据的价值具有多样性。数据能在提高生产效率、决策科学性等相关问题中发挥价值；数据能在社会生产和决策场景下发挥的服务价值，不同场景对于数据的准确性和及时性要求不同；数据在自然和历史研究中同样发挥价值。

数据的应用催生出了规模庞大数据经济。互联网等信息技术的普及，催生了众多依赖数据的服务模式。以数据为基础的网络服务在能源交通、城市管理、生产销售、文化传媒和居民生活等众多领域发挥着不可或缺的作用。借助数据，国家能调整能源供应，优化交通；借助数据，城市能以较高效率和较低成本实现对超大城市的智能管理；借助数据，企业能够优化生产和销售环节，更好地满足市场需求并扩大收益；借助数据，广告商能实现精准有效的内容推送，连接起商品和目标用户，提高社会供需匹配效率；借助数据，居民可以选购物美价廉的商品和服务，足不出户完成办理居民事务。

数据经济对于中国的经济发展意义重大。国务院发展研究中心在 2018 年发表的《传统产业数字化转型的模式和路径》报告记录了诸多企业应用数据提高效益的案例。据新华社报导，2020 年数字经济规模达到了 39.2万亿元人民币，占GDP比重达38.6%，保持9.7%的高位增长速度，数字经济已经成为稳定经济增长的关键动力[1]。国务院在 2021 年 12 月发布的《“十四五”数字经济发展规划》表明了中国政府发展数字经济的决心和目标：到 2025 年，中国数字经济核心产业增加值占 GDP 比重达到10%（2020 年为 7.8%），数字化创新引领发展能力大幅提升，智能化水平明显增强，数字技术与实体经济融合取得显著成效，数字经济治理体系更加完善，我国数字经济竞争力和影响力稳步提升[3]。

数据工程师的工作价值

数据工程师作为一种职业，其价值必须体现在解决实际生产问题之中。为了提供及时准确的数据服务，数据工程师日常面临着一系列挑战，这些挑战即可能来自外部数据源，也可能来自于系统内部。数据工程师并非原始数据的创造者，在构建数据系统的时候往往需要从组织外部获取数据，这些外部数据的存储形态多种多样，数据的质量和流量随时可能发生变化，这些变化将给数据服务的稳定性带来挑战；在获取外部数据的渠道搭建起来之后，数据工程师需要构建数据计算链路。这一过程需要结合业务逻辑和现实需求，来进行设计实现。为了应对分布式场景下的大流量计算，需要系统具备健壮性和可扩展性，同时复杂且多变的计算逻辑会给计算链路的灵活性提出更高的要求，这是数据工程师面对的内部挑战。

数据工程师和数据分析师的工作比较

在某些企业中会同时存在数据分析师和数据工程师两类岗位。在理想情况下，数据工程师提供的主要服务与数据分析师应存在明显差别。一方面，数据工程师的工作可以使得数据的存储和访问方式对数据分析师透明，降低数据分析师使用数据的门槛；另一方面，数据工程师可以根据数据分析师的要求，对数据仓库进行改造。一些情况下，数据工程师需要结合具体业务提供数据注释以及数据使用指南。数据分析师则更多关注业务数据变化的检测与归因，利用数据工程师提供的基础数据服务，支持产品经理或运营团队，完成产品变更和活动效果的评价。

文章小结

本文用相对抽象的语言论述了数据工程师的工作价值。数据工程师是数据建设的直接参与者，其工作价值将随着数字经济的发展而不断提升。与此同时，相比同样从事信息技术开发的服务端工程师和前端工程师，数据工程师的存在时间相对较短，其职责定义也相对模糊，这值得同行们的关注。除此之外，数据工程师行业中仍有许多问题值得进一步探讨，例如数据工程师的工作价值该如何量化？数据工程师该如何发挥自己的主观能动性，创造更多价值？为了实现这一目标，数据工程师应该加强哪方面的能力？作者也会在未来不断更新分享自己的看法和思考，希望能抛砖引玉，引发行业内部更多讨论和思考，推动数据相关行业的发展。