数据平台又有新技术,它会颠覆数据工程师的工作吗?

先下个结论

未来,作为企业中台的底座,数据中台将从数据智能转换到智能数据。

“湖仓一体”满足架构灵活升级、“智能数仓”解决超大规模下的数据管理难题、“智能查询”极大降低了数据分析门槛、AI的云原生化/规模化/标准化与普惠化让其成为大数据的终极出口,不断加速大数据与AI一体化的融合。

数据平台又有新技术,它会颠覆数据工程师的工作吗?

在介绍数据平台的四大技术趋势之前,咱们再明确一下数据中台和数据平台的关系。

趋势一:一体两面的湖仓一体

数据平台又有新技术,它会颠覆数据工程师的工作吗?

作为下一代数据平台架构,“湖仓一体”满足复杂现状下架构的灵活升级。

数据仓库主打企业级数据处理更精细、更经济、更高效企业可以建设自己的数据中台,无论是引擎优化,还是数据管理,都有一整套方法论以及支撑的工具。但是进入门槛很高,成本又贵,还有使用门槛。

数据湖是脱胎于开源体系的技术,进入门槛和成本较低,比较灵活企业容易实现自建数据湖,只是数据统一存储之外,企业需要进一步做各种精细化管理,希望数据能治理,能管理,成本低,还可运维。

如何打通数据湖和数据仓库之间割裂的体系,架构上融合数据湖的灵活性以及数据仓库的企业级能力?

阿里巴巴提出的“湖仓一体”架构,统一存储和元数据,打通数据体系,利用智能数仓技术针对不同的数据和义务,做自动分类存储和处理。

趋势二:数据仓库进入“自动驾驶”时代

数据平台又有新技术,它会颠覆数据工程师的工作吗?

超大规模数据带来管理难题,传统的“DBA模式”已经很难胜任。阿里巴巴有超过千万级别的表,很多核心数据开发工程师,一个人负责上万张表,没有办法做精细化的治理和建模,这样的系统不能随人的方式扩展。

所以未来,越来越多的AI技术会融合进大数据系统,进入“自动驾驶”时代。

趋势三:所查即所得,基于自然语言的智能数据查询

阿里巴巴正在数据之上尝试构建一个超大规模的知识图谱,通过知识图谱的方式做数据到语义层的翻译,再通过NLP(自然语言处理)等技术跟用户做结合,形成一个桥梁。

比如用户输入北京市互联网客户有哪些,就可以自动生成得到一份数据。阿里巴巴正试图把通过自然语言的智能查询在海量数据上用起来,规模化起来,让更多的非专业数据人员也可以独立完成数据分析工作。

趋势四:数据即智能,AI工程化的基础能力

数据平台又有新技术,它会颠覆数据工程师的工作吗?

数据需要智能的加速,AI是大数据的终极出口。我们知道,真正想把AI用起来是一个非常难的事情,从最初的数据兴起、数据提炼、模型训练、模型调优,再到模型部署和服务,整个链路非常长。

如果我们有5万人可以直接使用数据,可能真正能用AI的人可能不超过5000人,那如何把AI技术随着数据赋能给业务方,这就是所谓的AI工程化

数据平台又有新技术,它会颠覆数据工程师的工作吗?

上述内容只是简单提了数据平台的四大技术趋势,数据平台建设在经过技术积累后,也在不断推动数据中台向智能化进化,并且还会一直向前演进,最终服务于企业。

源自:2021阿里云金融数据智能峰会演讲内容

展开阅读全文

页面更新:2024-03-05

标签:自然语言   数据   阿里巴巴   平台   数据管理   企业级   门槛   架构   新技术   数据仓库   工程师   趋势   方式   业务   智能   旅游   工作   技术   企业

1 2 3 4 5

上滑加载更多 ↓
推荐阅读:
友情链接:
更多:

本站资料均由网友自行发布提供,仅用于学习交流。如有版权问题,请与我联系,QQ:4156828  

© CopyRight 2020-2024 All Rights Reserved. Powered By 71396.com 闽ICP备11008920号-4
闽公网安备35020302034903号

Top