在大数据领域，“数据湖”早已不是个陌生概念了。但深究到细节，好比如何建湖？如何做数据ETL？如何使用湖中数据？还有不少知识点值得梳理。漫说“数据湖”，你且听我道。

刚刚好的Data Lake

从前，日子过得慢，数据也就不多，靠记忆或者结绳记事也足以应付。

后来，为了更有效率的记事和工作，数据库出现了。数据库核心是满足快速的增删改查，应对联机事务。

而日子久了，人们发现，库里的数据越来越多了，不光要支持联机业务，还有分析的价值。传统数据库忙不过来，支撑不了以读取大量数据为特征的分析业务。于是，人们在现有的数据库基础上，对数据进行加工。这个加工过程，被称为：ETL（Extract-Transform-Load）抽取、转换和加载。

ETL之后，数据仓库就建好了。为数据分析用途，比如用于BI、出报表、做经营分析等等做支撑。听起来，数据仓库已经能满足企业的实时“交易”型业务和联机“分析性”的业务。为什么还需要建数据湖呢？数据仓库适应不同应用场景，但他们都是结构化数据。而随着时代的发展，数据的类型越来越多，人们对数据的需求也越来越复杂。

企业越来越看重这些“大数据”的价值，希望把他们存好、用好。这些数据，五花八门，又多又杂，怎么存呢？索性挖个大坑吧！而这就是数据湖的原型。它就像一个“大水坑”，是一种把各类异构数据进行集中存储的架构。

数据湖技术架构涉及了数据接入（转移）、数据存储、数据计算、数据应用、数据治理、元数据、数据质量、数据资源目录、数据安全及数据审计等10个方面领域。

如何实现数据湖商业价值

数据湖对一个企业的数字化转型和可持续发展起着至关重要的作用。构建开放、灵活、可扩展的企业级统一数据管理和分析平台， 将企业内、外部数据随需关联，打破了数据的系统界限。

1）利用数据湖智能分析、数据可视化等技术，实现了数据共享、日常报表自动生成、快速和智能分析，满足企业各级数据分析应用需求。

2）深度挖掘数据价值，助力企业数字化转型落地。实现了数据的目录、模型、标准、认责、安全、可视化、共享等管理，实现数据集中存储、处理、分类与管理，实现报表生成自动化、数据分析敏捷化、数据挖掘可视化，实现数据质量评估、落地管理流程。

现阶段，数据湖更多是作为数据仓库的补充，数据湖概念和技术还在不断演化。未来，数据湖的技术和标准化更成熟，有望实现数据库、数仓、大数据处理、机器学习等各种数据服务的“一湖尽收”。“用数”和“赋智”将是最大挑战。

文章部分素材来源：数据工匠俱乐部、特大号