大数据平台建设历程

战略转型


从以硬件为主转变为以数据驱动的创新型科技集团



数据决策的核心价值和目的



打造美的数据生态圈,让数据驱动成为本能



大数据平台搭建过程



为什么选择Cloudera

• No.1 开源主导者, 主流技术保障,全球 70%Hadoop 用户的选择,实践验证:平台运行最稳定;

• 唯一在国内为企业Hadoop平台提供源代码一级服务的立体售后服务体系;

• 可以更加方面的直接与社区开发人员进行直接沟通,比如Kudu创始人Todd指导,Impala PMC的面对面交流;

• Cloudera Manager丰富的集群管理监控功能大大简化了集群的运维;

• 产品更新始终与社区保持一致,CDH大概每3个月发一个小版本,第一时间进行bug修复以及新功能的集成;

• 持续的创新能力,新技术的引领者:Apache Kudu,Apache Ozone,Apache Submarine,Apache Spark3,Apache Flink1.11,Apache YuniKorn,Apache Druid,Hive3/Impala/Spark on K8s



未来规划

迁移与升级,正在调研CDH6与CDP7,已经搭建了CDP7测试环境,考虑明年升级到

CDP7

• 从Sentry迁移到Ranger,丰富细粒度权限管理,如行授权以及列授权;

• 将批处理作业从Hive On MR迁移到Tez,提升整体性能;

• 引入组件新版本并调研后逐步引入生产环境中如Spark3,Ozone,Druid等,丰富平台整体功能以及应用场景。


数据中台

• 数仓开发平台数仓体系的作业设计、开发、管理,数仓作业链式分析、调度、执行、管理、监控平台;

• 元数据管理子系统提供元数据的管理,包括:新增表、变更表结构、表的描述、字段的描述、表的依赖分析、数据字典查询等;提供库、表的数据标签管理等

• 数据资产管理子系统提供事前及事后的业务、技术元数据管理,对指标、数据口径进行管理,形成美的集团数据资产

• 数据市场及API服务:用户自助配置,将数据资产通过总行API网关进行发布及管理,供其他系统授权后对接调用

展开阅读全文

页面更新:2024-02-09

标签:链式   数据   作业   平台   子系统   数据管理   集群   历程   资产   功能   环境

1 2 3 4 5

上滑加载更多 ↓
推荐阅读:
友情链接:
更多:

本站资料均由网友自行发布提供,仅用于学习交流。如有版权问题,请与我联系,QQ:4156828  

© CopyRight 2020-2024 All Rights Reserved. Powered By 71396.com 闽ICP备11008920号-4
闽公网安备35020302034903号

Top