#心级服务# PB级实时数仓系统在健康项目中的应用

随着家庭业务的持续推广，智慧家庭数据必将赋能未来的产业增值。同时，在追求数据分析可靠性的同时，数据挖掘的效率再次成为整个行业竞争关键点。

Clickhouse作为新型海量消息实时在线分析引擎，依赖其极致的查询性能（开源公开benchmark显示比传统方法快1001000倍，提供50MB200MB/s的高吞吐实时导入能力）和 强大的物化视图能力，能够近实时得到最新的数据分析结果。 并且clickhouse借助于精心设计的列存、高效的数据压缩算法，提供高达10倍的压缩比，大幅提升单机数据存储和计算能力，能以极低的成本存储海量数据，是构建海量数据仓库的绝佳方案。

图1Clickhouse的性能和价值

图2clickhouse连接工具

Clickhouse相比于hadoop体系，以数据库的方式来做大数据处理更加简单易用，学习成本低且灵活度高。Clickhouse相比于传统的MongoDB等Nosql存储引擎，clickhouse具有很强的集群扩展能力，当数据量达到集群的极值，只需要简单的添加集群节点即能够自动完成集群扩容和数据rebalance，人力成本约为0。

因此以clickhouse为代表的新型数据仓储引擎替换以Hadoop和其他传统的数仓系统是大势所趋。并且作为大数据分析引擎界的一匹黑马，从默默无闻到一路起飞，其在社区的热度还在以惊人的速度增加。腾讯音乐、新浪、喜马拉雅、B站等互联网行业的佼佼者都纷纷投入使用clickhouse的阵营。阿里也提供clickhouse的托管服务。

那么以clickhouse作为数据仓库能给我们带来什么实际上的优势呢？

1.为日进增大的海量数据存储提供了绝佳的解决方案。

2.解决了当前公司大数据分析引擎数据分析实效性差的问题，使以Hadoop为核心的数据中台平均单次数据报表生成速率由T+1提升到近实时获取，极大提升了上层决策的效率。

3.利⽤和clickhouse配套的Superset工具可⾃主DIY各类报表，极大减少了研发运营报表成本。

图3Superset自动报表