中国移动家庭网络，是王者还是青铜？

中国移动的有线宽带用户为2.1亿，如何无声的维护、提升有线宽带业务用户体验，成为了重中之重。为此中国移动采用软探针技术，采集设备的使用内存、CPU、温度、光功率，监测用户常用网站，如：百度、淘宝、京东、头条等TCP握手，HTTP响应速率、DNS响应时延等影响上网体验的指标，指导相关人员修正、提升相关影响点。以此达到更好服务于用户的目的。

以每日5,000,000的日活，至少会上报约720,000,000条报文，约2.68TB。我们采用通用指标结合省份地域、风俗习性的不同特地，需要为各省提供适合本省的个性化分析。相当于千人千面，为每个家庭用户找到属于自己的哈姆雷特。

为此我们采用flume对报文中各类数据进行一次性拆分，补全计算要素并落入HDFS，为后续的离线计算做好准备。

flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。

flume的数据流由事件(Event)贯穿始终。事件是Flume的基本数据单位，它携带日志数据(字节数组形式)并且携带有头信息，这些Event由Agent外部的Source生成，当Source捕获事件后会进行特定的格式化，然后Source会把事件推入(单个或多个)Channel中。

针对业务的扩展：对flume的事件(Event)做拦截器，完成一个事件转换成8种事件，并输出到相应的channel，完成数据结构的的分解。见下图：

通过flume的自适应业务的扩展，拆分设备相关的运行数据并保存到HDFS。后期，我们采用离线运算通过预定义的专家指标，构建适用于各省各地，因地制宜的提升策略。为提升中国移动家庭网络质量出一份力，进一份心。