为什么要在大数据中使用Lambda 架构？

全球数字化每天以指数级增长，每天至少产生2.5 千亿（2500000000000 百万）字节的数据。从电商数据、自媒体、社交媒体网站、各种传感器、卫星、移动互联网、GPS 、北斗信号等开始，数据生成无处不在。随着科技的增长，数据在承几何倍数的增加。

Lambda架构是一个非常棒的设计框架，适用于使用流处理和批处理方法的大量数据处理。流式处理方法是指在数据处于运动状态时对其进行动态分析，而不会将其保留在存储区域中，而批处理方法适用于当数据已经处于静止状态时，意味着将其保留在数据库、数据仓库系统等存储区域中。 Lambda可以有效地利用架构来平衡延迟、吞吐量、缩放和容错，从而同时从批处理和实时流处理中获得全面准确的视图。

我们可以将整个大数据处理划分为两个不同的数据管道。一种是当数据处于静止状态时，这意味着从不同来源收集的大量数据以分布式方式存储或持久化，然后进行分析以获得准确的视图，以便做出业务决策。我们也可以将其称为批处理数据处理管道。

另一个是流式数据管道，可以在数据移动时进行分析。这里在实时数据流上运行计算。Apache Spark 是一个出色的框架。Spark 将实时数据流分成小批量，将它们保存在内存中，然后进行处理，最后将它们从内存中释放到数据流中。由于内存计算，延迟显着减少。

Lambda 架构可以分为四大层。正如我们在架构图中所见，从数据摄取开始到表示/视图或服务层。

• 在数据摄取或消费层，我们可以包括 Apache Kafka、Flume 等，它们负责从各种/多个来源收集数据。根据批量、实时流或两者结合处理数据的要求，这里会发生分叉，如 Lambda 符号 (λ)。
• 在批处理层中，所有数据在运行任何计算之前立即累积。在这里我们可以实现容错和复制，以防止任何数据丢失。Hadoop分布式文件系统（HDFS）可以考虑在这一层。
• Streaming 或 Speed 层负责处理实时流数据，而不会在存储区域中保留任何数据。在这里，数据的处理发生在运动中。当数据进入或以特定的短时间间隔进入时，该层激活，随后生成实时视图，该视图被推送到下一层（服务层）。
• 最终，在称为服务层的这一层中，我们从流层和批处理层获得组合结果，可以有效地利用这些结果来提供统一的所需结果。我们将始终定期或实时地从批处理层和流层获取更新。

Lambda 架构是一种可插拔架构，按需处理，我们可以插入和拔出各种数量的数据生成源。