腾讯安全发布PB级日志秒级查询的安全日志处理产品

腾讯安全昨天发布了一款自研的云原生安全数据湖产品，这款产品有两个指标令人印象深刻。据腾讯安全官方介绍，在相同的数据规模下，这个数据湖的硬件成本不到同类开源软件的1/10，而且在查询性能方面，尤其是聚合查询性能方面，能够实现PB级日志的秒级查询。

如果这个指标确切可靠，那么这个产品将成为国产安全日志处理软件的一个里程碑。因为在日志处理领域，实现PB级数据的秒级查询是一个重要的技术指标，目前主流的开源软件方案基本上只能在TB级别徘徊，海外的一些企业虽然能够达到PB级别的性能，但相应的硬件和授权费用成本也非常高。

目前市面上应用最广泛的安全日志分析工具仍然是开源软件ElasticSearch，大多数企业都是基于ElasticSearch来构建自己的日志处理系统。然而，ElasticSearch存在明显的缺陷，比如由于索引带来的数据膨胀会消耗额外的CPU资源，并且占用大量的磁盘空间。

另外，采用开源软件来构建系统，由于组成结构复杂，企业在后期维护方面的成本也会更高。而且，当需要扩容的时候，也会面临一些技术上的瓶颈。这也是当前许多企业正在面临的问题。

随着XDR和大数据的兴起，安全日志处理成为了一个热门的领域，催生了一些明星公司。比如Splunk，这是一家位于美国旧金山的科技公司，其产品主要关注机器生成大数据的搜索、监视和分析。Splunk的产品可以为指定的数据来源建立索引并建立关联，然后生成图表、报告、警告，并以图形网页的形式展示。然而，一般认为Splunk的产品具有较高的使用门槛，需要具备一定的专业技能和较高的学习成本。截止2021年，Splunk的年收入达到了26.74亿美元，毛利为19.4亿美元。

此外，还有其他公司如DataSet（前身为Scalyr）、Humio和Clickhouse也在安全日志处理领域崭露头角。这些公司分别提供了日志数据管理分析服务、服务器监控和日志管理可视化工具、以及分析型数据库等解决方案。

腾讯安全是这个领域的新玩家。据公开资料显示，腾讯安全基于MPP架构，采用Rust语言开发，并针对日志和安全场景进行了专项优化。它采用的列存储实现了极致的数据压缩比，而无索引的架构则避免了索引开销。抛开复杂的技术描述，光是"硬件成本不到同类开源软件的1/10"和"PB级日志的秒级查询"这两个指标就足以令人心动。

与前述的公司相比，腾讯安全产品具有成本、效率和性能的优势，并且考虑到国产替代产品的主流趋势，未来可能会成为许多企业选择安全日志产品的首选。

除了云原生安全数据湖产品，腾讯安全还推出了基于新一代安全日志大数据平台架构的高级威胁安全治理解决方案。该解决方案具备四大核心优势，通过建立"预测、防御、检测、响应"的安全闭环，为客户的业务转型升级和服务体系优化提供支持。

总的来说，腾讯安全在安全日志处理和威胁情报防护方面提供了创新的解决方案，将为各行各业的企业提供更高质量的安全保障，助力企业在数字化转型过程中实现高质量发展