我们每个人每天都产生很多数据,那这些数据是怎么存储的?

问题:我们每个人每天都产生很多数据,那这些数据是怎么存储的?

回答:今日头条系的服务器,2018年的时候已经超过了17万台了,2019年或者是2020年肯定是更加高。大公司都是有数十万级别的服务器,除了数据存在我们的设备上,其他都是存在服务器上的。

庞大的数据中心

大型的互联网企业例如阿里、腾讯、今日头条等企业都是采用分布式的数据中心。这些数据中心可以分布在不同的城市。例如阿里就在贵州等不同的城市都有数据中心的分布。

而且,越是大型的企业就会购买越多的服务器,并且兴起更多的数据中心,第一个是因为他们需求很多的数据中心来满足企业和用户的需求;第二个是因为他们还会做备份和后备的,一旦一个数据中心出现问题就会在几毫秒之内自动切换到另外一个数据中心,保持企业运转。

所以,他们有数十万甚至更多的服务器也是正常的。

分布式的设计

理论上即使是分布式的设计,都会存在极限的。但是这个极限非常大,几乎没有可能达到。

你要知道,他们采用分布式的数据中心设计,可以根据需求,兴建数据中心,然后购买服务器并且重新它的数据中心,能够大规模的横向增加服务器,只有成本能够承受得起就不用担心服务器不够用的问题。

甚至有一些企业,例如百度、阿里、腾讯、华为这些甚至还会卖云服务,他们拥有大量的云资源可以给小企业使用。




拿搜索引擎来说。

一般,Google 现在每秒处理超过 40,000 次搜索(每天 35 亿次搜索)!

  • 虽然77% 的搜索是在 Google 上进行的,但不要忘记其他搜索引擎也在为我们的日常数据生成做出贡献。全世界每天有50 亿次搜索。

社交媒体

根据 Domo 的Data Never Sleeps 5.0 报告,这些是每分钟生成的数字一天中:

  • Snapchat 用户分享了 527,760 张照片
  • 超过 120 名专业人士加入领英
  • 用户观看了 4,146,600 个 YouTube 视频
  • 在 Twitter 上发送了 456,000 条推文
  • Instagram 用户发布了 46,740 张照片

拥有20 亿活跃用户的Facebook 仍然是最大的社交媒体平台。——全球 70 亿人中有超过四分之一在 Facebook 上活跃!以下是一些更有趣的Facebook 统计数据:

  • 每天有 15 亿人活跃在 Facebook 上
  • 欧洲在 Facebook 上有超过 3.07 亿人
  • 每秒钟都会创建五个新的 Facebook 个人资料!
  • 每天上传超过 3 亿张照片
  • 每分钟发布 510,000 条评论,更新 293,000 条状态

即时通讯

以下是我们每分钟发送的通信量的统计数据:

  • 我们发送 1600 万条短信
  • 有 990,000 次 Tinder 滑动
  • 发送了 1.56 亿封电子邮件;全球预计将有 29 亿电子邮件用户
  • 通过 Facebook Messenger 发送了 15,000 个 GIF
  • 每分钟有103,447,520 封垃圾邮件发送
  • Skype 上有 154,200 个电话

拍照

  • 到2017年底人们将拍摄1.2万亿张照片
  • 将存储 4.7 万亿张照片

大公司使用以下技术进行存储

  1. Apache Hadoop. Apache Hadoop is a java based free software framework that can effectively store large amount of data in a cluster. ...
  2. Microsoft HDInsight. ...
  3. NoSQL. ...
  4. Hive. ...
  5. Sqoop. ...
  6. PolyBase. ...
  7. Presto.




我们如今生活在大数据的时代,每时每刻的数据都是十分庞大的。随着云计算、物联网、移动互联网等技术的发展,人类社会各个领域产生的数据量都急剧增长,根据IDC(InternationalDataCorporation)的统计,2011年全球被创建和复制的数据总量达1.8ZB,预计到2020年会达到40ZB,大数据时代已经到来,而且已成为社会各界关注的焦点。

数据管理技术的发展经历了以下四个阶段:人工管理阶段、文件系统阶段、数据库阶段和高级数据库技术阶段

当初,我们的古人是口口相传的,时间久了也可能就失传了

再来后来就是一些石头,龟壳的甲骨文了

之后,毕昇造纸,从此有了纸作为数据的存储

到了近代,科技的迅速发展,我们的数据存储从刚开始的磁带光盘,变成了硬盘,再变成了云盘去存储这些庞大的数据。我们将数据虚拟化存储起来

这些机房就是数据存储的地方,每个大型公司都有着自己的存储机房,保存用户数据。比如亚马逊,阿里云,百度云等等。

当然,虽然这些机房是十分庞大的,但是还是比不过人类的数据量,举个简单的例子,好比qq上的聊天记录一样,普通用户只会保存7天的数据量,为什么不弄成永久的呢,就是应为这些数据是无法全部都存储在机房里面的,所以呐,时间打了就把你的数据清除了。

这就是数据的存储

展开阅读全文

页面更新:2024-03-12

标签:都会   数据   腾讯   阿里   分布式   数据中心   机房   庞大   活跃   阶段   需求   服务器   照片   用户   科技   企业

1 2 3 4 5

上滑加载更多 ↓
推荐阅读:
友情链接:
更多:

本站资料均由网友自行发布提供,仅用于学习交流。如有版权问题,请与我联系,QQ:4156828  

© CopyRight 2020-2024 All Rights Reserved. Powered By 71396.com 闽ICP备11008920号-4
闽公网安备35020302034903号

Top