|收藏本站 |手机客户端 新手指南
 找回密码

千酷论坛

搜索
查看: 2499|回复: 11

[网络] 网盘是怎么做到给每个用户TB级存储空间的?带你了解真相!

[复制链接]

签到天数: 435 天

连续签到: 1 天

[LV.9]以坛为家II

发表于 2013-9-25 05:05:22 来自手机 | 显示全部楼层 |阅读模式

我们为你精心准备了更多的教程

您需要 登录 才可以下载或查看,没有帐号?加入千酷  

x
假如我想要为每个用户提供 1G 的网络存 储空间。

如果服务器上有一颗 1000G 的硬盘可 以全部为用户提供数据储存,如果每 个用户分配 1G 的最大储存空间,那 么能分配给多少个用户使用呢?

你一定说是 1000/1=1000 个用户。
1.jpg
但事实上你这么分配了,你会发现每 个用户平时根本不会上传 1G 的东西 将容量占的满满的,有多有少,但平 均用户平时只上传 50M 的文件,也 就是说,你将 1000G 的硬盘分给 1000个 人使用,但只有效利用了其 中的 50M*1000=50G 的空间,剩余 950G 的空间基本都完全浪费了。

那么怎么解决呢?

你可以变通一下,将这 1000G 的空间 分配给 20000个 用户使用,每个人的 上传上限容量还是 1G,但每人平时 还是平均上传 50M 的数据,那么 20000*50M=1000G,这下子就把宝 贵的服务器上的存储空间充分利用 了。但你又怕这样分配给 20000个 人 后,万一某一刻人们突然多上传点数 据,那么用户不是就觉察出来你分给 人家的 1G 空间是假的了吗?所以可 以不分配那么多人,只分配给 19000 人,剩下一些空间做应急之用。

突然发现一下子将可分配的用户数量 翻了 19倍啊,了不起。那还有没有办 法更加有效的利用一下呢?

如果我有 1000个 以上的服务器,一 个服务器上有 1000G 空间,那么我们 个服务器上都要留下 50G 的空白空间 以备用户突然上传大数据时导致数据 塞满的情况,那么我这 1000个服务 器上就空出了 1000台*50G=50000G 的空间被浪费了,多么可惜。所以我 们发明了计存储集群,使得一个用户 的数据可以被分配在多个服务器上存 储,但在用户那看起来只是一个 1G 的连续空间,那么就没必要在每个服 务器上预留出应急的空间了,甚至可 以充分的将前一个服务器塞满后,在 将数据往下一个服务器中塞。这样保 证了服务器空间的最大利用,如果某 一刻管理员发现用户都在疯狂上传数 据(在一个大规模用户群下,这样的 概率少之又少)导致我现有提供的空 间不够了,没关系,只需要随手加几 块硬盘或者服务器就解决了。

好吧,这下子我们的服务器空间利用 高多了,可以将一定量的空间分配给 最多的用户使用了。但有没有更好的 改进方案呢?

管理员有一天发现,即使每个用户平 局下来只存储 50M 的东西,但这 50M 也不是一蹴而就的,是随着1-2 年的使用慢慢的达到这个数量的,也 就是说,一个新的用户刚刚注册我的 网络空间时,不会上传东西,或者只 上传一点非常小的东西。那么我为每 一个用户都初始分配了 50M 的空 间,即使将来2年后他们会填满这 50M ,但这期间的这空间就有很多是浪费的啊。所以聪明的工程师说:既 然我们可以分布式、集群式存储,一 个用户的数据可以分布在多个服务器 上,那么我们就假设一开始就给一个 新注册的用户提供 0M 的空间,将来 他用多少,我就给他提供多少存储空 间,这样就彻底的保证硬盘的利用 了。但用户的前端还是要显示 1G 的。

工程师的这个点子,使得我在建立网 盘初期能用 1台 1000G 的服务器提供 了大约 1000000 人来注册和使用,随 着注册的人多了,我也有钱了,也可 以不断增加服务器以提供他们后期的 存贮了。同时因为一部分服务器完了 一年多购买,我的购买成本也下来 了。

那么...这结束了吗?若是邮箱提供商 的话,这样的利用率够高了。但网盘 就不一样了。

聪明的工程师发现:不同于邮箱,大 家的内容的附件绝大多数都是自创的 和不同的。但网盘上大家上传的东西 很多都是重复的。

比如:张三 今天下载了一部 《TOKYO HOT》上传到了自己的 网盘上,李四在三天后也下载了一模 一样的《TOKYO HOT》上传到了网络 硬盘上,随着用户的增多,你会发现 总计有 1000个人 上传了 1000份 一 模一样的文件到你宝贵的服务器空间 上,所以工程师想出一个办法,既然 是一样的文件,我就只存一份不就好 啦,然后在用户的前端显示是每人都 有一份不就行啦。当某些用户要删除 这个文件的时候,我并不真的删除, 只需要在前端显示似乎删除了,但后 端一直保留着以供其他拥有此文件的 用户下载。直到所有使用此文件的用 户都删除了这个文件我再真的将其删 除吧。

这样子随着存储的数据越来越多,注 册的用户越来越多,其上传的重复数 据越来越多。你发现这样的检测重复 文件存储的效率越来越大。这样算下 来似乎每个人上传的不重复的文件只 能平均 1M/用户。这下子你可以提供 超过 50倍 的用户使用您这有限的空 间了。

但伴随这使用,你又发现一个规律:

张三上传的《TOKYO HOT N0124》 和李四上传的《TH n124》是同一个 文件,只不过文件名不一样,难道我 就不能识别出他们是一个文件,然后 只将其分别给不同的用户保存成不同 的文件名不就行啦?确实可行,但这 要利用一些识别文件相同性的算法, 例如 MD5 值等。只要两个文件的 MD5 值一样,文件大小一样,我就认 为它们是相同的文件,只需要保存一 份文件并给不同的用户记作不同的文 件名就好了。

有一天你发现,因为每一个文件都需 要计算 MD5 值,导致 CPU 负荷很 大,而且本来一样的文件非要浪费带 宽上传回来才可以检测一致性,能改 进一下吗?

聪明的工程师写了个小软件/.小插 件,美其名曰“上传控件”,将计算 MD5 的工作利用这个软件交给了上传 用户的点老来完成,一旦计算出用户 要上传的数据和服务器上已经存储的 某个数据是一样的,就干脆不用上传 了,直接在用户那里标记上这个文件 已经按照 XX 文件名上传成功了。这 个过程几乎是瞬间搞定了,并给其起 了个高富帅的名字“秒传”!

通过以上这么多步骤,你发现本来你 只能给 1000用户 提供网络空间的, 这么多改进办法后,在用户端显示 1G 空间不变的情况下,近乎可以为 1000000个用户 提供网络空间了。

这样若是您哪天心情好,对外宣传 说:我要将每个用户的存储空间上限 提升到 1TB。那么每个用户平均还是 只上传 50M 数据,只有极个别极个 别的用户上传了突破 1G 原始空间的 数据,你会发现所付出的成本近乎是 微乎其微的。

辛勤的工程师还在为如何更有效率的 利用服务器提供的磁盘空间在不屑努 力和挖掘着......

你了解网盘TB级的噱头了吗?你秒传Tokyo hot了吗?
公告:任何电脑问题可直接在电脑问题求助区发帖,24小时巡逻,及时解决您的问题!

签到天数: 628 天

连续签到: 1 天

[LV.9]以坛为家II

发表于 2013-9-26 21:16:52 | 显示全部楼层
啊!必须说一句:不明觉厉!!!
公告:任何电脑问题可直接在电脑问题求助区发帖,24小时巡逻,及时解决您的问题!
回复 支持 反对

使用道具 举报

签到天数: 7 天

连续签到: 1 天

[LV.3]偶尔看看II

发表于 2013-9-28 22:50:38 | 显示全部楼层
突然有种茅塞顿开的赶脚···
公告:任何电脑问题可直接在电脑问题求助区发帖,24小时巡逻,及时解决您的问题!
回复 支持 反对

使用道具 举报

签到天数: 698 天

连续签到: 9 天

[LV.9]以坛为家II

发表于 2013-10-6 09:14:29 | 显示全部楼层
果然一开始是不明觉厉
此刻顿感原来如此 =v=
公告:任何电脑问题可直接在电脑问题求助区发帖,24小时巡逻,及时解决您的问题!
回复 支持 反对

使用道具 举报

签到天数: 12 天

连续签到: 1 天

[LV.3]偶尔看看II

发表于 2013-12-17 18:37:40 | 显示全部楼层
,。。,只想说fk
公告:任何电脑问题可直接在电脑问题求助区发帖,24小时巡逻,及时解决您的问题!
回复

使用道具 举报

该用户从未签到

发表于 2014-1-27 15:26:07 | 显示全部楼层
那tokyo hot  还安全 么
公告:任何电脑问题可直接在电脑问题求助区发帖,24小时巡逻,及时解决您的问题!
回复 支持 反对

使用道具 举报

签到天数: 26 天

连续签到: 1 天

[LV.4]偶尔看看III

发表于 2014-3-21 23:42:53 | 显示全部楼层
看完一下子明白了许多,谢谢解答问题!!!!!
公告:任何电脑问题可直接在电脑问题求助区发帖,24小时巡逻,及时解决您的问题!
回复 支持 反对

使用道具 举报

签到天数: 13 天

连续签到: 1 天

[LV.3]偶尔看看II

发表于 2014-5-24 16:22:11 | 显示全部楼层
我就说嘛 我猜也是这样 就是建立一个资源器  相同的你就“不需要”传啦
这是不是和文件的压缩有点相似啊?
公告:任何电脑问题可直接在电脑问题求助区发帖,24小时巡逻,及时解决您的问题!
回复 支持 反对

使用道具 举报

该用户从未签到

发表于 2014-6-5 10:25:37 | 显示全部楼层
原来如此,学到东西啦
公告:任何电脑问题可直接在电脑问题求助区发帖,24小时巡逻,及时解决您的问题!
回复 支持 反对

使用道具 举报

签到天数: 18 天

连续签到: 1 天

[LV.4]偶尔看看III

发表于 2014-6-30 10:03:09 | 显示全部楼层
原来网盘的真相就是这个样子 我们共用的一个大数据库
公告:任何电脑问题可直接在电脑问题求助区发帖,24小时巡逻,及时解决您的问题!
回复 支持 反对

使用道具 举报

签到天数: 9 天

连续签到: 1 天

[LV.3]偶尔看看II

发表于 2015-4-4 22:23:35 | 显示全部楼层
看样子索菲亚大大对东京很热蛮了解的嘛
公告:任何电脑问题可直接在电脑问题求助区发帖,24小时巡逻,及时解决您的问题!
回复 支持 反对

使用道具 举报

签到天数: 1 天

连续签到: 1 天

[LV.1]初来乍到

发表于 2015-8-24 23:41:27 | 显示全部楼层
终于了解了,原来这样子 啊
公告:任何电脑问题可直接在电脑问题求助区发帖,24小时巡逻,及时解决您的问题!
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 加入千酷  

本版积分规则 允许回帖同步到新浪微博  


免责声明

请勿发布违反中华人民共和国法律法规的言论,会员观点不代表千酷论坛官方立场。

小黑屋|手机版|千酷论坛 ( 皖ICP备13016361号-2|网站地图   

GMT+8, 2016-12-6 13:59 , Processed in 0.364481 second(s), 36 queries , Gzip On.

Copyright ©2013-2014 qiankoo.com.All Rights Reserved.

快速回复 返回顶部 返回列表