[经验] DSSD的研发车间(转)

白丁   2016-2-25 21:36 楼主
转自http://mp.weixin.qq.com/s?__biz= ... NTYzMw==&scene=6#rd

我们来看看一个老外对神秘的[url=]DSSD[/url]内部的参观,可以知道他们在干什么。
640.jpg
首先,来猜一下什么是[url=]DSSD[/url]的产品:
1. 并不是传统的磁盘阵列,因为是用在Server上面的;
2. 存储密度会非常高。性能和密度都会超出你的想象,因为它的目标是要当一个大内存使用,能跑内存数据库等。
3. 延迟会非常低。大概几十微秒,要知道NAND Flash MLC的写时间是毫秒级,读是几百微秒,所以DSSD肯定要用DRAM或者SLC做Cache层。

再来猜一下DSSD的用途:
1. 需要高频读写的数据存储。基于分布式文件系统,分布式意味着每个server都有数据存储,而不是存储阵列一样集中。
2. 需要高频读写的数据,同时有key-value存储,高性能计算,尤其是数据密集的高性能计算。
说白了,就是对大内存的要求。

聊完技术,咱们就开始DSSD之旅了。
DSSD位于加州的Menlo Park,反正就是大牛们扎堆的硅谷了。
641.jpg
一栋老房子,新装修了一下。记者大清早过去,大家还忙忙碌碌的。大厅里面好多新员工,软件工程师、客户支持之类。今年五月的时候有160多名员工,而且还在快速增长。毕竟被收购了,有的是银子发工钱。
642.jpg
下面是个DSSD的早期原型机,O(∩_∩)O哈哈~ 很山寨,风扇,电源,网线,板子上的飞线,下面的板子上好像是4个插槽,紫色的应该是PCIe线缆,所以估计是PCIe接口,密集的PCIe接口确实很恐怖,最终会制造出怎样高的带宽呢?拭目以待~
643.jpg
下面这台主机里面插了8块PCIe接口卡,从服务器的两个散热盒看有点像是NUMA架构的机器。一条线是PCIe Gen 3 x 4 Lane,8条的速度将近32GB/s。
644.jpg
PCIe接口卡的原型,它的作用就是把PCIe线缆接口转为主板上的PCIe插槽接口。
645.jpg
为了达到这么高的带宽和延迟,DSSD的Flash用了很多模组,如下图,你能想象里面有512个Flash Die(几个Die可以封装成一个芯片)并行工作吗?要知道一般的消费级SSD里面只有4到8个数据通道,DSSD这个模组里面估计至少有几十个通道。

打开看看里面的电路板,有很多Flash,SRAM作为Cache(没用DRAM,好奢侈),还有DSSD自己的控制器,外壳上涂了散热胶。整体功耗45-60W,其实还挺高的。从右往左详细看看:
1. 最右边是接口,像是PCIe。
2. SRAM做Cache。
3. 控制器芯片,在背面。
4. 一大波Flash。
5. 有点像是锂电池,估计是来做掉电保护的。
646.jpg
来看看DSSD的整体,它是个5U的机箱,功耗是2000W,所以散热很重要。可以看到上下都有一堆风扇,这要是都转起来,声音可是震耳欲聋啊。
647.jpg
散热的设计其实是很复杂的,有点像是混沌,一个很小的因素可能导致很大的不可预期的结果。DSSD的团队非常专业,用3D打印来制造原型,做实验并不断修改。下图是他们的Makerbots 3D打印机。
648.jpg

649.jpg

会议室旁边就是测试机房。
650.jpg
这台5U的DSSD连到了48个主机上,里面每个白色的就是1个之前看到的Flash模组,可见容量和性能有多大。我数了一下,有36块!!可以想象最终的性能和容量了。中间那个白色的是DSSD,上下都是测试的主机。
651.jpg

652.jpg

看看后面,可怕的PCIe线缆。。。。每台主机都连了冗余的PCIe线缆。下图是DSSD的背后,一堆PCIe线。
653.jpg


654.jpg

其实这栋楼以前就是Sun当年风光无限的时候持有的,所以DSSD的很多员工可能又回到了当年的地盘。

658.jpg

2013年做的PCIe Switch原型板。

659.jpg

再来回顾一下DSSD的软硬件特点:

1. 硬件:接近DRAM的延迟,超高存储密度,高IOPS,高带宽;

2. 软件:支持Key-Value存储 API,MemcacheD,交易型分布式文件系统。

training

回复评论 (5)

不错,谢谢分享!
点赞  2016-2-25 21:46
第一张图不是makebot2么?
点赞  2016-2-25 22:14
然后看到下面还有SLS的光固化打印机。。。恩。。。FDM和SLS都全了  环境还不错!
点赞  2016-2-25 22:15
我的下一台FDM机器就是1:1仿制Makebot2这家伙   国内没授权  只有进口  据说精度相当高  于是1:1复制一台
点赞  2016-2-25 22:19
绝对土豪的玩法
点赞  2016-2-26 09:35
电子工程世界版权所有 京B2-20211791 京ICP备10001474号-1 京公网安备 11010802033920号
    写回复