一直对DELL以及HPE家的U.2的多盘位热拔插笼子垂涎已久，但是又狠不下心去买一台他们的服务器工作站，因为我本人有一些存储测试的需求，确实U.2的热插拔笼子会大幅提升工作效率，于是在市场上兜兜转转，发现了一款企业级的U.2四盘位DOCK产品：ICY DOCK ToughArmor MB699VP-B V2。

▲这是一款标准的PCIe 4.0产品，也满足我的需求，所以就买回来一探究竟。购买之前我扒了一下这家公司的背景。

▲艾西达克（ICY DOCK）隶中铵艾科科技（深圳）有限公司，品牌创立于1994年，专注于专业硬盘及数位存储周边硬体解决方案，提供企业及专业用户高硬盘密度，易维护，省系统空间及高稳定度的内外接硬盘盒。艾西达克位于美国加州的研发团队，依据一级企业客户需求导向设计，坚持不断优化创新，掌握多项专利技术，并通过国际一级企业严格的测试验证与使用，持续为客户创造长期价值。艾西达克全球据点提供客户即时的技术支援跟售后服务，产品广受欧美一级企业，工控计算机大厂，以及政府及军方采用，范围涵盖数位监控，医疗系统，高速绘图，影音编辑，生产自动化，大数据，AI人工智慧，云端存储，军规系统数位搜证等。

▲ICY DOCK ToughArmor MB699VP-B V2是发展到第二代的产品，其雏形是基于2015年和HP合作推出的OEM/ODM产品，在此基础上做出改良，定位更加亲和大众DIY市场。可以说是基于企业级定位的定制版改良后推出的产品。

▲从合作客户来看，该公司是一家深耕ODM/OEM市场的资源配套东西，为各家的整机工作站服务器提供硬盘存储机构的定制服务，完整自我生态链之后逐渐迈入零售市场。

▲这个官网有趣的地方在于提供了DELL HP等主流服务器工作站对自己产品的兼容列表，

▲比如我们选择HP Z8工作站，网站会直接提供适配Z8的各种产品供你选择。这等于在应用层面给出了可靠性证明，你可以不用购买HPE高昂的附件而转向ICY DOCK相对廉价的产品序列。

▲针对MAC产品，ICK DOCK也给出了升级购买指南。

▲比如我们选择MAC PRO 5.1，网站会给出适配的产品系列供选择。

这种高度嵌入品牌工作站服务器的指南提供了更多的适配性保障，目前在同类的产品中尚属少见。因为消费者尤其是品牌机消费者很关心就是买回家能不能正常兼容适配，这里ICY DOCK官网给出了有效的兼容性证明。

开箱

▲包装正面

▲包装背面

▲包装侧面

▲开箱

▲ICY DOCK ToughArmor MB699VP-B V2本体正面

▲ICY DOCK ToughArmor MB699VP-B V2本体背面

ICY DOCK产品大部分都采用的是TRAY+BODY全金属设计，本款产品也不例外，钢构机体坚固度提升，不容易损毁，毕竟他们产品的对标客户都是企业级客户，坚固的机体可以有效降低RMA成本，提升用户的使用可靠性，这是系统集成商以及企业级用户的刚需。

想象一下，如果今年的预算已经用完在购买设备上，结果隔年产品出了问题，结果没有特别留下经费去做维护保固，客户要再去向上层申请维修经费，公司内部也要跑很多流程，此举会给客户添很多不必要麻烦，然而他们的上层也会对他有不好的印象。所以产品能不出事，对于他们会是一个很大痛点，尤其对大客户，集成商。高品质产品，回应快的的维修团队，都可帮助客户在这痛点上解除问题。

▲风扇是采用Coolingfan出品的4020规格风扇，型号为DFB402012H，参数为DC 12V 0.15A，标准的3PIN接口。

▲当然官网有一个标准的替换风扇的验证型号供给替换参考

▲DOCK上内置了三档的手动风扇转速调节器，分别是关闭，低速和高速模式

▲供电部分是用了两组SATA供电接口

▲数据接口部分使用了四组SFF-8012接口输入，也是我们常说的OCulink接口

▲DOCK侧面可以使用螺丝固定在机箱的5.25寸光驱位，只占用一个光驱位可以容纳4颗U.2 SSD。

▲下面说一下SSD的安装

▲按下DOCK上的盘位弹出按钮，可以弹出盘架

▲四个盘架完全弹出

▲附件很简单只有几颗螺丝和一个盘标

▲盘标是一个这样的塑料物件，

▲取下盘标可以安装在盘位对每个SSD进行标识。

测试平台

▲测试这个DOCK接驳SSD的性能损耗，需要一块PCIe 4.0 x4的U.2 SSD

▲我选择的是SKhynix PE8010 3.84TB U.2 PCIe Gen 4X4 SSD

▲溯源自StorageReview提供的参数，SKhynix PE8010 3.84TB的性能参数如上

▲SKhynix PE8010 3.84TB U.2 PCIe Gen 4X4 SSD本体正面

▲SKhynix PE8010 3.84TB U.2 PCIe Gen 4X4 SSD本体背面

▲标准的U.2接口，我们标准的叫法是SFF-8639。

我选择了最常见的U.2 SSD接驳方式，将M.2转SFF-8643的转接卡 接驳 SFF-4843转SFF-8639的线材，然后直连U.2 SSD，这种是大家最常用的接驳方式，

▲UMC8643(PCIe Gen4X4 M.2 to SFF-8643)

京东

NFHK M.2转U.2 SFF-8639转接卡

▲Amphenol RHS36-7304 Cable REV:AX3(SFF-8643 to SFF-8639)

于是

UMC8643(PCIe Gen4X4 M.2 to SFF-8643)

Amphenol RHS36-7304 Cable REV:AX3(SFF-8643 to SFF-8639)

这个组合就成为第1组我们测试的对象，我们命名为A组

然后就是测试B组，B组里面最关键的就是PCIe通道卡以及线材。

我们先来看ICY DOCK测试的兼容性设备列举的附加卡

HighPoint SSD7850A

这是一张标准的PCI-Express 4.0 x16支持8个U.2 NVMe SSD的RAID卡

Supermicro AOC-SLG4-4E4T

这是一张标准的PCI-Express 4.0 x16支持4个U.2 NVMe SSD的Retimer卡

很可惜，这两张我都没有，所以我选择了一个略微廉价一些的替代方案Linkreal LRNV9F24

▲Linkreal LRNV9F24(PCIe 4.0 X16 to SFF-8654 X2)

天猫精选

LinkrealPCIe4.0U.2NVMe扩展卡

这张卡从某个角度上是Supermicro AOC-SLG4-4E4T的同类型产品，是标准的PCI-Express 4.0 x16支持4个U.2 NVMe SSD的Retimer卡。

▲线材选择的是最稳定的Amphenol RSL74-6658 Cable(SFF-8654 to 2*SFF-8611)

于是

Linkreal LRNV9F24(PCIe 4.0 X16 to SFF-8654 X2)

Amphenol RSL74-6658 Cable(SFF-8654 to 2*SFF-8611)

ICY DOCK ToughArmor MB699VP-B V2

这个组合就成为第2组我们测试的对象，我们命名为B组

这里我们采用AB组两种测试方案以评估DOCK的性能损失。以获得较为可靠的结果。

测试平台

【CPU】: AMD Ryzen 7 5800X

【主板】: ASRock X570S PG Riptide

【内存】: Micron MTA29ASF4G72AZ-3G2BZTG ECC 32GB X4

【显卡】: AMD FirePro W2100

【散热】: Thermalright Forzen Magic 240 ARGB

【机箱】: SilverStone RM42-502

【电源】: Seasonic Focus GX1000

【扩展】: SSU SU-SA3034A(ASM1064 to SATA X4)

【扩展】: ICY DOCK ToughArmor MB998SP-B(SATA X8)

【硬盘】: SKhynix PE8010 3.84TB U.2 PCIe Gen 4X4 SSD

测试A组

【扩展】: UMC8643(PCIe Gen4X4 M.2 to SFF-8643)

【线材】: Amphenol RHS36-7304 Cable REV:AX3(SFF-8643 to SFF-8639)

测试B组

【扩展】: Linkreal LRNV9F24(PCIe 4.0 X16 to SFF-8654 X2)

【线材】: Amphenol RSL74-6658 Cable(SFF-8654 to 2*SFF-8611) X2

【扩展】: ICY DOCK ToughArmor MB699VP-B V2(SFF-8611 to U.2 X4)

▲可以说这是一套我组装的服务器测试系统

京东

银欣（SilverStone）4U服务器多硬盘工控机箱

▲DOCK安装在5.25光驱位

▲方便热插拔

▲BIOS里将第一条PCIe x16设置拆分4X4

▲第一条PCIe x16带宽指定Gen4

至此设置完毕

SNIA PTS标准化测试

因为我们要评估的是整体稳定状态下的性能损耗指标，所以当然不能用CDM或者AS SSD BENCHMARK这种短时测试来获取数据，这里使用SNIA PTS评估验证！

▲全球网络存储工业协会（Storage Networking Industry Association，SNIA）是成立时间比较早的存储厂家中立的行业协会组织，宗旨是领导全世界范围的存储行业开发、推广标准、技术和培训服务，增强组织的信息管理能力。作为一家非盈利的行业组织，拥有420多家来自世界各地的公司成员以及7100多位个人成员，遍及整个存储行业。它的成员包括不同的厂商和用户，有投票权的核心成员有Dell、IBM、NetApp、EMC、Intel、Oracle、FUJITSU、JUNIPER、QLOGIC、HP、LSI、SYMANTEC、HITACHI、Microsoft、VMware、Huawei-Symantec十五家，其他成员有近百以上，从成员的组成可以看出，核心成员来自核心的存储厂商，所以SNIA就是存储行业的领导组织。在全球范围SNIA已经拥有七家分支机构：欧洲、加拿大、日本、中国、南亚、印度以及澳洲&新西兰。

Solid State Storage Performance Test Specification Enterprise v1.0是SNIA于2011年给Enterprise SSD都制定了Performance Test（性能测试）的规范，可以到其网站www.snia.org下载。

这个测试会将一切的外部加成全部忽略掉，将其打落到NAND本质的速度，进行严格的稳定态测试，如果性能浮动太大的话，可能永远无法达到稳定态直到测试中断，或者如果EARSE机制偶发性失效出现问题，这个测试也会中断，所以不是什么盘都能得到最终的测试结果，很多盘没跑完测试就已经被强制中断测试了，所以我很想知道这个盘以何种姿态通过测试或者不通过。

在SNIA组织定义的规范中，规范了如何测试闪存设备或固态存储。业界希望有一种来比较SSD的科学方法，这也是需要SNIA测试规范的原因。SSD的写入性能在很大程度上取决于NAND的写入历史。SSD一般有三个写阶段：

1、FOB（全新从盒子里拿出来的状态）

2、Transition(过渡)

3、Steady State(稳定状态)

以上图例来自SINA PTS 1.1测试规范

Transition(过渡)过渡是FOB和稳态的良好表现之间的阶段。大多数情况下，性能会随着时间的推移而持续下降，直到达到稳定状态为止。SNIA PTS1.1的测试规范则很严格的监控了FOB到稳定态的每一个阶段，以及评估标准帮你去确认你的企业级SSD确实达到了稳定态，所以根据以上溯源我们有了如下的操作：

软件系统及设置

操作系统 : Ubuntu 19.04 Disco Dingo (development branch)

内核版本 : 5.0.0-11-generic

测试软件: fio-3.12

Number of jobs: 2

Number of outstanding IOs (iodepth): 32

测试A组

【CPU】: AMD Ryzen 7 5800X

【主板】: ASRock X570S PG Riptide

【内存】: Micron MTA29ASF4G72AZ-3G2BZTG ECC 32GB X4

【显卡】: AMD FirePro W2100

【散热】: Thermalright Forzen Magic 240 ARGB

【机箱】: SilverStone RM42-502

【电源】: Seasonic Focus GX1000

【SSD】: Samsung SM961 1TB PCIe Gen 3X4 SSD

【SSD】: SKhynix PE8010 3.84TB U.2 PCIe Gen 4X4 SSD

【扩展】: UMC8643(PCIe Gen4X4 M.2 to SFF-8643)

【线材】: Amphenol RHS36-7304 Cable(SFF-8643 to SFF-8639)

1、IOPS测试（IOPS）

测试方法

进行Secure Erase安全擦除

预处理：128K持续写入双倍SSD容量

每一轮测试包含.512B，4K，8K，16K，32K，64K，128K，以及1MB数据块大小，每个数据块在100％，95％，65％，50％，35％，5％和0％运行读/写混合测试，各为一分钟。试验由25回合(Round)组成（一个循环需要56分钟，25回合=1400分钟）

使用4K随机写入的IOPS作为测试目标，写入振幅20%平均值与测量值线性最佳拟合线的斜率作为验证进入稳定态的标准。

▲IOPS稳态收敛图-QD32

显示相关变量如何试图收敛到稳定状态的过程

▲IOPS稳定态验证图-QD32

测试结果：

Steady State Information

-------------------------

Steady State has been reached:

- True

Steady State has been reached in rounds :

- deque([0, 1, 2, 3, 4])

Values in stdy measurement window:

- deque([121009, 115038, 119551, 116373, 119035])

Average in stdy measurement window:

- 118201.2

▲数据显示（0，1，2，3，4）回合直接进入了稳态，稳定态窗口的4K QD32 T2 Random Write平均速度为118201.2 IOPS。

▲IOPS测试2D图-QD32

▲IOPS测试3D图-QD32

2、带宽测试（TP）

测试方法

进行Secure Erase安全擦除

对于['1024k', '64k', '8k', '4k', '512']数据块大小进行持续读写60秒为一回合（Round)

使用1024K持续写入的吞吐量作为测试目标，写入振幅20%平均值与测量值线性最佳拟合线的斜率作为验证进入稳定态的标准

▲带宽稳态收敛图-QD32显示相关变量如何收敛到稳定状态的过程

▲带宽稳定态验证图-QD32

测试结果：

Steady State Information

-------------------------

Steady State has been reached:

- True

Steady State has been reached in rounds :

- deque([0, 1, 2, 3, 4])

Values in stdy measurement window:

- deque([2357968, 2382640, 2393341, 2365358, 2523392])

Average in stdy measurement window:

- 2404539.8

▲显示（0，1，2，3，4）回合直接进入了稳态，稳定态窗口的平均速度SEQ 1M QD32 T2为2404539.8 KB =2404.5398 MB/s

▲读写带宽测试2D图-QD32

我们可以看到稳定态下持续读写各个数据块下的平均表现力，1M数据块下持续读平均带宽6145.699 MB/s，持续写平均带宽2348.183 MB/s。

3、延迟测试（LAT）

测试方法

进行Secure Erase安全擦除

预处理：128K持续写入双倍SSD容量

对于['8k'，'4k'，'512']数据块大小进行100%读，65%读35%写，100%写的随机读写测试，测量最大最小以及平均的延迟，60秒为一个回合（Round）

使用4K随机写入的平均延迟作为测试目标，写入振幅20%平均值与测量值线性最佳拟合线的斜率作为验证进入稳定态的标准

▲延迟稳定态收敛图-QD32显示相关变量如何收敛到稳定状态的过程

▲延迟稳定态确认图-QD32

测试结果：

Steady State Information

-------------------------

Steady State has been reached:

- True

Steady State has been reached in rounds :

- deque([1, 2, 3, 4, 5])

Values in stdy measurement window:

- deque([15.891805, 14.890339, 15.015807, 14.205237, 14.64398])

Average in stdy measurement window:

- 14.929433600000001

▲显示在（1、2、3、4、5）回合达到了稳定态，稳定态窗口在4K QD32 T2随机写入过程中平均延迟为14.93微秒

▲平均延迟在所有进程中的表现在0.08毫秒以内。

▲最大延迟在所有进程中的表现在2.75毫秒以内。

▲平均和最大延迟3D图-QD32以及汇总数据。

4、写饱和度测试（WRITESAT）

测试方法

进行Secure Erase安全擦除

执行4K随机写入1分钟为一回合（Round），写入4倍全盘容量或者24h，以先达到者为准

计算各个回合的平均IOPS（Avg IOPS）

测试结果：

IOPS: 646490

Tot Write IO: 155160320

Latencies: 0.098

Write Sat rounds: 96

▲写饱和平均IOPS图-QD32

这个测试实际96轮写满4倍全盘容量，平均写入速度6446490 IOPS附近。

▲写饱和平均延迟图-QD32

平均延迟跑在0.098毫秒以内一直到测试结束。

测试B组

【CPU】: AMD Ryzen 7 5800X

【主板】: ASRock X570S PG Riptide

【内存】: Micron MTA29ASF4G72AZ-3G2BZTG ECC 32GB X4

【显卡】: AMD FirePro W2100

【散热】: Thermalright Forzen Magic 240 ARGB

【机箱】: SilverStone RM42-502

【电源】: Seasonic Focus GX1000

【SSD】: Samsung SM961 1TB PCIe Gen 3X4 SSD

【SSD】: SKhynix PE8010 3.84TB U.2 PCIe Gen 4X4 SSD

【扩展】: Linkreal LRNV9F24(PCIe Gen4X16 to 2*SFF-8654)

【线材】: Amphenol RSL74-6658 Cable(SFF-8654 to 2*SFF-8611)

【扩展】: ICY DOCK ToughArmor MB699VP-B V2(4*SFF-8611 to 4*U.2)

1、IOPS测试（IOPS）

测试方法

进行Secure Erase安全擦除

预处理：128K持续写入双倍SSD容量

每一轮测试包含.512B，4K，8K，16K，32K，64K，128K，以及1MB数据块大小，每个数据块在100％，95％，65％，50％，35％，5％和0％运行读/写混合测试，各为一分钟。试验由25回合(Round)组成（一个循环需要56分钟，25回合=1400分钟）

使用4K随机写入的IOPS作为测试目标，写入振幅20%平均值与测量值线性最佳拟合线的斜率作为验证进入稳定态的标准。

▲IOPS稳态收敛图-QD32

显示相关变量如何试图收敛到稳定状态的过程

▲IOPS稳定态验证图-QD32

测试结果：

Steady State Information

-------------------------

Steady State has been reached:

- True

Steady State has been reached in rounds :

- deque([0, 1, 2, 3, 4])

Values in stdy measurement window:

- deque([119552, 115655, 115563, 116206, 117980])

Average in stdy measurement window:

- 116991.2

▲数据显示（0，1，2，3，4）回合直接进入了稳态，稳定态窗口的4K QD32 T2 Random Write平均速度为116991.2 IOPS。

▲IOPS测试2D图-QD32

▲IOPS测试3D图-QD32

2、带宽测试

测试方法

进行Secure Erase安全擦除

对于['1024k', '64k', '8k', '4k', '512']数据块大小进行持续读写60秒为一回合（Round)

使用1024K持续写入的吞吐量作为测试目标，写入振幅20%平均值与测量值线性最佳拟合线的斜率作为验证进入稳定态的标准

▲带宽稳态收敛图-QD32显示相关变量如何收敛到稳定状态的过程

▲带宽稳定态验证图-QD32

测试结果：

Steady State Information

-------------------------

Steady State has been reached:

- True

Steady State has been reached in rounds :

- deque([0, 1, 2, 3, 4])

Values in stdy measurement window:

- deque([2293312, 2317178, 2301889, 2284353, 2569178])

Average in stdy measurement window:

- 2353182.0

▲显示（0，1，2，3，4）回合直接进入了稳态，稳定态窗口的1M QD32 T2 SEQ Write平均速度为2353182 KB =2353.182 MB/s

▲读写带宽测试2D图-QD32

我们可以看到稳定态下持续读写各个数据块下的平均表现力，1M数据块下持续读平均带宽7018.873 MB/s，持续写平均带宽6398.546 MB/s。

3、延迟测试（LAT）

测试方法

进行Secure Erase安全擦除

预处理：128K持续写入双倍SSD容量

对于['8k'，'4k'，'512']数据块大小进行100%读，65%读35%写，100%写的随机读写测试，测量最大最小以及平均的延迟，60秒为一个回合（Round）

使用4K随机写入的平均延迟作为测试目标，写入振幅20%平均值与测量值线性最佳拟合线的斜率作为验证进入稳定态的标准

▲延迟稳定态收敛图-QD32显示相关变量如何收敛到稳定状态的过程

▲延迟稳定态确认图-QD32

测试结果：

Steady State Information

-------------------------

Steady State has been reached:

- True

Steady State has been reached in rounds :

- deque([0, 1, 2, 3, 4])

Values in stdy measurement window:

- deque([16.168718, 14.945567, 15.604841, 15.522477, 14.929844])

Average in stdy measurement window:

- 15.4342894

▲测试结果显示在（0、1、2、3、4）回合达到了稳定态，稳定态窗口在4K QD32 T2随机写入过程中平均延迟为15.43微秒

▲平均延迟在所有进程中的表现在0.07毫秒以内。

▲最大延迟在所有进程中的表现在4.0毫秒以内。

▲平均和最大延迟3D图-QD32以及汇总数据。

4、写饱和度测试（WRITESAT）

测试方法

进行Secure Erase安全擦除

执行4K随机写入1分钟为一回合（Round），写入4倍全盘容量或者24h，以先达到者为准

计算各个回合的平均IOPS（Avg IOPS）

测试结果:

IOPS: 621464

Tot Write IO: 149154060

Latencies: 0.101

Write Sat rounds: 100

▲写饱和平均IOPS图-QD32

这个测试实际100轮写满4倍全盘容量，写入速度平均在6214464OPS附近。

▲写饱和平均延迟图-QD32

平均跑在0.101毫秒以内一直到测试结束。

A组 VS B组

设定蓝色为A组，绿色为B组使用以上的AB组测试得出的数据进行对比

IOPS测试（越高越好）

Read:

A组 533245 IOPS

B组 532848 IOPS

B组是A组性能的99.93%

R50%/W50%:

A组 365213 IOPS

B组 359646 IOPS

B组是A组性能的98.48%

Write:

A组 325460 IOPS

B组 333472 IOPS

B组是A组性能的102.46%

TP测试（越高越好）

1M Read:

A组 6145.699 MB/s

B组 6165.475 MB/s

B组是A组性能的100.32%

1M Write

A组 2348.183 MB/s

B组 2298.029 MB/s

B组是A组性能的97.86%

64K Read:

A组 6189.590 MB/s

B组 6130.055 MB/s

B组是A组性能的99.04%

64K Write:

A组 2649.665 MB/s

B组 2631.769 MB/s

B组是A组性能的99.32%

8K Read:

A组 3413.915 MB/s

B组 3435.539 MB/s

B组是A组性能的100.63%

8K Write:

A组 2691.607 MB/s

B组 2673.216 MB/s

B组是A组性能的99.32%

LAT测试（越低越好）

Read:

A组 0.069 ms

B组 0.066 ms

B组平均延迟是A组的95.65%

R65%/W35%:

A组 0.049 ms

B组 0.047 ms

B组平均延迟是A组的95.91%

Write:

A组 0.012 ms

B组 0.012 ms

AB组平均延迟一致

WriteSAT测试（越高越好）

A组 646490 IOPS

B组 621464 IOPS

B组是A组性能的96.12%

测试来说，我觉得AB两组之间互有胜负，其中最大性能偏差低于4.35%，说明B组组合

【扩展】: Linkreal LRNV9F24(PCIe 4.0 X16 to SFF-8654 X2)

【线材】: Amphenol RSL74-6658 Cable(SFF-8654 to 2*SFF-8611) X2

【扩展】: ICY DOCK ToughArmor MB699VP-B V2(SFF-8611 to U.2 X4)

是可以达到可用要求标准的。推荐使用！

结论

1、从产品的质量而言，钢构机体的使用可靠性是我比较关注的部分，TRAY+BODY全金属设计是整个产品的点睛之笔。

2、英文官网给出的产品推荐指南是我见过最全面最复杂最专业的选品系统，涵盖了大部分DELL HP APPLE的工作站服务器型号，也许这几家的官网关于存储设备的介绍都没有此网站全面，然后测试SSD列表，通道卡，线材列表也比较全面，甚至连风扇的替换型号都做了详尽的测试与推荐，这些资讯需要专业的态度去审视，对于专业的采购具有较全面的指导性意见。这类产品购买的拦路虎不是价格而是不懂如何搭配使用，不知道能否使用，官网指南精准的解决了这个问题。

3、解决了机体坚固度问题以及购买指南之后，就是产品的性能损耗问题，经过专业的SNIA PTS测试，对比性能偏差，损耗在可接受范围之内，令我意外的是竟然还有正向的性能收益。二重转接到DOCK的性能部分优于一重直连，这是我没有想到的情况，这一点和我过去测试过的INTEL U.2背板+笼子模块所得到的全面性能衰减的结果完全没有可比性，这是这个产品给我的惊喜所在。