大家下午好！我是来自于IBM的系统架构师，我今天跟大家讲一下IBM的水冷系统，首先，我们知道冷板式水冷系统的大概结构，最外面是冷却塔，然后是一次侧，里面是CDU和二次侧，这是一个基本的结构。

我们下面涉及到的IBM的水冷系统范畴实际上指的是在CDU的二次侧这边，中间有一些名字和国内厂商以及国内业界用的名字不太一样，这个是IBM自己说的一些名字。但是总体结构是类似的。这里有一点，做水冷比较重要的就是我们要控制的就是在二次侧的露点，防止结露。

在IBM的液冷系统里面，第一个是在服务器端的冷板式系统，然后是机架内的分水器以及冷量分配器、管路设施和液体、接头还有辅助设备，我们都认为这是一套水冷系统里面所需要的东西。

在之前有个事情大家应该知道，在今年6月份发布了一个TOP500的榜单上IBM有一款名叫Summit的超算暂居第一位 ，这只是性能的数据。如果大家详细看榜单的话，可以看到它的Core数是比较少的，而且功耗也是比第二名或者是后面的都少一些，这些是因为我们使用的IBM AC922 GPU服务器，6个GPU在2U空间里面，就是再大的风也吹不冷滚烫的心，所以使用水冷基本是必需的，而且使用了水冷功耗也相应下降了。我们这里的一个水冷是半水冷式的，在核心部件上用了水冷的冷板，里面的内存还有插的板卡还是使用设施内的风，在机器内的前端还是有风扇的，需要设施内有冷风的。大家也知道，做水冷服务器最大的成本投入在冷板上，使用全水冷，半水冷都需要跟风冷去比，你的投入产出比需要做一个均衡，我们这一款服务器基础构架是用了POWER9的处理器，我们去做散热需要在CPU和GPU都使用了水冷的部件，我们的板卡需要有客户插卡的要求，我们这边就没有再使用冷板，内存也考虑可维护性，所以也没有使用冷板，继续使用风扇的散热。

系统机箱内的整个的一套水冷系统，包括了供水管和供水管分流器，分为两支，各自经过CPU冷板，再经过3个GPU的冷板，然后回水汇聚在回水管分流器和回水管。我们这边3个GPU上是一个柔性的冷板，三个GPU在一起是一大块冷板扣在GPU上，但是在放的时候由于Socket的公差，高低上可能有一些落差，为了吃掉这些落差我们做了一块大的柔性冷板，本身有一些柔性在里面，允许你有一些高低的变化，这一块是跟别的地方不太一样的。

这张图是关于制冷剂的流速和结露控制这边，上面这条线是入水的温度，下面是流速，根据实验结果我们这里有两条线，在这两条线之间的部分没有结露的风险。在这边我画了一个红圈是IBM所做的实验最高的35度，在35度情况下已经非常接近于所谓温水的范畴，这个温水我也跟内部的同事进行过讨论，我们之所以没有使用更高的温度，原因是我们要选择的温度是自然界里面可以出现的温度，我不要人为去为了得到一个高的温度而加上去，我们主要的目的第一是散热，第二是降低功耗、降低能耗，绿色这个方面的考量，所以我们在这一款机器里面最高温度是35度。另外，这个GPU V100上面本身带内存有2款，要看你使用的GPU到底是32GB还是64GB的显存，不同显存大小的，比如32GB得版本，可以在35度上加几度 。不过我们推荐这台机器使用的入水温度仍然是18-27度，这是我们在实验室里面使用的推荐温度。

我们还对机架里面摆的服务器多少以及制冷剂流速的影响，做过一个线图，图里面描述得是，当你一个机架里面摆了不同数量机器的时候，整个液态压降和水的流速之间的比例关系。

第二部分就是说机架内的分水器，以及IBM的液冷机架，其是也是42U的支持液冷的机架，就是这个是可以放置分水器的，这个机架以及分水器又会分为上出水和下出水两种，如果你是落地的那就是走上面的，如果地板是抬高的就可以走下面。具体的是有相应的型号配套的。

关于冷量分配器，就是CDU这一块，我觉得在国内见过大家似乎都用的是一家或者几家的产品，基本上CDU也分为落地式和机柜式，在大型的服务中心大部分都用落地式的。

刚刚说完设备了，我们要看一看在整个水冷系统里面最关心的问题，液体。 这个液体，一个是可以把热量带出去，第二个是关系到这个系统可以运转多长时间，你管路里面这些液体会不会进行腐蚀，液体长时间运转以后会不会有沉积还有微生物繁殖这些东西都会带来问题，可能用很长时间就堵塞了，所以IBM对它进行过很多的研究，这边看到管路中引发的问题有这几种：首先结垢，就是完全看液体的纯净度怎么样了；然后污垢，就是真菌、有机物和腐蚀物，最后是微生物的繁殖，这个会加速腐蚀。这边这个图是告诉你这边附着了一些真菌，就会对你的表面金属层进行腐蚀，这样就会愈演愈烈。

刚刚联想的同事也提到过，我们在做水冷系统的时候有5个部分，这边来看的话也是分5个部分要注意，来解决这个水会引发的问题，无论是从设计层、制造层还是运输层、安装层、维护层都要做到洁净，我们通过5个链式洁净做到系统洁净，以后能够保证系统稳定长期的运行。

再说一下管路的材料，其实很多东西都是在ASHRAE里面可以看到的。IBM有一些推荐的材料，在管路上尤其是二次侧的管路要使用无铅的铜合金，且含锌量小于15%，第二是低碳不锈钢，要做抗腐蚀的特殊处理还有钝化处理，防止酸液滞留缝隙上。第三是三元乙丙橡胶，这个要垂直燃烧测试等级在CSA UL VW-1或以上，最好做过硫化处理，不吸收唑类，第四个是聚氯乙烯管，就是我们家庭装修用的PVC，这个不推荐使用在二次侧，但是一次侧可以使用。管路设施不推荐使用的材料，一个是铝或者铝合金，含铅的铜或者含锌量超过15%的铜，还有非不锈钢，以及未经抗腐蚀处理的的不锈钢。

螺纹接口处理我们不建议使用聚四氟乙烯，也就是我们家装用的生料带，最好用螺纹密封剂，同时密封剂还应该有配套的清洗剂，大家要根据选用的密封剂厂家去进行咨询。第二个是金属管路焊接，尽量避免焊接点接触制冷液，因为焊点一般多孔，会有焊料残留污染制冷液，我们这边会建议有几种，一个是铜合金管路，采用钎焊，不锈钢管路是不能使用纤焊，需要使用惰性气体保护焊，还要避免敏化作用。

第三个是管路测试与清洗，我们自己家里装修也是要进行一个加压和气密性测试，这边的管路也是需要。关于清洗，给你提供制冷剂的厂家有专门的清洗剂，你可以使用它做清洗，如果没有这个清洗剂，使用去离子水也是可以的，你只要是排出水中的杂质，电阻率超过1M欧，具体使用那种，大家可以考虑这个经济性和时间上的成本。

现在谈到制冷的液体了，IBM到现在为止一直使用的是去离子水+抑制剂，去离子水的成分是很普通的，就是有些离子浓度不超过多少的要求，我这里列了一些，大家都可以在ASHARE上拿到。在国内很多同事都在使用乙二醇这个添加剂，浓度20%，主要增加在运输和存储过程中的抗冻性。但它加进去了以后本身热容量不是很好，会降低我们散热的效率，第二它本身是有黏性的，相当于CDU驱动液体流起来的话要付出更大的推力，加更大的压力。还有，本身水冷对液体的研究就是一个长期的过程，到现在为止我们还不知道CDU自己本身对乙二醇的抗腐蚀能力。基于以上这几个原因，IBM还是会继续使用纯的去离子水加抑制剂，不会建议添加乙二醇。

抑制剂的话除了一定浓度的唑类抗腐蚀，还要有一些抗菌剂，就是看你抗什么细菌，厌氧菌就是戊二醛，需氧菌就是异噻唑酮

液冷设备长期运转，时间一长，去离子水本身就会带一些离子，就不达标，怎么办？更换液体？成本有些高，还需要停机维护。需要有一些方法或者东西在系统运转的过程中在里面进行离子去除，所以需要去离子设备定期对制冷液进行离子去除。还有抑制剂的浓度低了，这样会造成真菌或者是污垢的滋生，这个时候你需要一些添料的设备，还有关于抑制剂浓度检测的设备，这些都属于我们液冷系统的辅助设备。。

最后这张图就是我们刚才跟大家讲的超算Summit的基础节点AC922，这个系统是使用冷板式水冷的6个NVIDIA V100 GPU与2个POWER9使用NVLink2.0直接互联的，这是一个实体机器的照片，这里有一个三个GPU的柔性冷板，这个内存和板卡是裸露的，靠设施内的风。这是我跟大家讲的全部内容，谢谢大家！