超大数据中心架构£¬光电互联接口数量及类型浅谈£¨上£©

光纤在线编辑部  2019-01-21 10:48:54  文章来源£º自我撰写  版权所有,未经书面许可严禁转载.

?#32423;Á£?/strong>

光纤在线特邀编辑:肖明
1/21/2019£¬最近和几个?#30340;?#26379;友聊天时£¬发现很多人对于数据中心使用什么底层网络架构£¬如何演进£¬会需要什么类型的光电接口£¬什么数量级£¬怎么计算需求等等问题存在很多疑惑¡£心血来潮想结合过往的经验£¬写点东西£¬权当抛砖引玉£¬仅供大家参考和讨论£¬个中偏颇之处还请大家指正¡£

    首先要提到的是摩尔定律£¨Moore¡¯s law£©£¬其在数据中心的演进中表现的?#27973;?#26126;显¡£几乎每2年数据中心的交换带宽在价格不变的情况下翻倍£¬从而满足快速增长的超级应用对于带宽的需求£¬尤其是视频类的应用¡£比如字节跳动£¨今日头条的母公司£©旗下在北美的小视频App£¬Tik Tok£¬流量指数级暴涨让其数据中心服务商阿里云在北美不断忙于升级£¬当然也是¡°痛并快乐着¡±¡£

    这里以谷歌的数据中心拓扑架构为例£¬£¨以后有机会再一起探讨Facebook£¬Microsoft等的数据中心架构£©¡£谷歌数据中心在过去十来年已经演进了好几代£¬主要是基于Clos网络拓扑架构£¬从一开始的Firehose£¬逐渐演化到Watchtower£¬Saturn£¬到近些年不少场合被提到的Jupiter¡£交换设备接口速率也从1GbE演进到了40GbE/100GbE£¬400GbE也正在小量应用中¡£图1给出了谷歌数据中心拓扑架构的演变示意£¬表1则给出了每个?#26469;?#30340;架构参数¡£更具体的内容可以参考知乎上的文章¡¾1¡¿¡£

图1£º谷歌数据中心拓扑架构的演变示意
 
表1£º谷歌数据中心每个?#26469;?#30340;架构参数

    Clos网络架构最早是由Charles Clos于1952年设计出的£¬用多级的小型交换机阵列构建一个¡°无阻塞¡±的网络£¬有这么几个特点£º
 主要为三级交换架构
 每一级的每个单元都与下一级的设备互联
 支持递归£¬带宽可无限扩展£¬对?#25105;?#19968;台服务器£¬能使用网卡的最高带宽与数据中心?#25105;?#19968;台服务器通信
 向后兼容£¬兼容现有的以太网及应用
 到指定的目的地£¬路由选择在第一级是可以有多个路径£¬但后续交换单元之间只存在唯一一条路由
    Clos网络架构比较简单£¬不少白盒机厂商用Broadcom的交换芯片就可以生产出性能不错的高端交换机¡£现在越来越多的数据中心在使用Clos网络拓扑架构¡£
    传统数据中心中南北向£¨关于网络中南北东西的解释可以参考¡¾2¡¿£©的流量较大£¬但随着分布式计算需求的兴起£¬东西向的流量快速加大£¬一方面分布式计算导致服务器之间的访问需求大幅增加£»另一方面£¬应用也变得越来越复杂£¬比如物联网中的某个用户发起请求£¬中心服务器可能需要从众多边缘数据中心或者服务器抽取一些数据£¬处理后再返回?#25509;?#25143;£¬如此东西向的流量就变得越来越大£¬甚至大过南北向流量¡£这也就是为什么最近几年数据中心之间的互联需求增长幅度要快于数据中心内部互联£¬见表2£¬Cisco global cloud index 2016-2021£¬

表2£ºCisco global cloud index 2016-2021

    Jupiter是基于一个40Gbps的数据中心网络£¬其架构有这个几个特点£º
1. Centauri TOR£¨Top of Rack£©交换机每一个基础单元是一个4U的机箱£¬每一个含有640G£¨16x40G£©的交换芯片£¬共计4x16x40G的交换容量¡£如果按3:1南北向分配£¬则可以配置为48x40G容量南向到服务器£¬16x40G北向到fabric network£¬或者以10Gbps为基础速率£¬192x10G南向和64x10G北向¡£当然£¬?#37096;?#20197;做1:1分配£¬南北向各32x40G£¬如图2¡£

图2:Centauri TOR£¨Top of Rack£©交换机配置

2. 中间区块£¨Middle Blocks£©由4个Centauri交换机组成£¬其交换容量为4x4x(16x40G)£¬但每个中间区块都由2级£¨two-stage£©Clos交换机组成£¬每一级可以配置为64x40G北向到Spine交换机£¬64x40G或者256x10G南向连接32个TOR交换机¡£
3. 每个汇聚区块£¨Aggregation Blocks£©由8个中间区块构成£¬其交换容量为8x(64x40G)即512x40G北向到Spine交换机£¬南向8x(256x10G)即2048x10G到TOR交换机¡£
4. Spine交换机由2-stage Clos交换机组成£¬即2x(64x40G)与汇聚区块互联¡£
 
   这样对于一个Jupiter数据中心£¬其架构为256个Spine交换机£¬南向与64个汇聚区块互联£¬每个汇聚区块南向与32个TOR交换机互联£¬也就意味?#25243;?#20849;需要2048£¨=64x32£©个TOR机柜£»每台机柜可以有最多48台服务器£¬满配也就是说98304台服务器£»每台服务器可配置2个高速网卡£¬即一个Jupiter数据中心会需要196,608个10G高速网卡¡£

图3 Jupiter数据中心架构

    从以上的架构来看£¬想必大家已经可以自己算出来光电接口的数量了¡£这是以最大基础速率40Gbps的Google Jupiter数据中心举的例子£¬当然如果最大基础速率是100Gbps或者400Gbps£¬同时服务器网卡最小速率为25Gbps或者50Gbps£¬大家可以?#26469;?#26041;式做相应的推演¡£
    
    当然£¬数据中心未来的演进还是有不少挑战的¡£比如电交换的速率逐渐会遇到瓶颈£¬以Broadcom的Switching ASIC为例£¬从早先2011年发布的640G交换容量的Trident£¬到2014年发布的1.2T Trident 2£¬2015年发布的3.2T Tomahawk£¬到2017年末发布2018年3?#24452;?#37327;产的基于16nm CMOS工艺的12.8T Tomahawk 3£¬技术路线图发展还是很快的£¬但后面的25.6T及以上交换芯片的推出时间存在很多不确定性£¬主要是因为芯片的BGA封装PIN脚密度£¬IO数量快速提升?#35759;?#24456;大¡£

图4:引入硅光技术的刀片服务器

    如上图4£¬因为硅光技术的引入£¬一台刀片服务器的尺寸可以大幅削减60%以上£¬同时£¬速率大幅提升以及功耗的大幅下降是显然易见的?#20040;¦¡?#36825;也就直接驱动主流的芯片公司甚至具体设备商们£¬最近几年大量投入在硅光技术£¨Silicon Photonics£¬SiP£©£¬以及2.5D/3D的芯片封装技术等¡£关于硅光技术£¬以后再?#19968;?#20250;做专题讨论¡£

图5:硅光内部

    另外£¬也有几个问题会限制数据中心的发展速度£¬比如IEEE在PCIe总线接口标准的演进太慢£¬目前主流仍然是PCIe 3.0£¬每个lane的速率仅为8Gbps£¬不少?#30340;?#19987;家也在呼吁直接跳过PCIe 4.0去发布PICe 5.0£¬每个Lane的速率达到32Gbps£¬这样光电速率可?#20113;?#37197;¡£其它问题£¬比如SERDES演进£¨25G-50G£©£¬数据中心制冷£¨传统风冷到液冷£©£¬Serverless等等£¬也都是不小的话题¡£
    
    总的来说£¬未来的数据中心架构?#27973;?#30528;¡°模块化¡¢扁?#20132;¯¡?#26131;扩展¡±这几个方向在发展£¬超大型云服务商们也越来越重视数据中心网络架构的演进和优化£¬物联网£¬5G一定会催生出超级应用£¬从而推进数据中心的快速发展¡£希望有机会与?#30340;?#20154;士多多探讨这方面的话题¡£下篇将更多探讨光电互联接口在数据中心的应用¡£

参考文章£º
1 Google过去十年发展数据中心网络的经验 陈宇飞 https://zhuanlan.zhihu.com/p/29945202
2 网络的东西南北£º抛弃SDN£¬迎接网络虚拟化£¿ https://www.csdn.net/article/2014-01-23/2818233-SDN-Network-Virtualization
3 ¡°Jupiter Raising: A Decade of Clos Topologies and Centralized Control in Google¡¯s Datacenter Network¡±
4 ¡°Cisco global cloud index 2016-2021 white paper¡±
5 ¡°Facebook¡¯s Data center Network Architecture¡±
6 肖明£¬2016年,¡°Future Data Center and High Speed Optics Interconnection¡±
光纤在线

光纤在线公众号

更多猛?#24076;?#27426;迎扫描左方二维码关注光纤在线官方微信

?#35753;?#25628;索

?#35753;?#26032;闻

最新简历

  • 吴** 深圳 生产线领班/线长技术员/产线操作员技术员/产线操作员
  • 陈** 广东 副总经理/副总裁生产经理/主管营运经理/主管
  • 刘** 深圳 项目经理/主管研发/开发工程师市场/营销经理/主管
  • 刘** 武汉 总工程师/副总工程师技术/工艺设计经理/主管销售经理/销售主管
  • 张** 嘉兴 技术员/产线操作员技术支持工程师

展会速递

微信扫描二维码
使用¡°扫一扫¡±即可将网页分享至朋友圈¡£
3d4Âë×éÈý×î¶àÒÅ©