园区局域网网关下沉及二层互通需求解决方案

案例描述

目前W公司园区局域网由2台华为S7712交换机组成核心层网络，2台华三S7506E交换机组成的汇聚层网络以及部分楼层交换机组成接入层网络。网络拓扑结构层次清晰，网络层、汇聚层、接入层物理拓扑层面明确划分、各司其职，但是也存在着如下相关网络问题等待优化完善。

园区所有办公设备终端业务网关均部署在核心交换机华为S7712设备上。

目前网络存在2台华三S7506E设备，该设备作为新大楼二层汇聚交换机，没有运行3层相关，性能闲置。

部分重要节点汇聚交换机单点单引擎存在单点故障，可用性级别不能满足要求。

部分重要节点到核心交换机华为S7712只有单条链路，没有备用路由，网络可靠性不足。

同一VLAN对应网段内的终端分布在园区的不同楼栋之类，难以运维管理，记录不完整、台账不准确。

原因分析

整个W公司局域网为扁平化大二层结构，所有业务网关部署在核心交换机华为7712上，通过设置不同的vlan来隔离广播域。但是核心设备接收不同VLAN发来的广播报文，处理大量的广播报文对核心交换机带来很大的性能损耗，大量的广播报文到达核心交换机易引起广播风暴，存在核心层网络宕机的风险，导致整网使用体验差、甚至引起网络瘫痪。

全网扁平化大二层结构，某些程度减轻了设备的配置复杂度，但是更大的层面引入了生成树的问题，随着不同厂家设备的入网运行，逐渐形成七国八制的局面，网络运维组件困难，不同厂家的报文可能无法兼容，新增一台设备BPDU报文是现有网络设备无法识别，很有可能引起全网瘫痪。

华三S7506E设备是3层交换机设备，可以支持大部分路由协议，只作为二层汇聚不仅闲置了设备性能资源，网关部署在核心交换机上，同时还增加了核心交换机的负载。

例如H楼这种重要节点的汇聚交换机只有单电单引擎的盒式设备，虽然在性能上满足办公业务需求，网络报文转发没有问题，但是存在单电源、单引擎等单点故障，可靠性不高。

H楼这种重要节点3层交换机只有单链路到核心主交换机，而核心交换机有主备2台设备，核心主设备故障，H楼业务无法自动切换到核心备设备上继续运行。

园区所有业务网关都部署在核心交换机设备上，核心交换机设备负载较高。

措施方法

优化方案

以地理位置区分的整栋楼、或者几个楼层为单位，新增3层交换机作为该地理区域的业务网关;

将网关从核心交换机上下沉到3层网关交换机;

3层网关交换机设置双电源、双上联链路增加网络的冗余性、可靠性、可用性;

3层网关交换机不再汇聚到核心交换机上，双上联到汇聚交换机华三S7506E上;

3层网关交换机与汇聚华三S7506E交换机通过3层链路互联，运行OSPF协议，分配Total Stub区域，减少协议层面对3层网关交换机的性能损耗，简易运维;

通过3层链路将广播风暴隔离在3层网关交换机本地，广播风暴不再全网传播;

影响范围

网关下沉的过程，实施该区域网关下沉，该区域的业务短暂中断，其他区域无影响。

实施步骤

布放相关线缆、安装设备、做好临时标签

汇聚交换机华三S7506E与核心华为S7700新增3层链路，运行OSPF协议，建立OSPF邻居。

将部分网关下沉到汇聚交换机华三S7506E上。

安装调试3层网关交换机，新增3层网关交换机到汇聚华三S7506E交换机的双上联3层链路，运行OSPF协议，建立OSPF邻居，检查路由。

业务切换到3层网关交换机上。

继续执行步骤4、步骤5、直到所有的业务网关都下沉完成。

检查核心交换机的相关配置，清除垃圾配置。

测试业务，割接完成。

网关下沉带来的新问题及解决方案

由于地理分割的同网段终端IP地址分配场景

原有的A座终端130台设备属于VLAN10，IP地址段属于172.16.10.0/24，C座终端有50台设备属于VLAN10，IP地址段属于172.16.10.0/24。

按照工作量最小的情况来设计割接方案就是将网段172.16.10.0/24及VLAN10重新规划给A座终端来使用，这样只要修该C座的50台设备IP地址参数即可。

但是可能C座的50台终端是动力与环境监测终端，这些终端没有显示屏来修改IP地址参数，需要厂家工程师到现场以console口的方式来进行修改配置，这种场景所需的人力、物力、财力消耗更大。

这样就不得不权衡原有的VLAN网关下沉到哪个地理位置更合适、更经济。然而真实的网络环境可能更加复杂，进一步的阻挠网关下沉工作的推进，例如某台老旧设备已经到了退役的年限，但是占用了数据中心的IP地址继续对外提供服务，业务又不能长时间中断，已经有了升级替代方案，再买一台同样的设备替换又太浪费，修改IP地址还要找之前的厂家，这台设备是否在维保服务期，一般人员修改该设备的IP地址参数能否搞定，这台设备停止服务对正常会造成多大的影响，产生多大的经济损失都有待评估，貌似网关下沉工作已经走入了死胡同，无法继续进行下去，这是一个新的技术，新的解决方案值得关注。

跨三层网络二层互通需求场景

A座网关地址为172.16.18.0/24的地址，所有的终端设备地址均在该网段，但是由于种种原因，A座有台服务器的IP地址在192.168.0.100/24的服务器不能移动，由于运行时间长，投入年限早，又因为技术限制不能迁移到云环境的虚拟机中，物理位置上只能在A做的机房中。此时无法修改该服务器的IP地址等相关参数，就必须运用VXLAN技术实现服务器继续以192.168.0.100/24地址运行，通过在3层网络架构上打通二层网络实现192.168.0.100/24的服务器与数据中心的172.16.18.0/24网段互通。

部署VXLAN网络的实现方式：

传统网络部署方式，工程师通过网络的参数规划人工登录到每台设备上进行配置，小规模的场景下，推荐使用。在大规模的二层网络中，引入了控制器实现网络业务的自动化部署，无需人为干预或少量的参与。通过部署华为cloudcampus产品，实现对交换机的自动化纳管，实时监控网络交换机、路由器设备的资源使用情况，通过网络配置（NETCONF）协议基于XML，通过三种不同的传输模式SOAP，BEEP和SSH实现对交换机的配置管理，实现自动化、批量化的设备配置下发工作。

效果总结

众所周知，生成树协议虽然有公有协议MSTP，由于设备厂家的原因，各种不同厂家的设备之间兼容性并不友好，每个厂家都有自己的生成树私有协议，小范围的二层网络运行没有问题，大范围运行大二层网络，网络异常比较严重。而3层路协议在不同厂家之间兼容度比较高，尤其是OSPF协议，在企业层面使用非常广泛，成熟度高，3层链路天生具有隔离2层广播域的能力，将生成树不断分割成各个较小的网络内部，及时产生广播风暴、网络环路影响都控制在很小的范围，降低故障级别。

将新大楼的业务网关下沉到华三S7506E设备上，提高了华三S7506E交换机的设备利用率，降低了核心华为S7712的实际负载，平衡了网络环境的负债情况，绿色节能的同时使网络结构更加清晰化。

各个业务的网关下沉到业务对应的3层交换机，通过3层链路分割了各个业务的广播域，二层报文不再整网传播，生成树不再整网共同作用，生成树作用域被限制在很小的范围，车队的电脑中了病毒不再影响到H楼的业务办公。通过在重要节点部署双联路双上联的形式，有效避免了核心交换机设备主备切换要手动切换网关交换机的上联链路，节省了工作量，通过自动化的运维手段提高了运维工作效率。建议在有条件的情况下，给3层网关交换机配置双电源，通过市电和UPS同时供电，提高电源层面的可靠性。在个别重要的节点，配置2台硬件型号相同、软件版本相同的3层交换机，二者运行堆叠程序，是设备虚拟化成1台设备，这样就形成了双电双引擎的结构，大大提高了业务的可用性。通过VXLAN技术在3层网络上实现了个别特殊终端大二层通信需求，使整网处于3层网络架构的场景前提下，满足了个别特殊业务的2层互通需求。

总结：理论上通过VXLAN技术可以实现任何3层网络结构的场景下构建出大二层网络，实现虚拟机的迁移，保证虚机通过大二层网络从一台主机迁移到另外一台主机过程中业务不中断，虚拟机的IP地址和MAC地址不变，整个热迁移过程用户无感知。