BGP unnumberedでIP CLOS Fabricを始めよう（IP Infusion™ OcNOS®編）

はじめに

今回ご紹介するのは、データーセンターネットワーク唯一の標準アーキテクチャ（RFC7938）である、IP CLOS Fabricをご紹介します。標準技術（BGP）だけを使用してシンプルに構成することにより、マルチベンダーによる競争圧力を利用した強力なコストダウンが可能です。海外のみならず、国内のデーターセンターで数多く採用されています。また、さらなるコスト効率を実現するために、IP CLOS Fabricを構成する機器にホワイトボックススイッチを採用する事例が増えています。ホワイトボックス向けネットワークOSであるOcNOS®を題材にIP CLOSの構成例、設定例を紹介していきたいと思います。

IP CLOSのデザイン手法について

過去のブログを参考下さい。

IP Infusion™ OcNOS®の紹介

OcNOSは、大規模データーセンターから通信キャリアまで幅広い分野で適応可能なNetwork OSです。IP Infusionが1999年からルーター/スイッチなどの通信機器メーカーへ提供してきた組み込みソフトウェア「ZebOS®」をベースに開発され、ZebOSで培った350社以上の採用実績や信頼性を継承したOSです。使い慣れたコマンド体系や管理インターフェースをサポートしているため、ネットワークエンジニアが従来の知見そのまま利用できる操作性、管理性(Single Management CLI)を保ちつつ、且つ、オープンネットワーキングの自由度やコストメリットを享受できます。

ネットワーク構成

Spine2台、Leaf4台のIP CLOS構成です。eBGPでは“BGP unnumbered”を使用します。”BGP unnumbered”を使用するとスイッチ間のBGP接続にIPv6リンクローカルアドレスを使用した自動的なBGPピア形成が可能です。これにより、IP CLOS Fabric内の多数のIPサブネット管理から解放されます。またLeafSWでは、MC-LAG＋VRRP（Act/Act）を使用し、Server接続を冗長します。MC-LAG（LACP）は、timeout short（3秒）で設定しています。

Config

Leaf-01

leaf-01#sh run
!
! Software version: EC_AS5812-54X-OcNOS-1.3.8.201-DC_IPBASE-S0-P0 07/27/2020 17:42:28
!
! No configuration change since last reboot
!
no service password-encryption
!
logging monitor 7
logging logfile logs 7
!
ip vrf management
!
forwarding profile l2-profile-three
!
hostname leaf-01
ip domain-lookup vrf management
no ip domain-lookup
bridge 1 protocol rstp vlan-bridge
errdisable cause stp-bpdu-guard
no bridge 1 rapid-spanning-tree enable bridge-forward
data-center-bridging enable bridge 1
feature telnet vrf management
feature ssh vrf management
snmp-server enable snmp vrf management
snmp-server view all .1 included vrf management
snmp-server community public group network-operator vrf management
feature ntp vrf management
ntp enable vrf management
username ocnos role network-admin password encrypted $1$FifQUyE0$e3Psmp1SDYI1ltlcjR.EK/
feature rsyslog vrf management
lldp run
lldp tlv-select basic-mgmt port-description
lldp tlv-select basic-mgmt system-name
lldp tlv-select basic-mgmt system-capabilities
lldp tlv-select basic-mgmt system-description
lldp tlv-select basic-mgmt management-address
!
vlan database
 vlan 10 bridge 1 state enable
 vlan 3000 bridge 1 state enable
!
interface mlag1
 switchport
 bridge-group 1
 switchport mode trunk
 switchport trunk allowed vlan add 10
!
interface po1
 switchport
 port-channel load-balance src-dst-mac
 mlag 1
!
interface po11
 switchport
 bridge-group 1
 switchport mode trunk
 switchport trunk allowed vlan all
 mtu 9216
 port-channel load-balance src-dst-mac
!
interface eth0
 ip vrf forwarding management
 ip address 192.168.100.90/24
!
interface lo
 ip address 127.0.0.1/8
 ip address 10.0.0.1/32 secondary
 ipv6 address ::1/128
!
interface lo.management
 ip vrf forwarding management
 ip address 127.0.0.1/8
 ipv6 address ::1/128
!
interface vlan1.10
 ip address 172.16.10.2/24
!
interface vlan1.3000
 ip address 10.100.10.0/31
!
interface xe1
 channel-group 1 mode active
 lacp timeout short
!
interface xe2
!
interface xe3
!
interface xe4
!
interface xe5
!
interface xe6
!
interface xe7
!
interface xe8
!
interface xe9
!
interface xe10
!
interface xe11
!
interface xe12
!
interface xe13
!
interface xe14
!
interface xe15
!
interface xe16
!
interface xe17
!
interface xe18
!
interface xe19
!
interface xe20
!
interface xe21
!
interface xe22
!
interface xe23
!
interface xe24
!
interface xe25
!
interface xe26
!
interface xe27
!
interface xe28
!
interface xe29
!
interface xe30
!
interface xe31
!
interface xe32
!
interface xe33
!
interface xe34
!
interface xe35
!
interface xe36
!
interface xe37
!
interface xe38
!
interface xe39
!
interface xe40
!
interface xe41
!
interface xe42
!
interface xe43
!
interface xe44
!
interface xe45
 channel-group 11 mode active
 lldp-agent
  set lldp port-id-tlv if-name
  exit
!
interface xe46
 channel-group 11 mode active
 lldp-agent
  set lldp port-id-tlv if-name
  exit
!
interface xe47
!
interface xe48
!
interface xe49/1
 no ipv6 nd suppress-ra
 ipv6 nd ra-interval 4
 lldp-agent
  set lldp port-id-tlv if-name
  exit
!
interface xe49/2
!
interface xe49/3
!
interface xe49/4
!
interface xe50/1
 no ipv6 nd suppress-ra
 ipv6 nd ra-interval 4
 lldp-agent
  set lldp port-id-tlv if-name
  exit
!
interface xe50/2
!
interface xe50/3
!
interface xe50/4
!
interface xe51/1
!
interface xe51/2
!
interface xe51/3
!
interface xe51/4
!
interface xe52/1
!
interface xe52/2
!
interface xe52/3
!
interface xe52/4
!
interface xe53/1
!
interface xe53/2
!
interface xe53/3
!
interface xe53/4
!
interface xe54/1
!
interface xe54/2
!
interface xe54/3
!
interface xe54/4
!
mcec domain configuration
 domain-address 1111.2222.3333
 domain-system-number 1
 intra-domain-link po11
!
router bgp 64601
 bgp router-id 10.0.0.1
 bgp bestpath as-path multipath-relax
 bgp log-neighbor-changes
 network 10.0.0.1/32
 network 172.16.10.0/24
 max-paths ebgp 8
 neighbor xe49/1 remote-as external
 neighbor xe49/1 fall-over bfd
 neighbor xe50/1 remote-as external
 neighbor xe50/1 fall-over bfd
 neighbor 10.100.10.1 remote-as external
!
router vrrp 1 vlan1.10
 virtual-ip 172.16.10.1
 priority 110
 enable
!
line vty 0 10
 exec-timeout 0 0
!
end

Leaf-02

leaf-02#sh run
!
! Software version: EC_AS5812-54X-OcNOS-1.3.8.201-DC_IPBASE-S0-P0 07/27/2020 17:42:28
!
!Last configuration change at 17:29:44 JST Tue Sep 15 2020 by ocnos
!
no service password-encryption
!
logging monitor 7
logging logfile logs 7
!
ip vrf management
!
forwarding profile l2-profile-three
!
hostname leaf-02
ip domain-lookup vrf management
no ip domain-lookup
bridge 1 protocol rstp vlan-bridge
errdisable cause stp-bpdu-guard
no bridge 1 rapid-spanning-tree enable bridge-forward
data-center-bridging enable bridge 1
feature telnet vrf management
feature ssh vrf management
snmp-server enable snmp vrf management
snmp-server view all .1 included vrf management
snmp-server community public group network-operator vrf management
feature ntp vrf management
ntp enable vrf management
username ocnos role network-admin password encrypted $1$c79QRxU1$FkLCiBiE0q2k69PB1bsZX1
feature rsyslog vrf management
lldp run
lldp tlv-select basic-mgmt port-description
lldp tlv-select basic-mgmt system-name
lldp tlv-select basic-mgmt system-capabilities
lldp tlv-select basic-mgmt system-description
lldp tlv-select basic-mgmt management-address
!
vlan database
 vlan 10 bridge 1 state enable
 vlan 3000 bridge 1 state enable
!
interface mlag1
 switchport
 bridge-group 1
 switchport mode trunk
 switchport trunk allowed vlan add 10
!
interface po1
 switchport
 port-channel load-balance src-dst-mac
 mlag 1
!
interface po11
 switchport
 bridge-group 1
 switchport mode trunk
 switchport trunk allowed vlan all
 mtu 9216
 port-channel load-balance src-dst-mac
!
interface eth0
 ip vrf forwarding management
 ip address 192.168.100.91/24
!
interface lo
 ip address 127.0.0.1/8
 ip address 10.0.0.2/32 secondary
 ipv6 address ::1/128
!
interface lo.management
 ip vrf forwarding management
 ip address 127.0.0.1/8
 ipv6 address ::1/128
!
interface vlan1.10
 ip address 172.16.10.3/24
!
interface vlan1.3000
 ip address 10.100.10.1/31
!
interface xe1
 channel-group 1 mode active
 lacp timeout short
!
interface xe2
!
interface xe3
!
interface xe4
!
interface xe5
!
interface xe6
!
interface xe7
!
interface xe8
!
interface xe9
!
interface xe10
!
interface xe11
!
interface xe12
!
interface xe13
!
interface xe14
!
interface xe15
!
interface xe16
!
interface xe17
!
interface xe18
!
interface xe19
!
interface xe20
!
interface xe21
!
interface xe22
!
interface xe23
!
interface xe24
!
interface xe25
!
interface xe26
!
interface xe27
!
interface xe28
!
interface xe29
!
interface xe30
!
interface xe31
!
interface xe32
!
interface xe33
!
interface xe34
!
interface xe35
!
interface xe36
!
interface xe37
!
interface xe38
!
interface xe39
!
interface xe40
!
interface xe41
!
interface xe42
!
interface xe43
!
interface xe44
!
interface xe45
 channel-group 11 mode active
 lldp-agent
  set lldp port-id-tlv if-name
  exit
!
interface xe46
 channel-group 11 mode active
 lldp-agent
  set lldp port-id-tlv if-name
  exit
!
interface xe47
!
interface xe48
!
interface xe49/1
 no ipv6 nd suppress-ra
 ipv6 nd ra-interval 4
 lldp-agent
  set lldp port-id-tlv if-name
  exit
!
interface xe49/2
!
interface xe49/3
!
interface xe49/4
!
interface xe50/1
 no ipv6 nd suppress-ra
 ipv6 nd ra-interval 4
 lldp-agent
  set lldp port-id-tlv if-name
  exit
!
interface xe50/2
!
interface xe50/3
!
interface xe50/4
!
interface xe51/1
!
interface xe51/2
!
interface xe51/3
!
interface xe51/4
!
interface xe52/1
!
interface xe52/2
!
interface xe52/3
!
interface xe52/4
!
interface xe53/1
!
interface xe53/2
!
interface xe53/3
!
interface xe53/4
!
interface xe54/1
!
interface xe54/2
!
interface xe54/3
!
interface xe54/4
!
mcec domain configuration
 domain-address 1111.2222.3333
 domain-system-number 2
 intra-domain-link po11
!
router bgp 64602
 bgp router-id 10.0.0.2
 bgp bestpath as-path multipath-relax
 bgp log-neighbor-changes
 network 10.0.0.2/32
 network 172.16.10.0/24
 max-paths ebgp 8
 neighbor xe49/1 remote-as external
 neighbor xe49/1 fall-over bfd
 neighbor xe50/1 remote-as external
 neighbor xe50/1 fall-over bfd
 neighbor 10.100.10.0 remote-as external
!
router vrrp 1 vlan1.10
 virtual-ip 172.16.10.1
 enable
!
line vty 0 10
 exec-timeout 0 0
!
end

Spine-01

spine-01#sh run
!
! Software version: EC_AS5812-54T-OcNOS-1.3.8.97-DC_IPBASE-S0-P0 11/25/2019 15:31:11
!
!Last configuration change at 09:58:20 JST Tue Sep 08 2020 by ocnos
!
no service password-encryption
!
logging monitor 7
logging logfile logs 7
!
ip vrf management
!
forwarding profile l2-profile-three
!
hostname spine-01
no ip domain-lookup
 !ip name-server 210.196.3.183
 !ip name-server 210.141.112.163
ip domain-lookup vrf management
errdisable cause stp-bpdu-guard
feature telnet vrf management
feature ssh vrf management
snmp-server enable snmp vrf management
snmp-server view all .1 included vrf management
snmp-server community public group network-operator vrf management
feature ntp vrf management
ntp enable vrf management
username ocnos role network-admin password encrypted $1$TIgx9T70$vcmBtTvDE.dLGoGeLuWy20
feature rsyslog vrf management
lldp run
lldp tlv-select basic-mgmt port-description
lldp tlv-select basic-mgmt system-name
lldp tlv-select basic-mgmt system-capabilities
lldp tlv-select basic-mgmt system-description
lldp tlv-select basic-mgmt management-address
!
interface eth0
 ip vrf forwarding management
 ip address 192.168.100.85/24
!
interface lo
 ip address 127.0.0.1/8
 ip address 10.0.0.11/32 secondary
 ipv6 address ::1/128
!
interface lo.management
 ip vrf forwarding management
 ip address 127.0.0.1/8
 ipv6 address ::1/128
!
interface xe1
!
interface xe2
!
interface xe3
!
interface xe4
!
interface xe5
!
interface xe6
!
interface xe7
!
interface xe8
!
interface xe9
!
interface xe10
!
interface xe11
!
interface xe12
!
interface xe13
!
interface xe14
!
interface xe15
!
interface xe16
!
interface xe17
!
interface xe18
!
interface xe19
!
interface xe20
!
interface xe21
!
interface xe22
!
interface xe23
!
interface xe24
!
interface xe25
!
interface xe26
!
interface xe27
!
interface xe28
!
interface xe29
!
interface xe30
!
interface xe31
!
interface xe32
!
interface xe33
!
interface xe34
!
interface xe35
!
interface xe36
!
interface xe37
!
interface xe38
!
interface xe39
!
interface xe40
!
interface xe41
!
interface xe42
!
interface xe43
!
interface xe44
!
interface xe45
!
interface xe46
!
interface xe47
!
interface xe48
!
interface xe49/1
 no ipv6 nd suppress-ra
 ipv6 nd ra-interval 4
 lldp-agent
  set lldp port-id-tlv if-name
  exit
!
interface xe49/2
!
interface xe49/3
!
interface xe49/4
!
interface xe50/1
 no ipv6 nd suppress-ra
 ipv6 nd ra-interval 4
 lldp-agent
  set lldp port-id-tlv if-name
  exit
!
interface xe50/2
!
interface xe50/3
!
interface xe50/4
!
interface xe51/1
 no ipv6 nd suppress-ra
 ipv6 nd ra-interval 4
 lldp-agent
  set lldp port-id-tlv if-name
  exit
!
interface xe51/2
!
interface xe51/3
!
interface xe51/4
!
interface xe52/1
 no ipv6 nd suppress-ra
 ipv6 nd ra-interval 4
 lldp-agent
  set lldp port-id-tlv if-name
  exit
!
interface xe52/2
!
interface xe52/3
!
interface xe52/4
!
interface xe53/1
!
interface xe53/2
!
interface xe53/3
!
interface xe53/4
!
interface xe54/1
!
interface xe54/2
!
interface xe54/3
!
interface xe54/4
!
router bgp 65001
 bgp router-id 10.0.0.11
 bgp log-neighbor-changes
 network 10.0.0.11/32
 neighbor xe50/1 remote-as external
 neighbor xe50/1 fall-over bfd
 neighbor xe49/1 remote-as external
 neighbor xe49/1 fall-over bfd
 neighbor xe52/1 remote-as external
 neighbor xe52/1 fall-over bfd
 neighbor xe51/1 remote-as external
 neighbor xe51/1 fall-over bfd
!
line vty 0 10
 exec-timeout 0 0
!
end

Leaf-03/Leaf-04/Spine-02は大きく違いがないので割愛。

動作確認

Server1からServer2へTraceroute
- Server1 > Leaf-01 > Spine-02 > Leaf-03 > Server2 の経路で通信しています。
- 172.16.10.2は、Leaf-01のVLAN 10の実IPです。

[root@Server1 ~]# traceroute -I 172.16.110.50
traceroute to 172.16.110.50 (172.16.110.50), 30 hops max, 60 byte packets
 1  172.16.10.2 (172.16.10.2)  0.280 ms  0.228 ms  0.172 ms
 2  10.0.0.12 (10.0.0.12)  0.331 ms  0.283 ms  0.227 ms
 3  10.0.0.3 (10.0.0.3)  0.283 ms  0.215 ms  0.140 ms
 4  172.16.110.50 (172.16.110.50)  0.662 ms  0.644 ms  0.859 ms

BGPピア確認（Leaf-01）
- xe49/1とxe50/1でBGP unnumberedを設定しています。
- 10.100.10.1は、MLAGのブリッジポート（xe45,xe46）に設定したBGPピア設定です。xe49/1とxe50/1が両系ダウンした場合の冗長経路としてeBGPを設定しています。

leaf-01#sh ip bgp summary
BGP router identifier 10.0.0.1, local AS number 64601
BGP table version is 5
17 BGP AS-PATH entries
0 BGP community entries
8  Configured ebgp ECMP multipath: Currently set at 8
1  Configured eibgp ECMP multipath: Currently set at 1

Neighbor                 V   AS   MsgRcv    MsgSen TblVer   InQ   OutQ    Up/Down   State/PfxRcd
xe49/1                   4 65001 2907       2912       5      0      0  20:41:59               7
xe50/1                   4 65002 2907       2915       5      0      0  20:41:59               7
10.100.10.1              4 64602 2917       2914       5      0      0  20:41:58               7

Total number of neighbors 3

Total number of Established sessions 3

BGPルート（Leaf-01）
- マルチパスで学習しているのが確認できます。Nexthopは、IPv6リンクローカルアドレスです。

leaf-01#sh ip bgp
BGP table version is 5, local router ID is 10.0.0.1
Status codes: s suppressed, d damped, h history, * valid, > best, i - internal,
              l - labeled, S Stale
Origin codes: i - IGP, e - EGP, ? - incomplete

    Network          Next Hop            Metric    LocPrf       Weight Path
*>   10.0.0.1/32      0.0.0.0             0         100           32768    i
*>   10.0.0.2/32      10.100.10.1          0         100           0       64602 i
*                     fe80::aa2b:b5ff:fe26:ea22     0         100           0       65002 64602 i
*                     fe80::aa2b:b5ff:fe93:5f94     0         100           0       65001 64602 i
*>   10.0.0.3/32      fe80::aa2b:b5ff:fe26:ea22     0         100           0       65002 64603 i
*                     10.100.10.1          0         100           0       64602 65002 64603 i
*                     fe80::aa2b:b5ff:fe93:5f94     0         100           0       65001 64603 i
*>   10.0.0.4/32      fe80::aa2b:b5ff:fe26:ea22     0         100           0       65002 64604 i
*                     10.100.10.1          0         100           0       64602 65001 64604 i
*                     fe80::aa2b:b5ff:fe93:5f94     0         100           0       65001 64604 i
*>   10.0.0.11/32     fe80::aa2b:b5ff:fe93:5f94     0         100           0       65001 i
*                     10.100.10.1          0         100           0       64602 65001 i
*                     fe80::aa2b:b5ff:fe26:ea22     0         100           0       65002 64604 65001 i
*>   10.0.0.12/32     fe80::aa2b:b5ff:fe26:ea22     0         100           0       65002 i
*                     10.100.10.1          0         100           0       64602 65002 i
*                     fe80::aa2b:b5ff:fe93:5f94     0         100           0       65001 64602 65002 i
*>   172.16.10.0/24   0.0.0.0             0         100           32768    i
*                     10.100.10.1          0         100           0       64602 i
*                     fe80::aa2b:b5ff:fe93:5f94     0         100           0       65001 64602 i
*                     fe80::aa2b:b5ff:fe26:ea22     0         100           0       65002 64602 i
*>   172.16.110.0/24  fe80::aa2b:b5ff:fe26:ea22     0         100           0       65002 64603 i
*                     10.100.10.1          0         100           0       64602 65001 64603 i
*                     fe80::aa2b:b5ff:fe93:5f94     0         100           0       65001 64603 i

Total number of prefixes 8

ルート情報（Leaf-01）
- マルチパスで学習しているのが確認できます。

leaf-01#sh ip route
Codes: K - kernel, C - connected, S - static, R - RIP, B - BGP
       O - OSPF, IA - OSPF inter area
       N1 - OSPF NSSA external type 1, N2 - OSPF NSSA external type 2
       E1 - OSPF external type 1, E2 - OSPF external type 2
       i - IS-IS, L1 - IS-IS level-1, L2 - IS-IS level-2,
       ia - IS-IS inter area, E - EVPN,
       v - vrf leaked
       * - candidate default

IP Route Table for VRF "default"
C     10.0.0.1/32 is directly connected, lo, 20:51:28
B     10.0.0.2/32 [20/0] via 10.100.10.1, vlan1.3000, 20:51:16
B     10.0.0.3/32 [20/0] via fe80::aa2b:b5ff:fe93:5f94, xe49/1, 20:51:16
           [20/0] via fe80::aa2b:b5ff:fe26:ea22, xe50/1
B     10.0.0.4/32 [20/0] via fe80::aa2b:b5ff:fe93:5f94, xe49/1, 20:51:16
           [20/0] via fe80::aa2b:b5ff:fe26:ea22, xe50/1
B     10.0.0.11/32 [20/0] via fe80::aa2b:b5ff:fe93:5f94, xe49/1, 20:51:16
B     10.0.0.12/32 [20/0] via fe80::aa2b:b5ff:fe26:ea22, xe50/1, 20:51:16
C     10.100.10.0/31 is directly connected, vlan1.3000, 20:51:25
C     127.0.0.0/8 is directly connected, lo, 20:51:28
C     172.16.10.0/24 is directly connected, vlan1.10, 20:51:07
B     172.16.110.0/24 [20/0] via fe80::aa2b:b5ff:fe93:5f94, xe49/1, 20:51:16
               [20/0] via fe80::aa2b:b5ff:fe26:ea22, xe50/1

Gateway of last resort is not set

動作確認（異常系）

Server1からServer2へ10msec間隔でPingを送信します。
各インターフェースをshutdown / no shutdownし、Pingのロス時間を計測してみます。

[root@Server1 ~]# traceroute -I 172.16.110.50
traceroute to 172.16.110.50 (172.16.110.50), 30 hops max, 60 byte packets
 1  172.16.10.2 (172.16.10.2)  0.325 ms  0.214 ms  0.239 ms
 2  10.0.0.12 (10.0.0.12)  0.205 ms  0.144 ms  0.216 ms
 3  10.0.0.3 (10.0.0.3)  0.210 ms  0.200 ms  0.160 ms
 4  172.16.110.50 (172.16.110.50)  0.622 ms  0.565 ms  0.558 ms
[root@Server1 ~]#
[root@Server1 ~]#
[root@Server1 ~]# ping -i 0.01 -s 1000 172.16.110.50
PING 172.16.110.50 (172.16.110.50) 1000(1028) bytes of data.
1008 bytes from 172.16.110.50: icmp_seq=1 ttl=61 time=0.629 ms
1008 bytes from 172.16.110.50: icmp_seq=2 ttl=61 time=0.501 ms
1008 bytes from 172.16.110.50: icmp_seq=3 ttl=61 time=0.750 ms
1008 bytes from 172.16.110.50: icmp_seq=4 ttl=61 time=0.444 ms

① shutdown時（Leaf-01 xe1ポート）
- 4パケットロス（約40msec）しています。
- Server1 > Leaf-02 > Spine-01 > Leaf-03 > Server-2 に切り替わりました。
- LACPの切り替わりなので高速ですね。

[root@Server1 ~]# ping -i 0.01 -s 1000 172.16.110.50

～割愛～

--- 172.16.110.50 ping statistics ---
1954 packets transmitted, 1950 received, 0% packet loss, time 19591ms
rtt min/avg/max/mdev = 0.230/0.503/2.205/0.115 ms
[root@Server1 ~]#
[root@Server1 ~]#
[root@Server1 ~]# traceroute -I 172.16.110.50
traceroute to 172.16.110.50 (172.16.110.50), 30 hops max, 60 byte packets
 1  172.16.10.3 (172.16.10.3)  0.291 ms  0.258 ms  0.266 ms
 2  10.0.0.11 (10.0.0.11)  0.187 ms  0.223 ms  0.233 ms
 3  10.0.0.3 (10.0.0.3)  0.205 ms  0.207 ms  0.235 ms
 4  172.16.110.50 (172.16.110.50)  0.505 ms  0.434 ms  0.423 ms

① no shutdown時（Leaf-01 xe1ポート）
- Pingロスは確認されませんでした。

[root@Server1 ~]# ping -i 0.01 -s 1000 172.16.110.50

～割愛～

--- 172.16.110.50 ping statistics ---
3276 packets transmitted, 3276 received, 0% packet loss, time 32784ms
rtt min/avg/max/mdev = 0.236/0.509/2.499/0.131 ms
[root@Server1 ~]#
[root@Server1 ~]#
[root@Server1 ~]# traceroute -I 172.16.110.50
traceroute to 172.16.110.50 (172.16.110.50), 30 hops max, 60 byte packets
 1  172.16.10.2 (172.16.10.2)  0.257 ms  0.234 ms  0.234 ms
 2  10.0.0.12 (10.0.0.12)  0.229 ms  0.227 ms  0.253 ms
 3  10.0.0.3 (10.0.0.3)  0.233 ms  0.248 ms  0.151 ms
 4  172.16.110.50 (172.16.110.50)  0.545 ms  0.533 ms  0.523 ms

② shutdown時（Leaf-01 xe50/1ポート）
- 1パケットロス（約10msec）しています。
- Server1 > Leaf-01 > Spine-01 > Leaf-03 > Server2 へ切り替わっています。
- P2PのBGPピアがリンクダウンにより、すぐに迂回経路へ切り替わるので高速ですね。

[root@Server1 ~]# ping -i 0.01 -s 1000 172.16.110.50

～割愛～

--- 172.16.110.50 ping statistics ---
3175 packets transmitted, 3174 received, 0% packet loss, time 31913ms
rtt min/avg/max/mdev = 0.253/0.556/4.074/0.184 ms
[root@Server1 ~]#
[root@Server1 ~]#
[root@Server1 ~]# traceroute -I 172.16.110.50
traceroute to 172.16.110.50 (172.16.110.50), 30 hops max, 60 byte packets
 1  172.16.10.2 (172.16.10.2)  0.255 ms  0.208 ms  0.236 ms
 2  10.0.0.11 (10.0.0.11)  0.212 ms  0.240 ms  0.204 ms
 3  10.0.0.3 (10.0.0.3)  0.262 ms  0.228 ms  0.179 ms
 4  172.16.110.50 (172.16.110.50)  0.376 ms  0.359 ms  0.350 ms

② no shutdown時（Leaf-01 xe50/1ポート）
- Pingロスは確認されませんでした。

[root@Server1 ~]# ping -i 0.01 -s 1000 172.16.110.50

～割愛～

1943 packets transmitted, 1943 received, 0% packet loss, time 19443ms
rtt min/avg/max/mdev = 0.227/0.501/5.009/0.184 ms
[root@Server1 ~]#
[root@Server1 ~]#
[root@Server1 ~]# traceroute -I 172.16.110.50
traceroute to 172.16.110.50 (172.16.110.50), 30 hops max, 60 byte packets
 1  172.16.10.2 (172.16.10.2)  0.245 ms  0.202 ms  0.219 ms
 2  10.0.0.12 (10.0.0.12)  0.236 ms  0.271 ms  0.278 ms
 3  10.0.0.3 (10.0.0.3)  0.219 ms  0.293 ms  0.210 ms
 4  172.16.110.50 (172.16.110.50)  0.549 ms  0.499 ms  0.453 ms

まとめ

IP CLOS構成を簡略化してくれるBGP unnumberedは、様々なベンダーがサポートを進めており、非常に身近になってきました。ホワイトボックススイッチのネットワークOSにおいても、今回ご紹介したOcNOSをはじめ、複数のベンダーがサポートしており、ユーザーの選択肢は広がっています。弊社では、引き続き、オープンな技術（IP CLOS）とオープンなスイッチ（Open Networking）の組み合わせによる、Open IP Fabricを志向していきます。以上がBGP unnumberedでIP CLOS Fabricを始めよう（IP Infusion™ OcNOS®編）でした。次回は、今回構築したUnderlay（BGP unnumbered）に対して、Overlay（EVPN-VXLAN）を構築し、またブログで紹介しようと思います。今後もホワイトボックススイッチに関するお役立ち情報をブログで適宜公開していきます。製品にご興味ある方は、是非お気軽に下記サイトからお問合せ下さい。

ホワイトボックススイッチに興味ある方はこちらへ
ホワイトボックススイッチに関するお問合せはこちらへ

BGP unnumberedでIP CLOS Fabricを始めよう（IP Infusion™ OcNOS®編）

はじめに

IP CLOSのデザイン手法について

IP Infusion™ OcNOS®の紹介

ネットワーク構成

Config

動作確認

動作確認（異常系）

まとめ

フォロー

カテゴリー

最新記事

オープンネットワーキングセミナー開催のお知らせ

OpenDaylight Potassiumでプラグイン開発(Notification処理実装編)

Network-Edge用UPS AN-ManagerStation相互接続検証

OpenDaylight Potassiumでプラグイン開発(DataTreeChangeListenerを使ったイベント駆動処理実装編)

OpenDaylight Potassiumでプラグイン開発(RestconfでCRUD処理実装編)