Иерархический дизайн кампуса: Access, Distribution, Core и расчёт переподписки

В небольшой сети офиса на два десятка компьютеров все кабели сходятся в один коммутатор, а он включён в маршрутизатор провайдера. Но когда в кампусе компании три здания, две тысячи сотрудников, телефонные аппараты с питанием по витой паре, камеры видеонаблюдения и серверная ферма, плоская сеть из цепочки коммутаторов превращается в неуправляемый клубок: один неверный кабель или обрыв оптической жилы кладёт связь во всём корпусе. Разберём, как корпоративную сеть делят на три предсказуемых иерархических уровня — доступ (Access), распределение (Distribution) и ядро (Core), когда достаточно двухъярусной модели со свёрнутым ядром (Collapsed Core) и как по формуле коэффициента переподписки (Oversubscription) точно рассчитать число и скорость восходящих линий (uplink).

Цель и что нужно знать

После урока вы сможете:

• объяснить назначение каждого из трёх уровней классической иерархической модели Cisco (Access, Distribution, Core) и назвать, какие задачи решаются на каждом уровне, а какие на нём запрещены;
• выбрать между трёхъярусной архитектурой (Three-Tier), двухъярусной моделью со свёрнутым ядром (Collapsed Core) и плоской фабрикой по числу зданий, коммутаторов доступа и бюджету портов;
• объяснить три инженерных преимущества модульного дизайна: масштабируемость по блокам, локализацию домена отказа (Failure Domain) и предсказуемость путей трафика;
• рассчитать коэффициент переподписки (Oversubscription Ratio) между уровнями Access → Distribution и Distribution → Core и сравнить его с целевыми нормативами Cisco (20:1 и 4:1);
• подобрать количество и скорость восходящих портов (10G, 25G, 40G, 100G) для этажного стека коммутаторов и проверить загрузку интерфейсов командами show interfaces status и show interfaces summary.

Что нужно знать заранее: базу курса ccna — устройство локальной сети (LAN), сегментацию VLAN, транки 802.1Q, агрегирование каналов EtherChannel, основы STP и маршрутизации OSPF.

Задача из жизни

В главном кампусе логистической компании в Баку четыре этажа. На каждом этаже установлен стек из двух 48-портовых гигабитных коммутаторов Cisco Catalyst 9200 (итого 96 клиентских портов 1 Гбит/с на этаж). В серверной на первом этаже стоят два коммутатора распределения Catalyst 9500. При монтаже подрядчик соединил каждый этажный стек с серверной всего двумя медными патч-кордами 1 Гбит/с (по одному к каждому коммутатору распределения).

В 09:30 утра, когда сотрудники открывают облачные таблицы, запускают видеовстречи и копируют чертежи с файлового сервера, голосовой трафик заикается, а загрузка файлов падает до нескольких мегабит в секунду. Директор ИТ спрашивает: почему 96 гигабитных портов этажа «задыхаются» на двух гигабитных линиях, какой коэффициент переподписки получился сейчас и сколько оптических модулей 10G SFP+ нужно поставить, чтобы уложиться в инженерный стандарт Cisco 20:1 с сохранением отказоустойчивости при выходе из строя одного коммутатора распределения? Ответ — в разборе примеров.

Почему плоская сеть в кампусе не масштабируется

Когда коммутаторы соединяют цепочкой («каскадом» от этажа к этажу), сеть теряет предсказуемость по трём причинам:

1. Широкий домен отказа (Failure Domain). Перезагрузка или сбой питания промежуточного коммутатора на втором этаже отрезает от серверной третий и четвёртый этажи.
2. Транзитный трафик через клиентские коммутаторы. Трафик верхних этажей проходит через буферы и матрицы коммутаторов нижних этажей, отнимая полосу у их собственных пользователей.
3. Сложность диагностики и изменения. Чтобы найти, где теряются пакеты или почему перестроилось связующее дерево STP, инженеру приходится проверять десятки разнородных узлов вместо одной чёткой границы.

Иерархический дизайн заменяет произвольные цепочки строгой пирамидой: каждое устройство принадлежит ровно одному уровню и соединяется только с соседним уровнем.

Трёхъярусная иерархическая модель: Access, Distribution, Core

Классическая архитектура кампуса Cisco Enterprise Campus Architecture делит сеть на три функциональных уровня (яруса).

• Уровень доступа (Access Layer) — край сети, куда включаются конечные устройства: рабочие станции, IP-телефоны, точки доступа Wi-Fi, принтеры и камеры. Его задачи: назначение VLAN, подача питания PoE/PoE+, первичная защита портов (Port Security, DHCP Snooping, 802.1X) и маркировка трафика QoS на входе.
• Уровень распределения (Distribution Layer / агрегация) — интеллектуальная граница между коммутацией этажей и скоростным ядром. Здесь терминируются VLAN этажей (шлюзы по умолчанию SVI и протоколы резервирования шлюза), применяются списки контроля доступа (ACL), выполняется фильтрация и суммаризация маршрутов, прежде чем анонсировать их в ядро.
• Уровень ядра (Core Layer / магистраль кампуса) — высокоскоростной коммутатор L3 между блоками зданий, дата-центром и границей WAN/Internet. Главное правило ядра: никакой пакетной фильтрации, пользовательских ACL, инспекции или медленной программной обработки. Задача Core — пересылать агрегированные IP-потоки на скорости среды (40G/100G) с минимальной задержкой и мгновенной сходимостью при обрыве волокна.

➡️ Где именно проводить границу между Layer 2 и Layer 3 (классический коммутируемый доступ против маршрутизируемого доступа Routed Access до самого этажного коммутатора) — в уроке 2.

Разбор примера: путь пакета и локализация отказа в трёхъярусном кампусе

Проследим по первой схеме путь трафика от рабочей станции в VLAN 10 (10.10.10.0/24, подключена к ASW1) к внутреннему серверу в VLAN 20 (10.10.20.0/24, подключён к ASW2) и оценим область отказа каждого узла:

Path: PC1 (10.10.10.50) -> ASW1 (Gi1/0/1 -> Te1/1/1)
                        -> DSW1 (L3 gateway for VLAN 10, routes to 10.10.20.0/24)
                        -> CORE1 (Fo1/0/1 -> high-speed L3 transit)
                        -> DSW2 (L3 gateway for VLAN 20)
                        -> ASW2 (Te1/1/2 -> Gi1/0/1) -> SRV1 (10.10.20.10)

Failure domain analysis:
  1. ASW1 fails         -> only users on ASW1 lose link; ASW2 and other floors work normally
  2. Link ASW1-DSW1 cut -> ASW1 shifts traffic to backup uplink ASW1-DSW2
  3. DSW1 fails         -> DSW2 takes over gateway role and forwards via CORE1/CORE2
  4. CORE1 fails        -> DSW1 and DSW2 forward all inter-block traffic through CORE2

Благодаря парным коммутаторам в блоках Distribution и Core и перекрёстным восходящим линиям от каждого ASW к обоим DSW ни один одиночный отказ кабеля или коммутатора распределения не останавливает работу этажа.

Двухъярусная модель (Collapsed Core) против трёхъярусной

Не каждому предприятию нужен выделенный уровень Core. Если кампус состоит из одного-двух зданий и насчитывает от 3 до 15 этажных коммутаторов доступа, функции уровней Distribution и Core объединяют в одной паре высокопроизводительных L3-коммутаторов. Такая архитектура называется свёрнутым ядром (Collapsed Core / Two-Tier).

Посчитаем экономию оптических трасс между зданиями. Если в кампусе 6 корпусов и в каждом стоит пара коммутаторов распределения, соединение «каждый корпус с каждым» потребует 6 × 5 / 2 = 15 межкорпусных магистралей (а с учётом дублирования — 30 пар волокон). Добавление пары коммутаторов Core сокращает схему до аккуратной звезды: каждое здание включает свои два DSW в CORE1 и CORE2.

Планирование ёмкости и коэффициент переподписки (Oversubscription)

Почему от коммутатора с 48 гигабитными портами не тянут наверх 48 гигабитных линий? Потому что офисные компьютеры не передают данные на скорости 1 Гбит/с одновременно 100% времени. Отношение суммарной пропускной способности нисходящих клиентских портов (downlink) к суммарной пропускной способности активных восходящих каналов (uplink) называется коэффициентом переподписки (Oversubscription Ratio):

Oversubscription Ratio = Total Downlink Bandwidth / Total Active Uplink Bandwidth

Руководства Cisco Validated Design (CVD) для корпоративных кампусных сетей задают два проверенных практикой ориентира:

• На уровне Access → Distribution: не хуже 20:1 (для обычных рабочих мест и IP-телефонии; для плотных инженерных залов и точек доступа Wi-Fi 6/6E рекомендуют 10:1 и лучше).
• На уровне Distribution → Core: не хуже 4:1 (трафик от нескольких этажей здесь уже сглажен и агрегирован, поэтому пиковые нагрузки совпадают чаще).

➡️ Как аппаратная таблица пересылки коммутатора находит выходной порт и заголовок за наносекунды — в уроке 3.

Разбор примера: расчёт восходящих линий для этажного стека (решение задачи из жизни)

Вернёмся к логистической компании из начала урока. На этаже стек из двух коммутаторов по 48 портов 1 Гбит/с (всего 96 клиентских портов = 96 Гбит/с). Сравним три варианта подключения к паре коммутаторов распределения DSW1 и DSW2:

Given:
  Access ports per floor stack = 2 x 48 x 1 Gbps = 96 Gbps

Case A (contractor's mistake: 2 x 1 Gbps uplinks, both active):
  Active uplink bandwidth = 2 Gbps
  Oversubscription = 96 Gbps / 2 Gbps = 48:1   --> 2.4x worse than 20:1 limit!
  If DSW1 fails (1 Gbps left): 96 / 1 = 96:1   --> severe congestion and packet drops.

Case B (upgrade to 2 x 10 Gbps SFP+ uplinks: 1x10G to DSW1, 1x10G to DSW2):
  Normal state (both 10G active): 96 Gbps / 20 Gbps = 4.8:1   (passes <= 20:1)
  Failover state (DSW1 down, 1x10G active): 96 Gbps / 10 Gbps = 9.6:1 (still passes <= 20:1!)

Case C (Distribution to Core for 4 floors, each floor sends 20 Gbps to DSW pair):
  Total downlink on DSW block = 4 floors x 20 Gbps = 80 Gbps
  Target Dist -> Core ratio <= 4:1 -> minimum Core uplink = 80 Gbps / 4 = 20 Gbps
  Choosing 2 x 40 Gbps (1x40G to CORE1, 1x40G to CORE2):
    Normal state:   80 Gbps / 80 Gbps = 1:1
    CORE1 failure:  80 Gbps / 40 Gbps = 2:1 (passes <= 4:1 even during Core switch maintenance!)

Вывод для директора ИТ: замена двух гигабитных линков на два оптических модуля 10GBASE-SR SFP+ (по одному в DSW1 и DSW2) снижает переподписку с аварийных 48:1 до комфортных 4.8:1 в штатном режиме и 9.6:1 при отказе одного коммутатора распределения — с двукратным запасом относительно порога 20:1.

Разбор примера: проверка скоростей портов и загрузки на Cisco IOS XE

Чтобы быстро проверить на реальном коммутаторе Catalyst 9300, какие порты работают как клиентские 1G, а какие — как восходящие 10G, и нет ли очередей сброса (Output Drops) из-за высокой переподписки, используют команды show interfaces status и show interfaces <id>:

ASW1# show interfaces status
Port         Name               Status       Vlan       Duplex  Speed Type
Gi1/0/1      User-PC-01         connected    10         a-full  a-1000 10/100/1000BaseTX
Gi1/0/2      User-PC-02         connected    10         a-full  a-1000 10/100/1000BaseTX
...
Gi1/0/48     Floor-Printer      connected    10         a-full  a-1000 10/100/1000BaseTX
Te1/1/1      UPLINK-TO-DSW1     connected    trunk      full    10G    SFP-10GBase-SR
Te1/1/2      UPLINK-TO-DSW2     connected    trunk      full    10G    SFP-10GBase-SR

ASW1# show interfaces TenGigabitEthernet1/1/1
TenGigabitEthernet1/1/1 is up, line protocol is up (connected)
  Hardware is Ten Gigabit Ethernet, address is 0050.56bf.1081 (bia 0050.56bf.1081)
  Description: UPLINK-TO-DSW1
  MTU 1500 bytes, BW 10000000 Kbit/sec, DLY 10 usec,
     reliability 255/255, txload 18/255, rxload 12/255
  Input queue: 0/2000/0/0 (size/max/drops/flushes); Total output drops: 0
  5 minute input rate 472000000 bits/sec, 58100 packets/sec
  5 minute output rate 715000000 bits/sec, 84200 packets/sec

Обратите внимание на четыре ключевых поля в выводе show interfaces TenGigabitEthernet1/1/1:

• BW 10000000 Kbit/sec — номинальная полоса 10 000 000 Кбит/с = 10 Гбит/с;
• txload 18/255 — текущая загрузка на передачу в долях от 255 (18 / 255 ≈ 7%), канал работает свободно;
• Total output drops: 0 — ни один пакет не был отброшен из-за переполнения выходного буфера;
• если бы здесь стоял линк 1G, поток 715 Мбит/с со средними микровсплесками уже вызывал бы рост Total output drops в десятки тысяч пакетов.

Что может сломаться и как это найти

⚠️ Типичная ошибка проектирования: считать коэффициент переподписки по сумме всех физических uplink-кабелей, забывая, что в классической схеме Layer 2 со связующим деревом (STP) половина одиночных транков к резервному коммутатору распределения находится в состоянии блокировки (Blocking / Alternate) и не передаёт пользовательский трафик! Чтобы оба восходящих линка к DSW1 и DSW2 передавали трафик одновременно, используют либо балансировку вланов по разным корневым мостам, либо агрегирование в единую логическую пару, либо маршрутизируемый доступ (L3).

Практика

1. Предскажите. Коммутатор доступа ASW3 имеет 24 клиентских порта 1 Гбит/с и один активный восходящий линк 1 Гбит/с к DSW1 (второй линк 1 Гбит/с к DSW2 заблокирован STP). Укладывается ли такой дизайн в норматив Cisco 20:1?
2. Проверьте. Посчитайте коэффициент переподписки для стека из 3 коммутаторов по 48 портов 1 Гбит/с, если от стека к уровню распределения работают в активном режиме 4 восходящих канала по 10 Гбит/с.
3. Объясните. Почему в трёхъярусной модели кампуса фильтрацию трафика между гостевой сетью и серверным сегментом размещают на уровне Distribution, а не на уровне Core?
4. Измените. На новом этаже инженеров-проектировщиков устанавливают коммутатор с 48 мультигигабитными портами 2.5 Гбит/с (mGig). Какую суммарную активную полосу uplink (и сколько портов 10G или 25G) нужно заложить, чтобы коэффициент переподписки не превышал 10:1 даже при отказе одного из двух коммутаторов распределения?
5. Сделайте сами ⭐. Спроектируйте иерархию для кампуса университета: 4 учебных корпуса, в каждом корпусе по 6 этажных стеков (каждый стек — 96 × 1 Гбит/с). Выберите модель (Collapsed Core или Three-Tier), рассчитайте скорость uplink от каждого стека к Distribution (≤ 20:1 при отказе одного DSW) и скорость магистралей от каждого корпуса к Core (≤ 4:1 при отказе одного коммутатора ядра).

Самопроверка

Вопрос 1. В кампусе из пяти зданий администратор хочет заблокировать доступ из студенческой подсети 10.50.0.0/16 к финансовым серверам 10.10.20.0/24. На каком уровне иерархии правильнее всего применить политику фильтрации ACL, чтобы не перегружать магистраль и отсекать запрещённый трафик как можно ближе к источнику?

• Разбор: На уровне распределения (Distribution Layer) учебного корпуса, где терминируется шлюз студенческой подсети. Если вынести фильтр на Core, запрещённые пакеты зря пройдут через восходящие каналы к ядру, а само ядро нарушит принцип чистой высокоскоростной пересылки.

Вопрос 2. В выводе show interfaces TenGigabitEthernet1/1/1 вы видите BW 10000000 Kbit/sec, txload 242/255 и Total output drops: 184920. Что означают эти три показателя?

• Разбор: Интерфейс работает на скорости 10 Гбит/с, его средняя загрузка на передачу составляет 242 / 255 ≈ 94.9%, а выходная очередь уже отбросила 184 920 пакетов из-за нехватки полосы восходящего канала (слишком высокая переподписка или всплеск трафика).

Ответы к практике:

1. Нет: суммарная полоса downlink равна 24 × 1 = 24 Гбит/с, а активный uplink — всего 1 Гбит/с (второй в STP Blocking). Коэффициент переподписки равен 24:1, что хуже предела 20:1.
2. Суммарный downlink: 3 × 48 × 1 = 144 Гбит/с. Активный uplink: 4 × 10 = 40 Гбит/с. Коэффициент переподписки: 144 / 40 = 3.6:1 (отличный запас, при отказе одного DSW и потере двух линков останется 144 / 20 = 7.2:1, что тоже лучше 20:1).
3. Уровень Distribution уже разбирает заголовки L3/L4 для маршрутизации между VLAN и агрегирует трафик одного здания, тогда как Core объединяет все здания кампуса и должен пересылать пакеты с минимальной задержкой без проверки сложных списков правил.
4. Суммарный downlink: 48 × 2.5 = 120 Гбит/с. Чтобы при отказе одного DSW переподписка была не хуже 10:1, на оставшемся плече нужно минимум 120 / 10 = 12 Гбит/с. Значит, к каждому из двух DSW нужно подвести либо по 2 × 10G (20 Гбит/с на плечо, 40 Гбит/с всего), либо по 1 × 25G (SFP28, 25 Гбит/с на плечо, 50 Гбит/с всего). При 2 × 25G штатная переподписка составит 120 / 50 = 2.4:1, аварийная — 120 / 25 = 4.8:1.
5. Для 4 корпусов и 24 стеков выбираем трёхъярусную модель (Three-Tier): в каждом корпусе своя пара DSW, а в центральном узле связи — пара CORE1 / CORE2. От каждого стека (96 Гбит/с) даём 2 × 10G (по 10G к каждому DSW корпуса): штатно 96 / 20 = 4.8:1, при отказе одного DSW — 9.6:1 (≤ 20:1). Суммарный входящий поток от 6 стеков в блок Distribution корпуса: 6 × 20 = 120 Гбит/с. Для норматива Distribution → Core ≤ 4:1 при отказе одного CORE оставшийся линк к ядру должен пропускать не менее 120 / 4 = 30 Гбит/с. Ставим от каждого корпуса по 1 × 40G (или 1 × 100G) к CORE1 и CORE2: штатно 120 / 80 = 1.5:1, при отказе одного CORE — 120 / 40 = 3:1 (≤ 4:1).

Повторение и критерий перехода

Вы готовы идти дальше, если без подсказки можете:

• назвать все три уровня кампуса (Access, Distribution, Core) и перечислить минимум три функции каждого;
• объяснить, когда двухъярусный дизайн Collapsed Core выгоднее трёхъярусного, а когда необходим выделенный уровень Core;
• записать формулу коэффициента переподписки, назвать нормативы 20:1 и 4:1 и учесть отказ одного коммутатора распределения при расчёте uplink;
• найти в выводе show interfaces скорость канала (BW), загрузку (txload/rxload) и счётчик потерь выходной очереди (Total output drops).

Вопрос на повторение (база CCNA): почему при соединении двух коммутаторов двумя параллельными патч-кордами без настройки EtherChannel связующее дерево STP обязательно блокирует один из двух портов?

Стандарты и источники

• Cisco Validated Design (CVD) — Campus LAN and Wireless LAN Solution Design Guide (Three-Tier vs. Collapsed Core, Oversubscription ratios 20:1 Access-to-Distribution and 4:1 Distribution-to-Core).
• Cisco Exam Blueprint — 350-401 ENCOR v1.2, раздел 1.1 Explain the different design principles used in an enterprise network (1.1.a Tier 2, Tier 3, and Fabric Capacity Planning).
• Cisco IOS XE Command Reference — команды show interfaces status, show interfaces.