НМС для серверных системных плат

Системная плата — основа практически любого компьютера, в том числе и сервера. Поэтому неудивительно, что именно в системной плате реализованы специфические черты той или иной платформы. Поскольку архитектура серверов младшего уровня лишь незначительно отличается от архитектуры обычных персональных компьютеров, похож и дизайн системных плат. Высокопроизводительные многопроцессорные «мастодонты», строящиеся по модульному принципу, могут и вовсе не иметь системной платы в привычном смысле — их характеристики определяет только НМС системной логики, а от платы, на которой НМС собран, характеристики системы практически не зависят. В случае серверов младшего и среднего уровней НМС имеет огромное значение, однако в связи с универсальностью компонентов и наличием дополнительных микросхем-контроллеров спектр возможных решений, построенных на базе одного набора микросхем, может быть гораздо шире.

Набор микросхем. Наборы микросхем для серверов младшего уровня практически не отличаются от НМС для настольных ПК, однако с ростом сложности вычислительной системы подход к проектированию микросхем меняется: на первый план выходят задачи масштабируемости. Серверные НМС для многопроцессорных систем, как правило, состоят из большого количества специализированных микросхем и предусматривают масштабирование вычислительных средств и устройств ввода-вывода без применения общих каналов передачи данных. Ниже приведен подробный обзор наиболее распространенных серверных НМС.

Нередко крупные изготовители серверов — такие, как Sun, NEC и некоторые другие, разрабатывают собственные НМС для процессоров AMD Opteron, Intel Xeon и Itanium 2. Это необходимо для создания архитектур с более чем 16 процессорами — для таких систем готовых НМС мало и не всегда их характеристики и возможности достаточны для ряда задач. Однако в связи с тем, что фирменные наборы микросхем не поступают в открытую продажу, компании используют их только в своих серверах, а технические характеристики и подробности архитектуры, как правило, не раскрывают.

Процессорные гнезда. Основная черта серверов — применение многопроцессорных конфигураций. Поэтому, несмотря на то что большая часть серверных ЦП — по сути модифицированные процессоры для ПК, они имеют заметные конструктивные различия, и прежде всего это касается процессорных гнезд.

Современные процессоры Xeon имеют системную шину, почти полностью аналогичную шине Pentium 4 (они даже могут работать с одними и теми же НМС, в однопроцессорной, разумеется, конфигурации), но общая шина многопроцессорных IA-систем требует наличия дополнительных контактных линий. Современные ЦП Xeon устанавливаются в 603- (400-МГц шина) и 604-контактные (533-МГц шина) гнезда ZIF (Zero Insertion Force — обеспечивают отсутствие давления на контакты при установке ЦП), в то время как для Pentium 4 достаточно 478-контактного гнезда.

У процессоров AMD Opteron количество контактов больше — 940. Это объясняется тем, что в ядро процессора встроен контроллер памяти и несколько шин HyperTransport.

Процессоры Itanium первого и второго поколения устанавливаются в другой тип гнезда — VLIF (Very Low Insertion Force — минимальное давление на контакты при установке) и имеют 418 и 611 контактов соответственно.

Шины для плат расширения. Хотя архитектура сервера не предполагает столь высокую гибкость и модернизируемость, как у ПК, тем не менее она предусматривает возможность расширения. Однако наиболее распространенная в ПК шина для подключения плат расширения (32-бит 66-МГц PCI) в серверах почти не применяется. Как правило, серверные системные платы оснащаются контроллерами шины PCI-X (ширина 64 бит, частота 66, 100, 133 или 266 МГц), основное отличие PCI-X от традиционной PCI — соединение типа «точка—точка». Контроллеры PCI-X присутствуют практически во всех серверных НМС.

НМС для систем с одним—четырьмя ЦП

Opteron

NVIDIA nForce Professional 2200 и 2050. Позиции компании NVIDIA на рынке НМС для процессоров семейства Athlon 64 очень сильны: пользуясь преимуществами встроенного в ядро ЦП контроллера памяти Athlon 64, инженеры компании разработали микросхему nForce, выполняющую функции и «северного» и «южного мостов». Решение оказалось столь удачным, что NVIDIA, выпустив третье поколение этой микросхемы, претендует на лидерство на рынке систем Athlon 64.

Учитывая близость архитектур Athlon 64 и Opteron, неудивительно, что руководство NVIDIA приняло решение выпустить модель микросхемы для рынка серверов и рабочих станций.

В начале этого года NVIDIA представила семейство микросхем nForce Professional из двух моделей — 2200 и 2050. Эти микросхемы предназначены для построения двухпроцессорных серверов на базе процессоров Opteron. Каждая микросхема представляет собой полноценное ядро вычислительной системы (они оснащены системным интерфейсом HyperTransport для связи с ЦП, двадцатью линиями PCI Express, мощными сетевыми и дисковыми контроллерами), предусмотрена возможность создания RAID-массивов и подключение к 1-Гбит/с Ethernet-сетям. Микросхема 2050 несколько упрощена по сравнению со старшей моделью: в ней отсутствуют контроллеры обычного параллельного интерфейса АТА (есть только Serial ATA), USB, шины PCI, а также звуковой контроллер.

Предложенные NVIDIA наборы микросхем ориентированы в первую очередь на высокопроизводительные рабочие станции, но они нашли применение и в традиционных двухпроцессорных серверах некоторых изготовителей.

Примечательно, что нередко для равномерного распределения загрузки в одной системе применяют обе микросхемы, которые подключаются к разным ЦП. Кроме того, нередко nForce Professional 220 дополняют микросхемой AMD-8132, обеспечивающей работу PCI-X-устройств (о ней будет рассказано ниже); по этой схеме построен, например, сервер HP Proliant DL145 G2.

ServerWorks HT-2000, НТ-1000. Наборы микросхем подразделения Broadcom компании ServerWorks хорошо известны на рынке Xeon-серверов, на котором они очень успешно конкурировали с продукцией самой Intel и нередко превосходили ее по возможностям и характеристикам. Недавно в модельном ряду компании появились две новые модели микросхем, предназначенные для построения двух- й четырехпроцессорных серверов на базе Opteron — НТ-2000 и НТ-1000.

Микросхема НТ-1000 оснащена шиной HyperTransport 8x8 (3,2 Гбайт/с) для связи с ЦП, интерфейсами PCI (32-бит, 33-МГц) и PCI-X (64-бит, 133-МГц), дисковыми контроллерами АТА и Serial ATA (300-Мбайт/с), USR 2.0.

Микросхема НТ-2000 оборудована двумя интерфейсами HyperTransport — для связи с ЦП используется более высокопроизводительный 16x16 (8 Гбайт/с), а для подключения контроллеров ввода-вывода — 8x8 (3,2 Гбайт/с). Дополнительные контроллеры ввода-вывода могут понадобиться, поскольку ПТ-2000 не оснащен ни дисковыми интерфейсами, ни обычной 32-бит PCI, ни USB. Но зато эта микросхема обеспечивает работу 17 каналов PCI Express, и, кроме того, она оснащена встроенным двухканальным 1-Гбит/с Ethernet-контроллером.

Микросхемы НТ-2000 и НТ-1000 позволяют создавать системы самого разного уровня как по производительности, так и по функциональным возможностям. Примечательно, что эти микросхемы могут применяться отдельно и совместно как единый НМС. НТ-1000 ориентирован на использование в двухпроцессорных блэйд-серверах. Кроме того, он может быть применен в качестве «южного моста» (роль «северного моста» будет играть соответственно НТ-2000) в составе более мощных двухпроцессорных систем. А для создания высокопроизводительной четырехпроцессорной конфигурации необходимы две микросхемы НТ-2000 и одна НТ-1000.

Xeon

Intel E75OO, Е75О1, Е75О5. Семейство НМС Intel Е750х предназначено для построения двухпроцессорных серверов на базе процессоров Intel Xeon. Наборы микросхем этого семейства состоят из трех компонентов: основной микросхемы — контроллера памяти (МСН — Memory Controller Hub), а также контроллеров ввода-вывода (Integrated Controller Hub) и 64-бит шины PCI/PCI-X.

Двухпроцессорные Xcon-системы строятся по принципу «общей шины» (см. раздел «Процессоры»), поэтому пропускная способность процессорной шины разделяется между двумя ЦП. Главная черта набора микросхем Е750х — сбалансированность пропускной способности подсистемы памяти и процессорной шины. Первая модификация этого НМС (Е7500) позволяла использовать ЦП Xeon с 400-МГц шиной и память DDR200, благодаря тому что МСН оснащена двухканальным контроллером памяти, пропускные способности шины памяти и процессорной шины были одинаковы и равны 3,2 Гбайт/с.

Следующая модификация — Е7501 — предназначена для использования с новыми процессорами Xeon, имеющими 533-МГц системную шину. МСН, как и прежде, использует для обращений к памяти два канала и позволяет применять память DDR266. Соответственно баланс пропускной способности сохранен, процессорная шина и два канала памяти обеспечивают 4,3 Гбайт/с.

Второй компонент системы — контроллер 64-бит шины PCI/PCI-X (микросхема Р64Н2), обеспечивает работу двух независимых каналов PCI и может быть использован как для подключения дополнительных микросхем/контроллеров, встраиваемых в системную плату, так и для организации открытых шин, для установки плат расширения. К МСН может быть подключено до трех контроллеров Р64Н2 по фирменному 16-бит интерфейсу Hub Interface 2.0, суммарная пропускная способность трех таких интерфейсов 3,2 Гбайт/с.

Микросхема Р64Н2 применяется во всех трех НМС семейства Е750х (о последней на данный момент модификации — Е7505 — будет рассказано чуть ниже) и не претерпела никаких изменений. Третий компонент НМС Е750х — контроллер ввода-вывода — был изменен. В первых двух модификациях (Е7500 и Е7501) применялась микросхема 82801СА (ICH3-S, Integrated Controller Hub), содержащая контроллеры дисковых интерфейсов (два канала UltraATA/l00), USB 1.1 (до шести портов), 10/100-Мбит/с сетевого адаптера Ethernet, шин PCI 2.2 и SMBus. В новой же модификации (Е7505) применена микросхема 82801DB (ICH4), отличающаяся контроллером интерфейса USB 2.0 и наличием шестиканальной звуковой подсистемы. Контроллеры ввода-вывода подключаются к МСН через интерфейс Hub Interface 1.5.

Главное отличие Е7505, разумеется, не в более мощной звуковой подсистеме: этот НМС оснащен контроллером AGP 8X и предоставляет некоторые дополнительные возможности, такие, как технология х4 SDDC (х4 Single Device Data Correction, обеспечивает корректность операций с памятью при сбое какого-либо системного устройства) и Alert On LAN 2.0 (реализованная на аппаратном уровне, без участия ОС, функция отправки по локальной сети предупреждения в случае сбоя или несанкционированного доступа к системе).

Что касается параметров процессорной шины и контроллера памяти, то они в Е7505 по сравнению с Е7501 остались без изменений.

Intel E732O и Е7520. С появлением процессоров Xeon с 667- и даже 800-МГц шиной характеристики НМС семейства Е75хх перестали удовлетворять современным требованиям. Кроме того, контроллеры памяти, встроенные в «северные мосты» этих наборов микросхем, не позволяли использовать память DDR2, которую компания Intel стремится сделать отраслевым стандартом. Эти недостатки были устранены в новом поколении НМС — Lindenhurst. Компания Intel представила две модификации этого НМС, получившие после официального анонса названия Е7320 и Е7520.

Новые наборы предназначены для двухпроцессорных серверов на базе процессоров Xeon DP с 800-МГц системной шиной и технологией ЕМ64Т.

Как и прежде, в Xeon-системах компания Intel сохранила топологию общей шины: процессоры разделяют пропускную способность системной шины, которая составляет 6,4 Гбайт/с.

«Северные мосты» обоих НМС оснащены двухканальными контроллерами памяти и позволяют использовать модули одного из трех типов: DDR266, DDR333 или DDR2-400. Максимальная пропускная способность шины памяти составляет 6,4 Гбайт/с (при использовании DDR2-400) и обеспечивает баланс с системной шиной. Необходимо отметить, что максимальный объем ОЗУ — 16 Гбайт при использовании 333- и 400-МГц модулей, при применении DDR266 суммарный объем может быть увеличен вдвое — до 32 Гбайт.

Для подключения контроллеров ввода-вывода (использование термина «южный мост» в данном случае будет не совсем правомерно, так как в Е7520/Е7320 инженеры Intel отошли от «двухполюсной» архитектуры НМС, и контроллеров ввода-вывода может быть несколько) используется привычная уже фирменная шина Hub Interface с пропускной способностью до 266 Мбайт/с и интерфейс PCI Express x8. B MCH E7320 встроен один контроллер PCI Express х8, а в Е7520 — три таких контроллера. Интерфейс PCI Express может быть использован как для подключения других микросхем, так и плат расширения с этим интерфейсом.

В состав наборов микросхем Е7520/Е7320 могут входить следующие контроллеры ввода-вывода:

 подключаемая по Hub Interface микросхема 82801ER (ICH-5),

 подключаемая по Hub Interface микросхема 6300ESB,

 подключаемая по PCI Express x4 или х8 микросхема 6700РХН.

Контроллер ICH-5, хорошо знакомый по НМС для настольных ПК, обеспечивает работу шины РГЛ, двух каналов Serial ATA, предусматривает создание RAID-конфигураций. Характеристики микросхемы 6300ESB практически не отличаются от параметров ICH-5, но этот контроллер ввода-вывода больше подходит для серверных систем, так как в нем предусмотрено дополнительно две 64-бит 66-МГц шины PCI-X, позволяющих подключить до четырех устройств с этим интерфейсом.

Микросхема 6700РХН выполняет функции туннеля PCI Express—PCI-X и оснащена двумя независимыми шинами PCI, каждая из которых может работать в одном из следующих режимов: 32-бит PCI или 64-бит PCI-X с частотой от 33 до 133 МГц. Предусмотрена «горячая» замена PCI-устройств.

В наборах микросхем Е7520/Е7320 реализованы некоторые специализированные технологии, объединенные под общим названием Advanced Platform RAS. Среди них уже знакомые х4 SDDC, а также CRC-коррекция данных, передаваемых по PCI Express, зеркалирование памяти и др.

Intel E8500. Наборы микросхем серии Е7ххх предназначены для построения двухпроцессорных систем. Кроме них, в арсенале Intel есть и модели для создания серверов с четырьмя и более ЦП — они входят в семейство Е8ххх. Однако до последнего времени в этом семействе было только два НМС, предназначенных для процессоров Itanium 2 (о них рассказано ниже), и лишь в 2005 г. компания Intel представила первый набор микросхем для четырех процессоров Xeon. Им стал НМС Е8500.

В этот набор входят микросхемы E85OONB (North Bridge, «северный мост»), Е8500ХМВ (external Memory Bridge, внешний контроллер памяти), а также контроллеры ввода-вывода ICH-5 и 6700РХН, о которых уже было подробно рассказано. «Северный мост» набора оснащен двумя независимыми 667-МГц системными шинами, суммарная пропускная способность которых составляет 8,6 Гбайт/с. Встроенных контроллеров памяти не предусмотрено; они выполнены в виде отдельных микросхем (ХМВ) и подключаются к «северному мосту» по четырем независимым высокоскоростным интерфейсам IMI (Independent Memory Interface, независимая шина памяти) топологии «точка—точка».

Интерфейс IMI несимметричен, пропускная способность от NB .к ХМВ 2,67 Гайт/с, а в обратном направлении 5,33 Гбайт/с.

Контроллеры ХМВ — двухканальные, совместимы с памятью DDR266, DDR333 и DDR2-400. К каждому ХМВ может быть подключено до восьми модулей памяти (по четыре на каждый канал) объемом до 1 Гбайт. Таким образом, суммарный объем ОЗУ системы, построенной на базе НМС Е8500, может достигать 128 Гбайт (4x32 Гбайт).

«Северный мост» оснащен также интерфейсом Hub Interface, тремя PCI Express x8 и одним PCI Express х4: они используются для подключения контроллеров ввода-вывода и плат расширения.

Набор микросхем Е8500 обеспечивает когерентность кэшей всех четырех процессоров (ЦП работают с единым адресным пространством в SMP-режиме), 40-бит адресацию. Предусмотрены и средства RAS, такие, как код коррекции ошибок (ЕСС), зеркалирование и «горячая» замена модулей памяти, автоматическая проверка и восстановление данных в памяти — по запросу или дежурная. Кроме того, в Е8500 реализована технология Memory RAID, функциональные возможности которой аналогичны дисковым RAID-массивам.

ServerWorks GC-HE, GC-SL, GC-LE. Семейство наборов микросхем Grand Champion, предназначенных для Xeon-систем, пользуется у изготовителей системных плат не меньшей популярностью, чем фирменные решения Intel. В него входят четыре модификации, но только три из них предназначены для построения серверов, поэтому вариант Grand Champion WS, позиционируемый, как несложно догадаться по названию, в системные платы для рабочих станций, мы оставим за кадром. Наборы микросхем семейства Grand Champion разработаны уже более двух лет назад, но вследствие консервативности серверного рынка остаются актуальными до сих пор. В настоящее время ServerWorks входит в состав компании Broadcom, которая, судя по всему, не планирует в ближайшем будущем обновлять модельный ряд серверных НМС.

Все наборы микросхем Grand Champion строятся по модульному принципу и составляются по большей части из одинаковых компонентов. Этим они в немалой степени напоминают НМС Intel E8870, о котором будет рассказано ниже. Также, как и Е8870, каждый НМС Grand Champion имеет ключевую микросхему, коммутирующую потоки данных между ЦП, памятью и дополнительными устройствами — CMIC (Memory Interface Controller). К ней подключаются контроллеры памяти REMC, мосты ввода-вывода CIOB (Input/Output Bridge) и аналог «южного моста» — контроллер дополнительных интерфейсов CSB (South Bridge).

Флагман модельного ряда — набор микросхем Grand Champion HE (аббревиатура НЕ обозначает, судя по всему, High-End) предназначен для построения двух-или четырехпроцессорных систем на базе Xeon. Его ядро, микросхема CMIC-HE, имеет 400-МГц системную шину и позволяет подключить до четырех процессоров Intel Xeon MP. Она соединяется с четырьмя контроллерами памяти DDR200 (благодаря технологии чередования каналов они позволяют получить реальную пропускную способность, близкую к теоретическому максимуму — 6,4 Гбайт/с) и дает возможность использовать до 64 Гбайт памяти. Кроме того, CMIC-HE оснащена тремя фирменными 1,6-Гбайт/с интерфейсами IMB (Inter-Module Bus), через которые к микросхеме подключаются контроллеры СIOВ*Х (каждый из них обеспечивает два 64-бит 100-М Гц канала PCI-X), и одним интерфейсом Thin-IMB для связи с микросхемой CSB6. Последняя отвечает за работу 64-бит шины PCI 2.2, трех каналов АТА, контроллера USB (до четырех портов) и некоторых сервисных интерфейсов (клавиатура, мышь, VGA) и функций (мониторинг и управление системой электропитания).

НМС Grand Champion LE (Low-End) используется в системных платах для двухпроцессорных серверов младшего уровня. Микросхема CMIC-LE имеет 533-МГц системную шину, ее пропускная способность 4,3 Гбайт/с. Число каналов памяти уменьшено вдвое, контроллеры позволяют использовать память DDR266, так что производительность подсистемы памяти соответствует системной шине — 4,1 Гбайт/с. Максимальный объем ОЗУ у этого НМС 16 Гбайт.

Расширяемость системы несколько ниже, чем у НМС Grand Champion HE — микросхема CMIC-LE оснащена только двумя интерфейсами 1MB и одним Thin-IMB. Однако пропускная способность интерфейсов 1MB вдвое выше — 3,2-Гбайт/с каждый, а, кроме того, в состав НМС входят более современная версия моста ввода-вывода СЮВ-Х2, обеспечивающая работу двух 64-бит каналов PCI-X с частотой до 133 МГц, и универсальный контроллер СЮВ-Е, отвечающий за работу еще одной 133-МГц шины PCI-X и двух 1-Гбит/с Ethernet-портов. «Южный мост» системы не отличается от используемого в Grand Champion HE, его функции также выполняет микросхема CSB6.

Третий НМС семейства — Grand Champion SL, это упрощенная версия модификации LE. Микросхема CMIC-SL имеет только один 2,1-Гбайт/с канал памяти, максимальный объем ОЗУ ограничен 8 Гбайт. До одного сокращено и количество интерфейсов 1MB, так что в состав НМС может входить только один из двух доступных мостов ввода-вывода.

Наиболее заметное достоинство НМС семейства Grand Champion, помимо масштабируемости и сбалансированности системы, — это средства RAS (Reliability, Availability, Serviceability, надежность, доступность, простота обслуживания), выполняющие функции защиты от ошибок памяти, контроль ЕСС, автоматическое отключение неисправных модулей памяти и даже (в модификации Grand Champion HE) «горячую» замену модулей памяти.

Itanium

Intel E8870. Для самых высокопроизводительных процессоров Intel, Itanium 2, предназначен набор микросхем Е8870, построенный по модульной архитектуре, благодаря чему он обладает такими преимуществами, как масштабируемость (используя компоненты Е8870, можно строить системы самого разного уровня) и высокая степень унификации (в НМС Е8870 использованы компоненты от более простых наборов микросхем, но они не становятся «узким местом» системы). Основная идея, реализованная в Е8870, — организация высокоскоростных каналов, соединяющих основные компоненты системы.

Ядро системы — микросхема Е8870 (SNC, Scalable Node Controller), отвечающая за связь процессоров с остальными компонентами системы. Микросхема SNC оснащена 6,4-Гбайт/с процессорной шиной и позволяет подключить до четырех процессоров Itanium 2 на общей шине. Кроме процессорной шины микросхема SNC оснащена четырьмя интерфейсами для подключения контроллеров памяти. Пропускная способность каждого интерфейса — 1,6 Гбайт/с, соответственно суммарное значение для всех четырех шин 6,4 Гбайт/с, т. е. равно пропускной способности процессорной шины. Функции контроллеров памяти выполняют микросхемы E8870DH (DMH, DDR Memory Hub), каждая из них контролирует два канала памяти DDR. Максимальное количество модулей памяти, подключаемых к DMH, — восемь, соответственно всего к микросхеме SNC через четыре контроллера DMH может быть подключено 32 модуля, что при использовании 2-Гбайт модулей составит 64 Гбайт. Применение контроллеров DMH, помимо высокого уровня масштабируемости ОЗУ, позволяет значительно сократить задержки при работе с большими объемами памяти, благодаря наличию четырех независимых каналов.

В набор интерфейсов микросхемы SNC входят также два порта SP (Scalability Port) — двунаправленные интерфейсы, пропускная способность которых в каждом направлении 3,2 Гбайт/с, суммарная для двух двунаправленных портов SP — 12,8 Гбайт/с. Используются эти порты для подключения микросхем Е8870IО (SIOH, Server Input/Output Hub), к каждому порту SP может быть подключена одна такая микросхема. Задача узла ввода-вывода SIOH — обеспечить подключение оставшихся двух компонентов набора микросхем — контроллеров Р64Н2 и ICH4 (подробно описанным выше). Микросхема SIOH оснащена четырьмя интерфейсами Hub Interface 2.0 и одним — Hub Interface 1.5, и к ней может быть подключено до четырех контроллеров Р64Н2 и один ICH4. Теоретически каждый контроллер SNC может быть соединен с двумя узлами ввода-вывода, что позволяет оснастить систему на НМС Е8870 шестнадцатью каналами PCI-X.

Таким образом, состоящий из пяти компонентов НМС Е8870 можно логически разделить на две части: систему взаимодействия ЦП и ОЗУ и систему ввода-вывода. Как было показано выше, обе они отличаются высокой степенью масштабируемости, а в подсистему ввода-вывода, благодаря универсальным интерфейсам Hub Interface, входят контроллеры, применяемые и в НМС для менее мощных систем.

HP zxl. Компания Hewlett-Packard — основной партнер Intel в области разработки 64-бит процессоров Itanium и один из крупнейших поставщиков серверов высокого уровня, построенных на базе этого процессора. Инженеры HP разработали два фирменных набора микросхем, предназначенных для этого ЦП.

Наиболее распространен НМС zxl, предназначенный для построения двух- или четырехпроцессорных систем (о наборе sxlOOO, разработанном для создания систем с числом ЦП до 128, будет рассказано ниже).

Базовая комплектация zxl состоит всего из двух микросхем — zxl MIO (Memory & Input/Output Controller, контроллер памяти) и zxl IOA (Input/Output Adapter, контроллер ввода-вывода). Контроллер памяти zxl MIO оснащен 6,4-Гбайт/с процессорной шиной и позволяет использовать два или четыре процессора Itanium 2 на общей шине. В микросхеме zxl IOA предусмотрены контроллеры шин PCI и PCI-X, интерфейсы AGP и АТА. К центральной микросхеме zxl MIO может быть подключено до восьми контроллеров ввода-вывода, суммарная пропускная способность каналов, соединяющих их с zxl MIO, 4 Гбайт/с.

Память подключается к zxl MIO либо напрямую (имеется контроллер памяти DDR266), либо через микросхемы zxl SME (Scalable Memory Expander, масштабируемый интерфейс памяти). К двум 6,4-Гбайт/с интерфейсам может быть подключено до двенадцати микросхем zxl SME, максимальный объем ОЗУ 96 Гбайт.

Более четырех процессоров, коммутируемые системы

Opteron

AMD 8000. Архитектура набора микросхем AMD 8000, состоящего «всего» из трех компонентов, но позволяющего создавать вычислительные системы с количеством процессоров от одного до восьми, весьма необычна. Объясняется это тем, что, в отличие от большинства распространенных серверных ЦП, процессоры Opteron имеют встроенные средства для создания многопроцессорных систем. Каждый ЦП Opteron может иметь до трех встроенных контроллеров шипы HyperTransport, с помощью которых он напрямую подключается к другим процессорам. Контроллер памяти и коммутатор также встроены непосредственно в процессорное ядро, и с некоторой долей условности можно сказать, что для создания симметричной многопроцессорной системы с процессорами Opteron вовсе не нужны дополнительные микросхемы (подробнее см. «Процессоры»). Тем не менее это, разумеется, не так: последние необходимы для организации подсистемы ввода-вывода.

Как отмечалось выше, набор микросхем AMD 8000 состоит из трех компонентов. В качестве основной связующей шины применяется интерфейс HyperTransport, а две микросхемы из трех — AMD 8151 и AMD 8131 — представляют собой HyperTransport-туннели. Первая микросхема, AMD 8151, выполняет функции AGP-контроллера, помимо двух интерфейсов HyperTransport (16x16, 6,4 Гбайт/с) она оснащена интерфейсом AGP 8Х для подключения высокопроизводительных графических адаптеров. Однако необходимо отметить, что в системных платах для серверов она, как правило, не используется, а применяется при построении мощных рабочих станций. Вторая микросхема, AMD 8131, также HyperTransport-туннель, но несимметричный: один из двух интерфейсов HyperTransport, которыми оснащена AMD 8131, имеет меньшую ширину, тактовую частоту и соответственно пропускную способность — 800 Мбайт/с. Помимо интерфейсов HyperTransport, AMD 8131 оснащена двухканальным контроллером 64-бит 133-МГц шины PCI-X. Недавно компания AMD представила обновленную версию этой микросхемы — AMD 8132. У нее более высокопроизводительный интерфейс 1-ГГц HyperTransport (16x16, 8 Гбайт/с) и усовершенствованный PCI-X-контроллер, который может работать на частоте до 266 МГц.

Третья микросхема, AMD 8111, играет роль «южного моста» и отвечает за работу шины PCI, интерфейсов USB, ATA, портов 10/100-Мбит/с Ethernet, имеет только один контроллер HyperTransport с пропускной способностью 800 Мбайт/с и не может быть подключена к ЦП напрямую, а только через микросхему AMD 8131.

Itanium

Intel E887OSP. Модульная архитектура набора микросхем Е8870, о котором подробно рассказано выше, позволяет использовать его компоненты для создания более сложных — восьмипроцессорных серверных систем. Однако для получения симметричной многопроцессорной системы (SMP) невозможно просто соединить с помощью портов SP две микросхемы SNC — в этом случае микросхемам SNC придется решать задачи управления потоками данных, направленных к локальным и удаленным вычислительным ресурсам. Очевидно, что эти механизмы не были реализованы в НМС Е8870, предназначенном для более простых систем.

Решением этой проблемы стал дополнительный коммутатор E8870SP (SPS, Scalability Port Switch). Эта микросхема оснащена четырьмя 6,4-Гбайт/с двунаправленными интерфейсами SP и применяется для объединения двух НМС Е8870 в одну восьмипроцессорную систему. Точнее, для организации симметричного восьмипроцессорного НМС требуется два таких коммутатора.

Микросхема SPS выполняет две основные функции — перенаправляет потоки данных к «строительным блокам» набора микросхем и от них, а также обеспечивает когерентность памяти. Микросхема оснащена специальными высокоскоростными внутренними шинами (bypass busses), которые позволяют критичным для поддержания когерентности ОЗУ данным вне очереди достигать контроллеров памяти SNC. На рисунке изображена схема каналов данных в наборе микросхем E887OSP. Видно, что для каждого SNC контроллеры Р64Н2 логически равноудалены, вследствие чего обращение к любому из них для SNC происходит одинаковым образом.

Параметры НМС E8870SP — это по сути удвоенные характеристики набора Е8870 — к «каждому SNC по 400-МГц системной шине с пропускной способностью 6,4 Гбайт/с подключается по четыре процессора Intel Itanium 2. Общее количество контроллеров памяти DMH в системе восемь, что позволяет довести максимальный объем ОЗУ до 248 Гбайт! Вдвое (до восьми) по сравнению с Е8870 увеличено и максимальное число контроллеров Р64Н2, каждый из которых обеспечивает работу двух каналов PCI-X.

Как и в случае с Е8870, набор микросхем E887OSP можно логически разделить на две части: вычислительную подсистему и подсистему ввода-вывода. Суммарная пропускная способность каналов данных, соединяющих две эти подсистемы, достигает 25,6 Гбайт/с.

IBM Summit (XA-32, XA-64). IBM Summit — это фирменное название не одного, а двух наборов микросхем: ХА-32 и ХА-64, предназначенных для 32-бит процессоров Intel Xeon и 64-бит Itanium. Однако у этих НМС практически одинаковая архитектура.

В самый простой вариант Summit (НМС ХА-32 для четырехпроцессорных систем) входит две микросхемы: контроллер памяти, имеющий два канала для подключения памяти и два — для связи с мостами ввода-вывода. К последним могут быть подключены адаптеры PCI-X (64-бит, 133 МГц) или универсальный контроллер ввода-вывода, содержащий коммуникационные средства (1-Гбит/с Ethernet), дисковые интерфейсы (Ultral60 SCSI) и пр.

Расширенный вариант НМС (ХА-32 и ХА-64 для серверов с более чем 4 процессорами) позволяет создавать более сложные системы — в него входит контроллер шины расширения и кэша L4. Этот контроллер оснащен тремя портами для связи с другими модулями (комплект контроллеров, обслуживающих ОЗУ и до четырех ЦП, называется в терминологии IBM «SMP expansion module»), суммарная пропускная способность этих портов 3,2 Гбайт/с. Системы на основе НМС Summit масштабируются увеличением количества модулей расширения.

Наиболее интересное техническое решение, реализованное в НМС IBM Summit, — наличие встроенного в набор контроллера кэш-памяти L4. Контроллер кэша L4 самостоятельно (без участия ЦП) помещает данные из ОЗУ в более быстрый буфер, в который и перенаправляются запросы от процессора к памяти. В случае верного предсказания это заметно ускоряет обмен данными ЦП с ОЗУ, что важно для Intel-систем, использующих общую процессорную шину.

HP sx1000. Этот НМС позволяет создавать системы самого разного уровня — от 4 до 128 процессоров. Он предлагает такие функции, как RAS и управление когерентностью кэшей.

В основе НМС sxl000 лежит использование так называемых процессорных ячеек (socket cell), каждая из которых содержит набор шин для подключения четырех ЦП Itanium 2 или РА-8700/8800, четырех контроллеров памяти (максимальное количество модулей памяти, используемых одной ячейкой, 32, предельный объем памяти 64 Гбайт) и шестнадцатиканального контроллера шины PCI-X. Примечательно, что, в отличие от НМС предыдущего поколения, Yosernite, процессорная ячейка строится не по топологии «точка—точка», а по схеме с двумя общими шинами — по два ЦП на каждой. Процессорные ячейки соединяются напрямую (восьмипроцессорная система) или через крестовой коммутатор (crossbar switch). Использование коммутатора позволяет масштабировать НМС (до 16 процессорных ячеек), сохраняя симметричность системы.

Список литературы

Журнал Upgrade4_08_05