1. Серверы SPARC начального уровня с технологией CoolThreads. ● Дмитрий Валетин – Менеджер по системам масштаба предприятия ● Sun Microsystems Inc ● Dmitry.Valetin@sun.com

2. Page 2 План доклада Стратегия CMT Доступные CMT системы Новые CMT системы Где найти информацию

3. Page 3 Power Heat Space CO2 Costs Services Devices Scale SLAs Security “ By 2008, 50 percent of current data centers will have insufficient power and cooling capacity to meet the demands of high- density equipment”* -- Gartner “Energy bills traditionally have accounted for less than 10% of an overall IT budget but soon could account for more than half”* -- Gartner *Source: http://www.gartner.com/it/page.jsp?id=499090 Потребности роста, снижение затрат

4. Page 4 x86 / x64 Инновации Стратегия Sun в области процессоров Solaris доступен на всех этих процессорах Альянс с 32 потока / 8 ядер 128 потоков / 16 ядер многопоточные вычисления SPARC64 Приложения Back-Office, требовательные к памяти и масштабируемости приложения Широчайший выбор OS и приложений

5. Page 5 Вызов Традиционному дизайну процессора для многопоточных вычислений

6. Page 6 Многопоточность на кристалле (CMT) CMP множество ядер FG-MT многопоточность CMT многопоточность на кристалле n ядер на кристалл m потоков на ядро n x m потоков на кристалл

7. Page 7 Стратегия процессоров CMT Повышение производительности повышением частоты зашло в тупик Оптимизация приложений для использования параллелизма Уменьшение задержек памяти Высокая надежность и богатый функционал Встроенная сеть и ввод-вывод Встроенные средства виртуализации Первая система на кристалле

8. Page 8 Технологический прорыв: CMT > Лучше производительность > Низкую стоимость > Высокую энергоэффективность > Меньшую стоимость HVAC > Легкую инсталляцию > Высокую доступность > Меньшее время ремонта Технология CMT позволяет делать компактные серверы которые имеют:

9. Page 9 Strong multithreading Архитектура многопоточных систем Sun Уникальные технологии Sun на каждом уровне ● Поддержка многопоточности в Solaris повышает производительность Hypervisor: multithreaded Multithreaded networking CMT SPARC: multicore/multithread Applications Storage: ZFS virtualization LDom Container LDom Container LDom Container ● Solaris гибко распределяет потоки вычислений на процессоры, повышая вычислительную мощь ● Многопоточный,, с поддержкой многопоточных ОС ● Виртуальный сетевой интерфейс повышает производительность сети ● ZFS виртуализирует СХД ● ОС Solaris: многопоточность с 1992г. ● Логические домены и контейнеры повышают эффективность за счет виртуализации

10. Page 10 умное распределение потоков для систем CMT Быстрая и эффективная имплементация потоков Утилита трассировки DTrace Виртуализация / файловая система ZFS Наивысшие требования к безопасности Самодиагностика Гарантированная совместимость кода Сеть 10Gb Ethernet с многопоточным драйвером устройства Наиболее продвинутая ОС на планете

11. Page 11 Sun Fire / SE T1000 Sun Fire / SE T2000 Серверы Sun Fire/SPARC Enterprise CoolThreads Первые в мире многоядерные/многопоточные серверы ● 5 лет впереди индустрии ● Быстрый запуск продукта ● 5x производительность в 4 раза меньше места и энергозатрат (на момент запуска) ● Более 20 мировых рекордов в индустриальных бенчмарк-тестах ● Первые в мире “экологичные” серверы ● Признаны заказчиками и аналитиками

12. Page 12 12/05 - UltraSPARC T1 выпущен в лицензии GPL 04/06 Создано сообщество OpenSPARC 08/07 Опубликована спецификация UltraSPARC T2

13. Page 13 Лидирующая в индустрии платформа виртуализации Dynamic System Domains Solaris Containers Solaris Migration Assistant Solaris Resource Manager (SRM) Logical Domains Xen VMware Microsoft Virtual Server Разделы/домен ы Виртуальные машиныВиртуализация в ОСУправление ресурсами Server OS App Multiple OSsSingle OS Calendar Server Database Web Server SunRay Server App Server Database Mail Server Web Server File Server Identity Server App Server Database Гибкость управленияЛучше изоляция > Very scalable and low overhead > Single OS to manage > Fine grained resource management > Maximum Separation > Ability to run different OS versions

14. Page 14 UltraSPARC T2 – Система на кристалле Беспрецедентная производительность Революционная технология многопоточной сетевой архитектуры Быстрый, интегрированный ввод-вывод Virtualization capabilities Commercial and Technical Workloads

15. Page 15 C4 C3 C2 C1 L2$ Bank Crossbar 16 KB I$ 8 KB D$ 16 KB I$ 8 KB D$ 16 KB I$ 8 KB D$ 16 KB I$ 8 KB D$ C8 C7 C6 C5 16 KB I$ 8 KB D$ 16 KB I$ 8 KB D$ 16 KB I$ 8 KB D$ 16 KB I$ 8 KB D$ L2$ Bank Memory controller Memory controller Memory controller FPU SPU FPU SPU FPU SPU FPU SPU FPU SPU FPU SPU FPU SPU FPU SPU Crossbar Memory controller L2$ Bank L2$ Bank L2$ Bank L2$ Bank L2$ Bank L2$ Bank L2$ Bank SSI, JTAG Debug port UltraSPARC T2: Система на кристалле 8 SPARC V9 ядер @ 1.2–1.4GHz > 8 потоков на ядро / 2 pipeline выполнения на ядро > 4 MB, 16-way, 8-bank L2$ 4 контроллера FB-DIMM DRAM 2.5 GHz x 8 PCI-Express интерфейса 2 x 10 Gb контроллера Ethernet на кристалле FPU на каждом ядре Технология: TI 65nm Размер чипа: 342mm 2 Мощность: < 95 Вт (номинальная) Dual-channel FB-DIMM Dual-channel FB-DIMM Dual-channel FB-DIMM Dual-channel FB-DIMM NIUPCIe 10 Gb EthernetX8 @ 2.5 GHz 2 GB/s each direction 42 GB/s read, 21 GB/s write 4 MB L2$ x10 write x14 read 2–8 DIMMs Sys I/F buffer switch core

16. Page 16 Уникальные принципы разработки серверов Sun Общее шасси 2 RU Sun Servers Replace 4 RU Competing Servers (50% Savings per Rack) Макс. вычисл. мощь Leading Density In: CPU Cores, Memory, Storage, I/O Общее управление Designed for Ease of Management, Serviceability Встроенная виртуализация Hardware and Software (SPARC, x64, Solaris) Защита инвестиций Guaranteed Solaris Compatibility, Linux Support, CMT, Upgradeability

17. Page 17 Серверы Sun SPARC Enterprise CMT Sun SPARC Enterprise T5220 Доступные функции Сеть: > 2 x 10GbE & PCI-E на кристалле Плавающая точка: > Один FPU на ядро > Мировой рекорд произв-ти Виртуализация: > До 64 доменов на систему Высокая доступность: > диски горячей замены > Избыточные вентилляторы и б.п. с горячей заменой Управление > Sun ILOM Service Processor > Стандартные средства управления Web-приложения Консолидация серверов USIIIi Базы данных OLTP Сервер резервного копирования Sun SPARC Enterprise T5120

18. Page 18 SE T5120 - сверху SAS x4 cable to Disk Chassis 4 Fan Assemblies are required (chassis can take up to 8) System Configuration Card (SCC)EEPROM PCI-E Slot 2 x16(m)/x8(e) Chassis Intrusion Reed Switch (magnet on underside of lid) X4 SAS Connector 0 (cable attached) X4 SAS Connector 1 (not used in 1RU) Service Processor PCI-E Slot 1 x8(m)/x4(e) or XAUI 1 PCI-E Slot 0 x8(m)/x4(e) or XAUI 0 Power BUS Bars RED = +12Volts BLUE = Ground Fault Remind Button

19. Page 19 Передняя панель Locator LED /Butto n Fault LED Status LED Power Button Serial Number label Serial Number Disk Drive Map Top Fault LED PSU Fault LED Temp Fault LED Top Fault LED PSU Fault LED Temp Fault LED Disk Drive Map Dual USB 2.0 ports

20. Page 20 Задняя панель PSU Status LED's SP Serial Port Chassis Status LED's and Locator Button SP Network Port Quad Gigabit Ethernet Ports Dual USB 2.0 Ports POSIX DB-9 Serial Port PCI-E Slot 0/XAUI 0 x8 Slot/x4 Electrical PCI-E Slot 1/XAUI 1 x8 Slot/x4 Electrical PCI-E Slot 2 x8 Slot/x8 Electrical PSU Status LED's SP Serial Port Chassis Status LED's and Locator Button SP Network Port Quad Gigabit Ethernet Ports Dual USB 2.0 Ports POSIX DB-9 Serial Port

21. Page 21 10GbE XAUI адаптеры Интерфейс между встроенными 2 x 10GbE портами и вншним миром Каждая карта вставляется в PCI-E слот Специальный XAUI разъем на мат. плате 10Gbe XAUI Card – SESY7XA1Z > Требуют оптические трансиверы > 10GbE Short Reach(SR) – SESY7XT1Z > 10GbE Long Reach (LR) – SESY7XT2Z

22. Page 22 Доступные конфигурации

23. Page 23 Масштабируемость

24. Page 24 Доступные опции

25. Page 25 Производительность

26. Page 26 SPECfp_rate2006: UltraSPARC T2 1.9x повышение произв-ти от T2 до 2x T2 Plus SPECfp_rate2006 Single Socket System PeakBaseConfiguration Sun T5140 119.0111.02 x UltraSPARC T2 Plus 1.4GHz Sun T5120 62.357.9UltraSPARC T2 1.4GHz Sun T5120 53.7 50.7UltraSPARC T2 1.2GHz IBM p570 58.0 51.5Power 6 4.7 GHz Intel 66632 x Intel Harpertown 3 Ghz Fujitsu RX300 37.5 36.2Intel Clovertown 2.66 Ghz

27. Page 27 SpecOMP2001 Измеряется запуск одной задачи параллелизорованной через OpenMP Saw a 1.6x повышение про-ти от T2 до 2 x T2 Plus SpecOMP2001 System PeakBaseConfiguration Sun T5240 25488 21145 2 x UltraSPARC T2 Plus 1.4GHz Sun T5120 16208 14399 UltraSPARC T2 1.4GHz IBM p 520 20443 18953 2 x POWER6, 4.2 GHz AMD 16117 15530 Barcelona 2GHz, 2 chips, 4 cores/chip

28. Page 28 SpecJAppserver2004 SpecJAppserve2004 ● System MetricAppserver Way/GHz/cpu#core Sun Fire T51403331Oracle 10.1.3.3 2 / 1.4 Sun T2 Plus 16 Sun Fire T51202,000Oracle 10.1.3.31 / 1.4 Sun T28 Sun Blade 6000 8,253 BEA 10.010 / 1.4 Sun T18 Sun Fire T2000 801 BEA 9.2 1 / 1.4 Sun T1 8 IBM p5 505Q 618 WS 6.12 / 1.65 Pow5+4 IBM p5 505Q 2921 WS 6.116/1.9GHz Pow5+2 Inspur NF280D 1538 BEA 10 2/ 2.6GHz Clovertown 4 Inspur NF380D 1466 BEA 9.24 / 3GHz Xeon2 1.7x повышение произв-ти от T2 до 2xT2 Plus CMT доминирует в TOP листе

29. Page 29 CMT – невероятная производительность и эффективность

30. Page 30 CMT – невероятная производительность и эффективность Лидерство во всех сегментах ЦОД Невероятная производительность / потребляемая мощность See Legal Substantiation Slides

31. Page 31 Частота против потоков * IBM Performance Based on iPERF UltraSPARC T1 vs. UltraSPARC T2 IBM p5+ vs. IBM p6

32. Page 32 Лидирующая платформа Web HP DL380G5 2 x Quad Core Xeon Red Hat Sun SPARC Enterprise T5220 HP DL580G5 4 x Quad Core Xeon Red Hat HP DL585G2 4 x Dual Core Opteron Red Hat Мировой рекорд SPECweb2005 1 x UltraSPARC T2 w/Solaris 37,001 Users/606 Watts See Legal Substantiation Slides

33. Page 33 Лидирующая платформа Java Application Server Dell PE2900 2 x Dual Core Xeon Windows Server Sun SPARC Enterprise T5220 IBM p 570 2 x Dual Core POWER6 AIX HP rx2660 2 x Dual Core Itanium2 HP-UX Мировой рекорд SPECjAppServer2004 два узла 1 x UltraSPARC T2 w/Solaris 2,000.92 JOPS/468 Watts See Legal Substantiation Slides

34. Page 34 Свежие обновления!

35. Page 35 Развитие процессоров Sun CMT повышает производительность и эффективность Volume SPARC Performance Increase “Niagara 1” “Victoria Falls” US IIIi 1X 14X 35X 65X (2 sockets) 32 threads 8 cores 64 threads 8 cores 1 FPU/core 128 threads 16 cores “Niagara 2” 2004 2005 200620072008 “Rock” “Olympus”/APL US IV+ 1X 16X 1.5X 16 cores Performance Increase Taped- out January 2007 Enterprise 2004 2005 200620072008 Taped- out October 2006 Taped- out April 2006 2009

36. Page 36 Самые многопоточные серверы в индустрии Максимум потоков = Больше проиводительность + Выше энергоэффективность + Меньше пространства SE T5120 & T5220 До 64 потоков SE T5140 & T5240 До 128 потоков Sun Blade T6320 До 64 потоков

37. Page 37 CMT Processor Comparison

38. Page 38 Процессор UltraSPARC T2+ Использует ядра, шину, crossbar, L2$, PCI-Express I/F от UltraSPARC T2 Удалили 10GE интерфейс Заменили 2 канала памяти 4-мя модулями когерентности кэшей Увеличили скорость памяти до 4.8Gbps (было 4.0Gbps) Упрощенные каналы DMA на шину PCI-Ex Весь в/в идет через x8 PCI-E каналов на кристалле, масштабирование в/в кристаллами Сохранили форм-фактов US T2 Поддержка 1 – 4 кристаллов Coherence Unit Coherence Unit Coherence Unit Coherence Unit Memory Controller Memory Controller PCI-Express x8 @ 2.5Ghz 2 GB/s each direction SSI Debug Port JTAG 4 Coherence Channels 6.4 GB/s per channel each direction, 51GB/s total x14 @ 4.8 GT/s in each direction Niagara2 Cores, Crossbar, L2$ (8 cores, 64 threads, 4MB L2$) NCX NCU, DMU 4.8 GT/s 25 GB/s read 13 GB/s write Dual Channel FBDIMM Dual Channel FBDIMM

39. 39 SE 5140/5240 Сохранили функции T2/T5x20: Сеть – on-board 10GbE (внешний чип) Floating Point – FPU в каждм ядре Высокая доступность – диски горячей замены, избыточное питание/охлаждение с горячей заменой Новые функции: Больше емкость: > 2 процесора на систему > Больше PCI-E IO каналов (все слоты x8) > До 32 DIMM-модлей в 2U > 16HDD в 2U (требуется 220В) Улучшенная виртуализация: > 128 изолированных образов OS при использовании LDOM- ов Новые горизонты применения CMT Первые системы на базе процессоров UltraSPARC T2+ 4/6/8 ядер на CPU - Up to 128 потоков Удвоение числа потоков по сравнению с T5120/T5220 в том же размере Объем памяти на старте до 64GB (1U) или 128GB (2U), FB-DIMM > В будущем расширение до 256GB используя 8GB DIMM-ы 2U 1U

40. Niagara2 Cores, Crossbar, L2$ (8 cores, 64 threads, 4MB L2$) Coherence Unit Memory Controller PCI-Express Niagara2 Cores, Crossbar, L2$ (8 cores, 64 threads, 4MB L2$) Coherence Unit Memory Controller PCI-Express UltraSPARC T2+ 2-х сокетная система System IO (Network, Disk, etc.) NCX NCU, DMU NCX NCU, DMU Dual Channel FBDIMM Dual Channel FBDIMM Dual Channel FBDIMM Dual Channel FBDIMM Coherence Unit Coherence Unit Coherence Unit Coherence Unit Coherence Unit Coherence Unit

41. Page 41 x4 33MHz 32bit USB 2.0 x8 USB 2.0 Hub Front Panel USB Quad GbE Connectors Serial Mgt Network Mgt POSIX Serial DB-9 Rear Panel CL SSI x8 x1 PCIe to PCI PCIe Switch PLX 8548 PCIe Switch PLX 8548 x8 QUAD GbE PHY BCM5466R 01230 NEPTUNE Ethernet 2 x 10/100/1000 2 x 10/100/1000/10000 USB to IDE Disk Chassis 1RU=4 Disks PCI to USB LSI 1068E MPC885 ILOM Service Processor FPGA SSI DVD Блочная диаграмма T5140 1RU=16 DIMMS XAUI PCIe x16 Slot2 PCIe x8 Slot0 PCIe x8 Slot1

42. Page 42 x4 33MHz 32bit USB 2.0 x8 USB 2.0 Hub Front Panel USB Quad GbE Connectors PCIe x16 Slot2 PCIe x8 Slot5 PCIe x8 Slot0 PCI- ex8 Slot3 2RU Serial Mgt Network Mgt POSIX Serial DB-9 Rear Panel CL SSI x8 x1 PCIe to PCI x8 PCIe Switch PLX 8548 PCIe Switch PLX 8548 x8 2RU PCIe x8 Slot1 PCIe x8 Slot4 x8 QUAD GbE PHY BCM5466R 01230 NEPTUNE Ethernet 2 x 10/100/1000 2 x 10/100/1000/10000 USB to IDE Disk Chassis 2RU = 8 or 16 Disks PCI to USB LSI 1068E MPC885 ILOM Service Processor FPGA SSI DVD 2RU Memory Mezzanine Tray Option 2RU=16 DIMMS without Mezzanine, 32 DIMMS with mezzanine XAUI Блочная диаграмма T5240

43. Page 43 Что почитать?

44. Page 44 Ресурсы посвященные Niagara ● Страница посвященная CoolTreads - http://www.sun.com/servers/coolthreads/tnb/resources.jsp ● CoolStack – набор OpenSource приложений, оптимизированных для систем CMT http://cooltools.sunsource.net/coolstack/index.html ● Оптимизация СУБД Oracle для работы на серверах CMT http://www.sun.com/servers/coolthreads/tnb/applications_oracle.j sp ● Оптимизация других приложений для систем CMT http://www.sun.com/servers/coolthreads/tnb/applications.jsp http://www.sun.com/servers/coolthreads/tnb/applications.jsp ● Тестирование Niagara2 в HPC кластере университета AACHEN (Германия) http://www.rz.rwth- aachen.de/ca/k/raw/lang/en/http://www.rz.rwth- aachen.de/ca/k/raw/lang/en/

45. ● Дмитрий Валетин – Менеджер по системам масштаба предприятия ● Sun Microsystems 45

46. 46 Batoka New features include: More capacity: > 4 VF processors per system > 1.2 and 1.4 GHz offerings > 6 or 8 cores per CPU > 8 PCI-E slots (all slots x8) > Two intended for graphics > Two shared with XAUI > Up to 64 DIMMs slots > 256 GB with 4 GB DIMMs Enhanced Virtualization: > 128 isolated OS instances utilizing LDOMs > Scaling CMT to New Heights > Blending mid-range performance and scalability to CMT economics and efficiency > Up to 3x performance of current mid- range competitors at 5x lower price > 4 sockets / 256 threads > Up to 256GB Memory (512GB post RR) > Up to 28 x PCI-E slots (with 2 I/O Boxes) > Extends T5120/T5220 and Maramba offerings 4-Socket Victoria Falls

47. Page 47 VF 4-Socket System (Batoka) Coherence Hubs (4) 4 ports/hub 6.4GB/s per port in each dir VF 8 Cores 8 Threads/Cor e 4MB L2$ VF 8 Cores 64 Threads 4MB L2$ VF 8 Cores 64 Threads 4MB L2$ VF 8 Cores 64 Threads 4MB L2$ VF 8 Cores 64 Threads 4MB L2$ PCI-Express Dual Channel FBDIMM Dual Channel FBDIMM Dual Channel FBDIMM Dual Channel FBDIMM Dual Channel FBDIMM Dual Channel FBDIMM Dual Channel FBDIMM Dual Channel FBDIMM

48. Page 48 Batoka Block Diagram Zambez i 0 Zambez i 1 Zambez i 2 Zambez i 3 4x FB Links CL0 CL1 CL2 CL3 CL1 CL2 CL3 CL2 CL3 Zambez i 2 PLX1 PEX8548 PCIe x8 x8 PLX0 PEX8548 Neptun e QUAD GbE PHY BCM5466R 1230 LSI1068 e x8 SAS x4 SAS PLX3 PEX8548 PLX2 PEX8548 PCIe- PCI USB host USB Hub USB- IDE 0 1 2 3 4 USB 2.0 DVD NET MGT SER MGT DB-9 Quad 10/100/1000 5 76 4x SSI BACK panel FRONT panel BACK panel LPC PCI ILOM Card x1 x8 Mem Module 0 Mem Module 1 Mem Module 2 Mem Module 3 CPU Module 3 CPU Module 2 CPU Module 1 CPU Module 0 VF VRM XAUI 0 XAUI 1

49. Page 49 Victoria Falls Micrograph Coherence Plane 0 Coherence Plane 1 Coherence Plane 2 Coherence Plane 3