Настоящий документ подготовлен сотрудниками суперкомпьютерного центра Института высокопроизводительных вычислений и баз данных Министерства науки и технологий РФ. Цель данного обзора Ц продолжение анализа и изучения тенденций и направлений развития высокопроизводительных вычислений в современном обществе.
Статистические данные по развитию высокопроизводительных компьютеров представляют интерес, как для специалистов, так и для пользователей или потенциальных пользователей подобной техники.
За основу обзора взята информация из последней редакции TOP500 Ц общедоступного, широко известного списка 500 мощнейших суперкомпьютерных систем. Статистика по развитию высокопроизводительных компьютеров собирается и анализируется его составителями с 1993 года. Список поддерживается Университетом Маннхейма (Германия) и некоммерческой организацией NetLib (учрежденной Лабораторией Bell компании AT&T (AT&T Bell Laboratories), Университетом Тенесси и Оакриджской национальной лабораторией (Oak Ridge National Laboratory)) при помощи экспертов по суперкомпьютерным системам, компетентных ученых, производителей компьютерного оборудования и мирового сообщества Internet. Список TOP500 публикуется два раза в год, летом и осенью, что позволяет эффективно отслеживать эволюцию суперкомпьютерного рынка. В списке TOP500 занимаемые места определяются по максимальной производительности систем (Rmax) по тесту LINPACK, приводятся в нем и некоторые другие параметры, такие как: теоретическая пиковая производительность, количество процессоров, размер задачи, необходимый для достижения максимальной производительности по LINPACK и т.п. Кроме материалов TOP500 в настоящем обзоре используются также данные других статистических исследований.
Примечание: Под производительностью конкретной системы подразумевается максимальная производительность по тесту LINPACK, а под производительностью по категории понимается суммарная максимальная производительность, то есть сумма максимальных производительностей систем данной категории.
В число мощнейших высокопроизводительных систем входят машины всех основных компьютерных архитектур: MPP (massive parallel processing - массивно- параллельные системы), SMP (shared memory processing - cимметричные мультипроцессорные системы с разделяемой памятью) и PVP (parallel vector processing - векторно-параллельные системы), причем к классу PVP в данном обзоре мы относим и векторные системы. Определения основных классов архитектур, которые используются в данном обзоре, приведены в работе Д.Малашонка "Высокопроизводительные компьютерные системы в 1997 г".
В конце 1998 года MPP-системы лидируют в списке TOP500 как по количественным, так и по качественным показателям. Доля в общей производительности от всех систем списка у MPP-систем на 20% выше, чем их количественная составляющая. MPP-системы практически завоевали верхнюю часть списка. Все представители из десятки сильнейших систем имеют архитектуру MPP.
Рис.2.1. Распределение систем из списка TOP500 по архитектурам.
Второе место по производительности занимают PVP-системы, качественные и количественные характеристики которых в процентном выражении приблизительно одинаковы. Второе место по количеству принадлежит системам с SMP-архитектурой, полученное ими благодаря заполнению нижней части таблицы TOP500. SMP-машины отсутствуют в первой сотне списка, однако, они занимают нишу самых распространенных, но относительно УнизкопроизводительныхФ систем, чем и объясняется их третье место по суммарной производительности. Бурное развитие SMP архитектуры за два последних года, позволяет предположить, что эти системы в недалеком будущем могут существенно приподнять нижнюю планку для вхождения в список сильнейших по производительности, а, следовательно, вырастет мощность наиболее широко представленных суперкомпьютеров. С другой стороны, несмотря на то, что в 1998 г. были разработаны и появились на рынке 64-х и 128-ми процессорные машины с SMP-архитектурой, специалисты компаний-производителей говорят о вновь наметившемся пределе для этого класса систем.
Рис. 2.2. Распределение производительности систем из списка TOP500 в зависимости от архитектуры.
Тенденции по изменению долевого распределения представленных архитектур на рынке мощнейших суперкомпьютеров можно наблюдать на рис. 2.3, данные взяты из статистических отчетов, составленных специалистами Университета Маннхейма.
MPP-системы продолжают превозобладать в TOP500, хотя их лидерство несколько пошатнулось, что скорее всего связано с активным развитием SMP-архитектуры. Американская программа ASCI (Accelerated Strategic Computing Initiative - ускоренная стратегическая компьютерная инициатива), рассчитанная на 15 лет и призванная поддерживать создание новых высокопроизводительных систем, акцентирует усилия именно на разработку MPP-архитектур со сверхбольшим числом процессоров. В частности, самой мощной машине в мире 1998 года, ASCI Red, с архитектурой MPP, требуется 9152 процессоров для того, чтобы достичь производительности 1.34 ТФлоп/сек. Однако, успех MPP не столь однозначен, как может показаться на первый взгляд. По утверждению профессора Ханца Мейера, одного из создателей списка TOP500, сделанного им на конференции RCI, в реальных приложениях MPP-системы используют свои ресурсы только на 20%, тогда как векторные системы - практически на 95%, хотя по тестам LINPACK и те, и другие показывают высокие результаты. Вероятно, не все классы, существующих на практике проблем, могут быть эффективно решены на MPP-компьютерах оснащенных большим числом процессоров. Более того, по данным европейских ученых некоторые громоздкие задачи, в том числе и промышленные, вообще не поддаются распараллеливанию, и тогда векторные системы остаются единственным выходом (УEurope can take the lead again in supercomputing - vectors can be the answerФ). Все вышесказанное, позволяет надеяться на дальнейшее развитие PVP-систем, несмотря на уменьшение их представительства в TOP500. Ведь машинам с векторной архитектурой достаточно даже 3 процессоров, чтобы попасть в список сильнейших.
Рис. 2.3. Эволюция архитектур с 1993 по 1998 г.
Заметим, что соотношения архитектур за 1998 на рис. 2.3, полученное в Университете Маннхейм, и на рис. 2.1, полученном в ИВВБД, слегка отличаются, что может быть связано:
В списке мощнейших суперкомпьютеров компания SGI/Cray занимает лидирующее положение, как по количеству, так и по суммарной производительности парка. Хотя компании Sun и IBM находятся в пределах 10-15% от общего числа машин от SGI/Cray, по суммарной производительности они существенно уступают. Компания SGI/Cray выпускает полный спектр архитектур высокопроизводительных систем, чем не может похвастаться ни один другой производитель в TOP500. За тремя лидерами следуют фирмы: Fujitsu, NEC, HP, Hitachi, Compaq, Intel, TMC, рейтинг каждой из них не превосходит 6% ни по производительности, ни по объему парка. Мощнейшая система в мире ASCI Red принадлежит фирме Intel.
Рис. 2.4. Распределение количества машин в списке TOP500 по фирмам-изготовителям (в процентах).
Рис. 2.5. Распределение суммарной производительности парка суперкомпьютеров по фирмам-изготовителям (в процентах).
Системы SGI/Cray доминируют среди наиболее высокопроизводительных, так в TOP10 за SGI/Cray 70% систем, в TOP50 Ц 60%. В первой сотне присутствует всего одна машина компании Sun. Sun Microsystems облюбовала нижнюю часть списка, то есть, ее компьютеры относятся к числу Уне самыхФ высокопроизводительных, но очевидно наиболее распространенных систем. По отзывам специалистов система HPC 10000 (Starfire) с 64 процессорами архитектуры SMP фирмы Sun является лучшей среднеуровневой суперкомпьютерной системой конца 1998 - начала 1999 гг. Несмотря на то, что Sun проводит активную и успешную разработку систем, имеющих SMP-архитектуру, следующим шагом компании, вполне возможно станет переход к MPP.
Размер парка самых быстрых систем компании SGI/Cray в последние 2 года снижается. На конец 1998 года число установленных систем спустилось до рекордно низкой для фирмы отметки - 183 шт. (см. рис. 2.6). Однако, суммарная производительность парка SGI/Cray выросла за последний год более чем в 1,5 раза и составляет 50,65% от общей производительности. Можно сделать вывод, что SGI/Cray в последний год занималась на рынке не столько поставкой новых технических решений, сколько модернизацией "старых" суперкомпьютеров в соответствии с современными требованиями.
Рис. 2.6. Эволюция фирм-изготовителей по численности парка систем.
За год после первого вхождения в TOP500 Sun устойчиво держит вторую позицию по числу машин после SGI/Cray. Количество Sun серверов 126 - на 14% больше чем в июне 1998. Система Sun 10000 Starfire с 4 кластерами и 64 процессорами достигла производительности 123,9 ГФлоп/сек по тесту LINPACK, а сервер с двумя кластерами Ц 66,9 ГФлоп/сек. По мнению экспертов Sun это самые высокопроизводительные из среднеуровневых машин по тестам, используемым в TOP500. Сервер Sun HPC 10000 является лидирующей по числу представленных систем архитектурой в последнем TOP500.
Компания IBM планирует увеличить свое представительство в TOP500 более чем на 40% за следующие 6 месяцев. Сейчас число IBM систем в списке самых быстрых компьютеров 104 шт., предполагается добавить еще 30 инсталляций до июня. За последний год фирма IBM существенно укрепила свои позиции, размер ее парка вырос на 45%, а его суммарная производительность - более чем в 2 раза.
Темпы роста производительности систем японских корпораций, Fujitsu, Hitachi, NEC, снизились. У компаний HP/Convex и Intel наблюдается спад. В списке впервые появилась компания Compaq, использовавшая достижения приобретенной ею в 1998 году компании Digital.
Рис. 2.7. Эволюция фирм-изготовителей по суммарной производительности.
Таким образом, лидерами среди производителей суперкомпьютеров являются три американские компании SGI/Cray, IBM, Sun а за ними следуют японские корпорации.
Рисунки 2.6 и 2.7 приготовлены на основе материалов Университета Манхейм, который ведет статистику по TOP500 с 1993 года.
В двенадцать выпусков TOP500 попали девятнадцать производителей, однако, только пять из них выдержали все издания списка с июня 1993: Fujitsu, Hitachi, Intel, NEC и Thinking Machines (TMC).
Несмотря на то, что компания TMC перестала существовать пару лет назад, она до сих представлена в последнем списке 1056-процессорной системой CM-5 в Национальной лаборатории в Лос-Аламосе (Los Alamos National Labs). Эта машина сейчас занимает 80 позицию, и, возможно, сохранит имя TMC в списке до конца 2000.
Рис. 2.8. Компании-производители, участвовавшие в TOP500, с 1993 по 1998 гг.
Похоже, что компания Intel, как производитель суперкомпьютерных систем, отстранилась от рынка суперкомпьютеров. Однако, ее система ASCI Red с 9152 процессорами и с максимальной производительностью 1,34 ТФлоп/сек, единственная машина, превысившая рубеж в ТФлоп/сек и удерживающая позицию ╧1 второй год подряд. Также в списке присутствуют четыре мощнейших системы Intel Paragon - можно предполагать, что Intel будет представлена в TOP500, даже при отсутствии усилий с ее стороны, до конца 2004/5 гг., когда большинство машин будут иметь производительность более ТФлоп/сек.
Пожалуй, из числа пионеров списка производителей суперкомпьютерных систем, только позицию японских компаний - это векторно- ориентированные компьютерные гиганты Fujitsu, Hitachi и NEC, можно охарактеризовать как активную.
В первом выпуске TOP500 в июне 1993 в списке было 13 производителей. Пик по числу производителей был достигнут в ноябре 1994, когда было представлено 16 компаний. Сейчас их только 10.
Европейские производители, компании Meiko и Parsytec находились в TOP500 с 6/93 до 11/96, 6/97 соответственно. Из 6000 систем всех 12 списков, 89 машин представлено Meiko и Parsytec вместе, что составляет менее 1,5% от общего числа.
Появившаяся в списке в прошлом году Hewlett-Packard приобрела фирму Convex, а Compaq, впервые вошедшая в TOP500 этого года, фирму Digital. Заметим, что как Convex, так и Digital участвовали в списке мощнейших компьютерных систем с момента его создания.
США доминирует в ТОР500, в ноябре 1998 г. эта страна упрочила свое положение в списке наиболее мощных суперкомпьютеров мира. Ей вместе с Канадой принадлежат 298 из 500 позиций, по сравнению с 270 год назад. Количество установленных систем в Европе, поднялось со 114 до 117, тогда как в Японии оно упало с 95 до 69. В Северной Америке предпочитают устанавливать исключительно машины американских производителей, и только один суперкомпьютер, компании NEC был установлен в Канаде. Япония покупает как американские, так и японские системы, но предпочтение отдается японским изготовителям - 58% от общего числа установленных машин. В машинном парке Cтарого Света находятся системы большинства мировых производителей без особых привязанностей.
Рис. 2.9. Распределение парка суперкомпьютеров по странам установки.
Рис. 2.10. Распределение производительности парка суперкомпьютеров по странам установки.
Нынешнее распределение в десятке сильнейших систем существенно отличается от того, что было в 1997 году, хотя место ╧1, по прежнему, осталось за американской системой ASCI Red компании Intel. Если в 1997 четыре машины были установлены в Америке, а по три принадлежало Европе и Японии, то в 1998 году только 2 из представленных систем установлены в Европе, восемь американских и нет ни одной японской машины.
Ближайшая к десятке японская система CP-PACS/2048, созданная Hitachi/Tsukuba, бывший ╧4, расположена на 14-м месте. Очевиден успех американской программы ASCI - 4 места в десятке.
Рис. 2.11. Распределение производительности парка суперкомпьютеров по странам установки в Европе.
Анализ списка десяти мощнейших систем Европы, составленный по результатам ТОР500:
Легко заметить, что в европейском списке сильнейших преобладают системы, инсталлированные в Германии и Великобритании.
В списке TOP500 виртуально присутствует одна система из России, под номером 117, планируемая для установки в Национальном Резервном Банке Москвы, - HPC 10000 компании Sun с заявленной максимальной и теоретической производительностями 20,3 ГФлоп/сек и 24 ГФлоп/сек соответственно. К сожалению, нам не удалось подтвердить информацию о поставке этой системы. В тоже время лучшая машина согласно списку 10 мощнейших компьютерных систем в сфере науки и образования России, поддерживаемому Михаилом Кузьминским в издании Computer World и представленном на странице издательского дома УОткрытые системыФ www.osp.ru/cw/1999/06/38.htm, принадлежит межведомственному суперкомпьютерному центру Миннауки РФ и РАН в Москве. Эта система имеет пиковую производительность только 15,36 ГФлоп/сек, что на 2 ГФлоп/сек хуже самой слабой системы из TOP500.
Рис. 2.12. Эволюция количества установленных систем.
Преимущество по количеству самых мощных суперкомпьютерных систем сохраняется за Америкой. Доля Европы и Японии несколько снизилась, но пока локальное распределение напоминает скорее случайные флуктуации, чем какие-либо тенденции. Впрочем все-таки можно заметить, что только в Америке (и, в первую очередь, в США) сохраняется устойчивая тенденция по наращиванию числа суперкомпьютерных систем, что впрочем, можно объяснить масштабами континента и высоким уровнем промышленности.
Анализ областей применения систем TOP500 позволяет выявить некоторые неочевидные зависимости и тенденции.
Рис. 2.13. Распределение систем по областям применения.
Рис. 2.14. Распределение производительности парка суперкомпьютеров по областям приложений.
Самое большое число систем установлено в промышленной сфере (см. рис. 2.13). Однако при внимательном рассмотрении становится понятно, что пальма первенства принадлежит все-таки исследовательским организациям.
Наиболее интересными, на наш взгляд являются академическая, исследовательская и промышленная области. Количество систем, установленных в административных организациях и у производителей, мало, и поэтому их достаточно сложно анализировать. Отметим лишь, что производители, как правило, имеют у себя высококачественные компьютерные системы (большинство из них находятся в TOP100).
| Область | ТОР10 | ТОР50 | ТОР100 |
| Академическая | 1 | 13 | 24 |
| Административная | 2 | 5 | 9 |
| Исследовательская | 6 | 25 | 46 |
| Промышленная | 0 | 2 | 13 |
| Производители | 1 | 5 | 8 |
Табл. 1. Распределение количества машин по первым 10, 50, 100 позициям в TOP500.
Ни одна машина из первой десятки не была инсталлирована в промышленности. В TOP100 индустриальная область уступает исследовательской более чем в 3 раза. Большинство промышленных систем расположены в нижней части списка и, как следствие их суммарная производительность не высока. Действительно, производительность исследовательских систем в два раза больше, чем у промышленных (рис. 2.14). Заметим, что в первой сотне в 2 раза больше машин из академической сферы, чем суперкомпьютеров, обслуживающих промышленность. Лидерство исследовательской области естественно, поскольку для нестандартных теоретических и практических задач, решаемых учеными, требуются огромные, неординарные по своим возможностям системы.
Рис. 2.15. Распределение систем в разных областях по континентам.
Обратившись вновь к ситуации в различных странах мира, отметим, ряд интересных особенностей. Самый высокий процент использования высокопроизводительных систем в промышленности достигнут в Европе. Традиционно развитая в Европе высшая школа лидирует по долевой составляющей даже в суперкомпьютерном мире, но в исследовательской области Европа уступает другим континентам, что, может быть, отчасти объясняется историческим отсутствием строгой грани между научными и учебными областями. Самой прогрессивной в поддержке исследовательской сферы оказалась Япония.
Успех промышленности по числу систем был обеспечен прорывом в производстве систем SMP-архитектуры и компаний, активно разрабатывавших SMP-технологии (рис. 2.16, 2.17).
Рис. 2.16. Распределение систем различной архитектуры по областям применения.
MPP-системы достаточно равномерно распределены по трем основным областям применения. Исходя из табл. 1 и рис. 2.16, можно сделать вывод, что MPP-системы, установленные в сфере промышленности отличаются относительно низкой производительностью. Для SMP-архитектуры, которая несомненно лидирует, индустрия является основной областью использования.
Более 50% PVP-систем работают в исследовательской области, такое серьезное представительство объясняется, скорее всего, успешной реализацией больших ресурсов векторных систем в реальных задачах (см. п. 2.).
Классы задач, стоящих перед исследовательской и академической областями, предъявляют высокие требования к ресурсам высокопроизводительных систем, поэтому для них наиболее часто выбираются системы с архитектурами MPP и PVP от компаний-производителей SGI/Cray, IBM, Fujitsu и NEC. Компания Sun Microsystems ориентируется на захват рынка среднеуровневых суперкомпьютеров, решающих стандартные задачи, которым необходимы высокие расчетные мощности. Среднестатистический суперкомпьютер, инсталлированный в сфере промышленности это 64-х процессорный сервер HPC 10000 с SMP-архитектурой от компании Sun.
Рис. 2.17. Распределение систем разных производителей по областям применения.
Рис. 2.18. Эволюция числа инсталлированных систем в областях применения суперкомпьютеров.
В 1998 году промышленность впервые обогнала исследовательскую область по числу машин. Достаточно сложно прогнозировать, как эта картина изменится в следующем году. Учитывая превосходство исследовательской области по производительности (12500 Гфлоп/сек) и безусловную важность этой сферы, можно сделать вывод, что по количественным показателям темпы такого падения должны будут понизиться. Хотя вытеснить исследовательскую область из верхней части списка не так просто, лидерство промышленности по производительности во многом объясняется именно благодаря численному превосходству.
Рис. 2.19. Эволюция суммарной производительности в областях применения суперкомпьютеров.
Итак, подведем итоги нашего обзора.
В 1998 г. смены лидера в списке TOP500 не произошло. С 1997 г. первое место в нем занимает система Intel ASCI Red с производительностью 1,338 Тфлоп/сек. Интересно, что производительность системы ╧1 1998-го года равна сумме производительностей всех 500 машин из списка 1993-го. В 1999 г. лидер, скорее всего, изменится. Пока основная борьба за первое место идет между системами ASCI Blue Pasific компании IBM и ASCI Blue Mountain компании SGI/Cray.
Первые 50 систем из списка TOP500 представляют 50% общей производительности. Машины в начале и конце этого списка отличаются на 2 порядка производительности. За 1998 список обновился наполовину.
Рис. 3.1. Эволюция производительности парка сильнейших суперкомпьютеров в целом, машин ╧1, ╧100, ╧500.
Система под номером 100 почти достигла производительности лучшей системы первого года выпуска TOP500, 1993. Машина ╧500 Ц установлена в компании Merril Lynch компанией Sun Microsystems. Чтобы попасть в TOP500 1998 года, от системы требовалось иметь производительность как минимум 17,1 ГФлоп/сек.
Возможности систем ╧100 и ╧500 в списке TOP500 понемногу сближаются. На позициях с 355-й по 420-ю находятся системы с одинаковой производительностью. Проф. Мейер, проанализировав эту тенденцию статистическими методами, заявил: "В 2004 году в списке будут только машины с производительностью более 1 ТФлоп/сек" (УIn 2004 only Tflop/s machines will make it to the TOP500 listФ).
Ключевые моменты Top10:
Одной строкой:
Малашонок Дмитрий (mal@csa.ru)
Шошмина Ирина (irena@csa.ru)
ИВВБД (CSA)