Лекция "Кластерные технологии и их развитие"

Кластерные технологии и их развитие Кластер — это модульная многопроцессорная система, созданная на базе стандартных  вычислительных узлов, соединенных высокоскоростной коммуникационной средой. Сейчас слова «кластер» и «суперкомпьютер» в значительной степени синонимы, но прежде чем об  этом стало можно с уверенностью говорить, аппаратные средства прошли длительный цикл эволюции. В течение первых 30 лет с момента появления компьютеров, вплоть до середины 1980­х гг., под «суперкомпьютерными» технологиями понимали исключительно  производство специализированных особо мощных процессоров. Однако появление  однокристального микропроцессора практически стерло разницу между «массовыми» и  «особо мощными» процессорами, и с этого момента единственным способом создания  суперкомпьютера стал путь объединения процессоров для параллельного решения одной  задачи. Алексей Лацис, один из создателей российского суперкомпьютера МВС­1000М, в  своей книге «Как построить и использовать суперкомпьютер» называет это «первой  суперкомпьютерной революцией».Примерно до середины 1990­х гг. основное направление  развития суперкомпьютерных технологий было связано с построением специализированных многопроцессорных систем из массовых микросхем. Один из сформировавшихся подходов  — SMP (Symmetric Multi Processing), подразумевал объединение многих процессоров с  использованием общей памяти, что сильно облегчало программирование, но предъявляло  высокие требования к самой памяти. Сохранить быстродействие таких систем при  увеличении количества узлов до десятков было практически невозможно. Кроме того, этот подход оказался самым дорогим в аппаратной реализации. На порядок более дешевым и  практически бесконечно масштабируемым оказался способ МРР (Massively Parallel  Processing), при котором независимые специализированные вычислительные модули  объединялись специализированными каналами связи, причем и те и другие создавались под  конкретный суперкомпьютер и ни в каких других целях не применялись.Идея создания так  называемого кластера рабочих станций фактически явилась развитием метода МРР, ведь  логически МРР­система не сильно отличалась от обычной локальной сети. Локальная сеть  стандартных персональных компьютеров, при соответствующем ПО использовавшаяся как  многопроцессорный суперкомпьютер, и стала прародительницей современного кластера.  Эта идея получила более совершенное воплощение в середине 1990­х гг., когда благодаря  повсеместному оснащению ПК высокоскоростной шиной PCI и появлению дешевой, но  быстрой сети. Fast Ethernet кластеры стали догонять специализированные МРР­системы по  коммуникационным возможностям. Это означало, что полноценную МРР­систему можно  было создать из стандартных серийных компьютеров при помощи серийных  коммуникационных технологий, причем такая система обходилась дешевле в среднем на  два порядка.Вот самые знаменитые суперкомпьютеры с кластерной архитектурой «первого поколения»: Beowulf (1994, NASA Goddard Space Flight Center) — 16­процессор­ный  кластер на процессорах Intel 486DX4/100 МГц; Avalon (1998, Лос­Аламосская  национальная лаборатория) — Linux­кластер на базе процессоров Alpha 21164А/533 МГц.  Первоначально Avalon состоял из 68 процессоров, затем их число увеличилось до 140; его  производительность на тесте LINPACK 48,6 GFlops* позволила ему занять 113­е место в  12­й редакции рейтинга самых мощных компьютеров мира Тор500 рядом со 152­ процессорной SMP­системой IBM RS/6000 SP. Первой отечественной системой, вошедшей  в ТорбОО, стал кластер МВС­1000М, изготовленный НИИ «КВАНТ» и Институтом  прикладной математики Российской академии наук. Он состоял из 384 узлов на базе  процессоров Alpha 21164 компании DEC­Compaq.