Ускорение электромагнитного моделирования с использованием кластерных вычислительных систем

Ускорение электромагнитного моделирования с использованием кластерных вычислительных систем

Юн Чейз, Брайан Раюто

Кластерные вычислительные системы позволяют значительно снизить время обработки данных при электромагнитном моделировании путём суммирования вычислительной мощности нескольких процессоров в единой вычислительной системе.

В настоящее время компьютерное электромагнитное (EM) моделирование является мощным инструментом для расчёта высокочастотных аналоговых и высокоскоростных цифровых схем и устройств. Программное обеспечение постоянно совершенствуется, однако даже самым современным  компьютерам очень трудно уровню, поэтому зачастую  для эффективной работы современных систем EM моделирования требуются нестандартные сочетания вычислительных систем. Фирма Sonnet Software (www.sonnetsoftware.com) предлагает комплексное решение данной проблемы — вычислительную технологию emCluster. Технология позволяет суммировать производительность многих компьютеров для ускорения анализа и повышения качества результатов расчета, что в итоге приводит к сокращению длительности цикла проектирования и ускорению выхода изделия на рынок.

Система emCluster может быть сконфигурирована для работы как в сосредоточенном локальном кластере, так и в распределенной или объединенной вычислительной среде через глобальную сеть Wide Area Network (WAN) или через Интернет с использованием соединения Virtual PrivateNetwork (VPN). В отличие от традиционных кластеров, система может работать в гетерогенных вычислительных средах, вплоть до объединенных массивов компьютеров (вычислительных решеток).

Рис. 1. Работа вычислительной системы emCluster.

Вычислительная технология emCluster (рис. 1) объединяет различные аспекты кластерной, распределенной и решетчатой компьютерной обработки. Обычный вычислительный кластер осуществляет использование параллельной работы нескольких отдельно стоящих одинаковых компьютеров через высокоскоростную локальную сеть и во многих отношениях может рассматриваться как один компьютер. В распределенной вычислительной среде компьютеры не заняты исключительно групповыми задачами и не так тесно связаны между собой, как в кластере. Правильно сконфигурированные компьютеры в распределенной среде могут использовать вычислительные ресурсы, в обычных условиях остающиеся неиспользованными. Другими словами, распределенная обработка может обеспечить наличие надёжных и «всегда включённых» вычислительных ресурсов, чего не могло бы ни в каком другом случае.

Решеточные вычислительные системы (Grid-архитектуры) представляют собой дальнейшее развитие технологии распределенной обработки и используют большое количество компьютеров, объединенных сетью (часто это сеть Интернет) для выполнения очень больших объемов расчётов. Решеточное вычисление может быть настроено на использование времени простоя компьютеров в разных географических точках. Такие организационные решения делают возможной обработку больших объемов информации, которая иначе потребовала бы мощности дорогих суперкомпьютеров, либо была бы вообще неосуществима.

Таблица 1. Компьютерные архитектуры, используемые для распределенных вычислений.

Решеточные системы очень часто путают с кластерными вычислительными системами, но между ними есть четкие различия. Например, в отличие от решеток кластеры всегда однородны, то есть состоят из компьютеров одного класса с одинаковыми операционными системами. Вдобавок, элементы решеточной системы могут быть сильно разнесены географически, в то время как кластеры обычно размещаются в одном помещении (таблица 1). Однако, независимо от используемой архитектуры, разнообразные кластерные и решеточные системы все чаще используются для повышения скорости и точности вычислений, поскольку являются гораздо более рентабельным решением (таблица 2), чем автономные компьютеры сравнимой скорости и надёжности.

Таблица 2. Приблизительная стоимость компьютеров для кластерных вычислений.

С использованием решения emCluster, анализ средствами Sonnet может происходить в N раз быстрее, чем при работе на одиночном компьютере, где N равно количеству компьютеров в кластере. В результате, для больших проектов время расчёта может уменьшиться с нескольких дней до нескольких часов. Благодаря такому ускорению вычислений, разработчики получают возможность оптимизировать свой проект и получить более компактную топологию без опасения чрезмерного увеличения времени EM анализа.

Даже при использовании всего двух компьютеров (N=2), время расчёта уменьшается вдвое. Однако, для анализа типичных проектов в системе Sonnet с использованием алгоритма Adaptive Band Synthesis (ABS) наилучшим образом подходит кластер из десяти компьютеров (N=10), обеспечивающий высокую скорость расчета, хорошую надежность и оптимальную стоимость, которая сопоставима со стоимостью рабочей станции UNIX десятилетней давности. Кластерные компьютеры могут быть приобретены в виде готовых систем или собраны из имеющихся в свободной продаже компонентов, иными словами, это могут быть обычные персональные компьютеры. Каждый компьютер в кластере должен иметь лицензию для пакета управления кластером LSF компании Platform Computing (www.platform.com) и лицензию Sonnet Suites Professional Release 10.53.

Программа emCluster напрямую взаимодействует с LSF, а также позволяет клиентам находиться в любой точке земного шара, лишь бы у них была возможность установить сетевое соединение с кластером через VPN или любым другим подобным способом. Традиционный EM анализ на автономном компьютере требует, чтобы частоты анализировались последовательно, одна за другой. Однако, при использовании программы Sonnet emCluster в кластерной вычислительной среде, вся задача анализа в диапазоне изменения частоты автоматически разделяется на соответствующее число одночастотных расчётных заданий, полностью подготовленных для обработки вычислительным ядром Sonnet. Эти отдельные задания немедленно назначаются системой emCluster для параллельной обработки на доступных в кластере ресурсах. Главным критерием, по которому программа emCluster автоматически распределяет задания для обработки между компьютерами (серверами моделирования), является соответствие их платформы требованиям конкретного задания (например, как доступная оперативная память). Такое интеллектуальное распределение значительно сокращает общее время ожидания и обеспечивает наличие «всегда включённых» ресурсов.

После того, как кластер проанализирует все одночастотные задания,  программа emCluster объединяет результаты расчётов и получает окончательные характеристики устройства. От пользователя не требуется никаких дополнительных действий, все, что он замечает — это значительное сокращение времени анализа и быстрое получение точных результатов. Даже простой кластер из двух компьютеров обеспечивает двойной выигрыш во времени. При использовании кластера из десяти компьютеров получается десятикратная экономия времени, то есть десятичасовой проект рассчитывается за один час.

Технология emCluster также может быть использована для повышения эффективности работы алгоритма Adaptive Band Synthesis (ABS). Фактически это метод интерполяции, обеспечивающий получение характеристик с высоким разрешением по частоте в широком диапазоне по результатам EM анализа структуры в небольшом количестве точек. Пакет Sonnet проводит полный EM анализ в нескольких отдельных точках и использует полученные внутренние либо кэшированные данные для синтеза характеристик в широкой полосе частот с более высоким разрешением. Существует два основных метода исполнения  алгоритма ABS с применением программы emCluster. Первый из них, автоматический позволяет программе emCluster самой определить, для каких именно дискретных точек выполнить полный EM анализ, и запустить одночастотные задания для параллельного расчета в кластере. Второй метод требует ручного задания конкретных частотных точек или шага по частоте во всем диапазоне. Для полученных частотных точек программа emCluster сформирует задания для расчета в кластере, запустит анализ и, по его завершении, получит интерполированную частотную характеристику с использованием алгоритма ABS.

Рис. 2. Проект этого гибридного GaAs делителя мощности часто использовался для тестирования производительности вычислительной платформы. Использование системы emCluster позволило сократить время расчета в 10 раз.

Для демонстрации эффективности программы emCluster рассмотрим в качестве примера гибридный делитель мощности (рис. 2) размером 0.5 х 0.5 мм. В этом 3 дБ синфазном делителе мощности используются две спиральных катушки индуктивности на арсенид-галлиевой подложке, анализ которых должен быть выполнен с применением конформных ячеек на слое металла ненулевой толщины. Подобные криволинейные структуры традиционно представляют серьёзное испытание для систем электромагнитного моделирования, которые пытаются заполнить криволинейную структуру большим числом мелких ячеек анализа, резко увеличивает время анализа. Технология конформных ячеек, примененная в программном обеспечении Sonnet, позволяет анализировать криволинейные структуры без неоправданного увеличения числа ячеек с сохранением высокой точности результатов.

Анализ 10 частотных точек на персональном компьютере с процессором Pentium-4 1.8GHz и оперативной памятью 2 ГБ при выборе мелких ячеек (для обеспечения высокой точности) занимает 9 часов и 41минуту. Расчёт той же структуры с помощью программы emCluster, выполняемый на кластере, состоящем из десяти точно таких же компьютеров, занимает лишь 59 минут (рис. 3 и 4). Программа emCluster автоматически делит все задание на 10 одночастотных и назначает их на выполнение доступным компьютерам кластера.

Рис. 3. Данные частотные характеристики делителя мощности были получены с применением системы emCluster менее чем за 1 час.

Рис. 4. Расчет плотности поверхностных токов, полученный с использованием системы emCluster.

 

Построение аппаратной платформы

Построение аппаратной платформы для системы emCluster не представляет большой сложности, так как выбор основных блоков и периферийных устройств относительно невелик. Кластер, собранный в рэковых корпусах типоразмера 1U (ширина 19 дюймов, толщина 1,75 дюйма), будет иметь габариты лишь немного превышающие размеры обычного компьютера. Поскольку доступ к кластеру осуществляется через локальную сеть, мышь, клавиатура, монитор, CD-ROM, а иногда даже жёсткие диски становятся ненужными, тем самым снижается стоимость, объём и потребляемая мощность. Сетевые коммутаторы и силовая разводка обычно уже встроены в рэковые стойки, что упрощает внешние соединения.

Оборудование кластера обычно предназначено для бесперебойной работы. Например, ошибки памяти минимизируются путём применения модулей с коррекцией ошибок (ECC). Проблемы с жёсткими дисками сводятся к минимуму посредством использования RAID-массивов. Данные отправляются RAID-контроллеру, копируются и записываются на два жёстких диска. Если один из жёстких дисков выходит из строя, RAID-массив продолжает использовать исправный диск, пока неисправный диск не будет заменен. Затем данные автоматически дублируются на вновь установленный диск. Сбои из-за неисправности блоков питания минимизируются посредством резервирования. Резервированные системы питания состоят из двух отдельных блоков в одном корпусе, работающих совместно на одну нагрузку. Если один из блоков отказывает, нагрузка немедленно окажется запитанной от рабочего блока без необходимости перезагрузки системы.

Для формирования требований к кластеру очень важен сбор данных о пользователях. Конфигурация кластера основывается на информации о числе пользователей пакета Sonnet, типичных размерах задач, периодов максимальной активности, типах пользовательских компьютеров и географическом расположении пользователей. На следующем этапе важно определить внешние технические характеристики, такие как мощность электрических подключений, требования к охлаждению и ограничения по производимому шуму. Как только это сделано, можно выбирать поставщиков, используя информацию из специализированных изданий, например, журнал ClusterWorld. Здесь может оказаться полезным классифицировать поставщиков по уровню обслуживания, который они могут предоставить после того, как кластер будет собран и подключен к информационной сети.

Далее следует грамотно написать заявку на необходимое оборудование, включающую специфические требования к кластеру. Заявка должна включать такую информацию, как количество узлов, тип процессоров, обьём памяти, тип материнской платы, тип сетевой карты, жёсткого диска, видеокарты, удлинителя системной шины (если необходимо), способ установки в рэковые стойки, источники питания, требуемая операционная система, пакет управления кластером, дополнительные программы и компиляторы, требования к сети и IP адресам, физические требования к кластеру и требования к охлаждению системы. Стоимость, сроки поставки и гарантийные обязательства у разных поставщиков будут различаться, но типовыми условиями являются: срок поставки 5−6 недель, двухлетняя гарантия на оборудование и пожизненная техническая поддержка аппаратной части и операционной системы.

Следует помнить, что чем выше быстродействие процессора, тем большую мощность они потребляют. Например, энергопотребление десяти блоков на базе процессоров Pentium-4 3.2GHz составляет порядка 3 кВт, так что для питания такого кластера потребуется несколько розеток на ток 15 или даже 20 ампер. Кроме того, для крупных кластеров может потребоваться принудительный отвод тепла и кондиционирование воздуха.

В ряде случаев, оказывается более рентабельно построить небольшой кластер самостоятельно, чем доверять его сборку поставщику. Существуют фирмы, которые могут поставить все необходимые компоненты и оказать поддержку при монтаже кластера.

Рис. 5. Первая кластерная вычислительная система, собранная в компании Sonnet.

Основными требованиями к первому собранному в компании Sonnet кластеру были: малая потребляемая мощность, малое тепловыделение и малый шум от вентиляторов, что важно в случае демонстрации системы на выставках. Логической отправной точкой для кластера с малой потребляемой мощностью стал центральный процессор от ноутбука. Кластер Sonnet (рис. 5) собран на процессорах Intel Pentium-M с тактовой частотой 1.8 ГГц. Несмотря на низкую тактовую частоту, процессоры Pentium-M обрабатывают больше команд за такт и имеют больший объём встроенной кэш-памяти, чем обычные процессоры Pentium 4. В итоге, производительность системы получается выше. На тестах, проведенных специалистами компании Sonnet, один процессор Pentium-M 1.8GHz по быстродействию сопоставим с процессором Pentium 4 3.4GHz. Про умножении на число 10 получается серьёзная вычислительная мощность: порядка 40 миллиардов операций в секунду. В дополнение к указанной производительности процессора, каждый блок был оснащен 2 гигабайтами оперативной памяти PC-3200 с рабочей частотой шины 400МГц. Для первого кластера компании Sonnet была использована материнская плата i855gme, одна из всего лишь трёх типов плат на рынке, поддерживающих процессор Pentium-M на момент создания кластера.

Таблица 3. Примерный расчет стоимости кластера Sonnet.

В каждом узле кластера имеется собственный жёсткий диск размером 40 Гбайт и двухсотваттный блок питания. Из эстетических соображений в систему были добавлены синие светодиодные индикаторы, но позднее оказалось, что это очень удобно, так как помогает обнаруживать неисправности с питанием. В таблице 3 приведен приблизительный расчет стоимости кластера Sonnet. Легко видеть, что стоимость оборудования составляет около 10 000 долларов. Максимальный вклад в общее энергопотребление кластера вносят процессоры Pentium-M. Однако, если учесть, что Pentium-M с тактовой частотой 1.8 ГГц потребляет всего 21 Вт, а Pentium 4 с частотой 3.4 ГГц, потребляющим 100 Вт, то получается почти четырехкратное снижение потребляемой мощности. Измеренная во время работы потребляемая мощность одного полного вычислительного узла на процессоре Pentium-M составляет 55Вт . Кластер из 10 узлов потребляет менее 600 Вт, что находится в пределах допустимых норм для стандартной сети переменного тока. Меньшая потребляемая мощность, безусловно, также означает меньший нагрев, а значит снижение требований к отводу тепла. Шесть обычных высокооборотных вентиляторов были заменены двумя низкооборотными, что позволило снизить создаваемый при работе шум.

Конечно, это был первый кластер, построенный на процессорах Pentium-M. Он настолько уникален, что компания Intel купила одну из систем для испытаний.

Поскольку в настоящее время не существует специального кластерного оборудования на базе процессоров Pentium-M, применяемые блоки от настольных компьютеров потребовали некоторой доработки. Например, так как этот процессор создавался специально для мобильных приложений, то здесь не используется теплорассеиватель, который обычно предохраняет кристалл процессора от повреждения, но это экономит массу и объём. Из-за этого процессор в разъеме располагается приблизительно на 2 мм ниже обычного. Отсутствие физического контакта не дает возможности использовать обычные радиаторы, поэтому был использован специальный низкосидящий радиатор. Но и для него потребовалась доработка крепления, так как он не помещался в стандартный корпус типоразмера 1U.

Таблица 4. Примерный расчет стоимости кластера на базе blade серверов.

Одноплатные blade серверы являются на сегодняшний день вершиной конструкторской мысли в аппаратной части кластеров нижнего и среднего ценового диапазона. В высшей степени оптимизированные, одноплатные серверы уменьшают занимаемое место и потребляемую мощность путём разделения ресурсов. Эти сверхтонкие блоки ставятся в специальный корпус, где уже разведено питание, сеть и имеются устройства хранения данных, и поддерживают возможность горячей замены. Каждому такому серверу необходимо иметь лишь материнскую плату, процессор и оперативную память. Однако, высокая цена комплектующих делает одноплатные серверы экономически обоснованными только при количествах свыше 40. В таблице 4 приведен приблизительный расчет стоимости 16−модульного сервера, занимающего в рэковой стойке место 6U (шесть 1U серверов).

Специальные кластерные блоки не всегда необходимы для работы кластера. Множество возможностей имеется в уже существующих сетях персональных компьютеров, которые могут быть использованы в качестве кластера. Даже два отдельных компьютера в сети могут работать с Sonnet вдвое быстрее. Таким образом, кластерное вычисление тут не требует дополнительных издержек на оборудование и напротив, дает выигрыш за счет использования простаивающих компьютеров. Однако, следует отметить, что задействованные в кластере обычные персональные компьютеры не могут применять для другой работы. Кроме этого, самый медленный из компьютеров будет существенно ограничивать скорость работы остальных компьютеров в кластере.

В заключение следует повторить, что решение emCluster компании Sonnet Software дает пользователям ряд преимуществ, главным из которых является ускорение EM анализа и повышение надёжности вычислительной системы, что в итоге приводит к сокращению времени разработки и ускорению выхода изделия на рынок.

 

Литература:

1. “Cluster Computing,” Wikipedia,

2. John F. DeFord, “Electromagnetic Modeling on Computer Clusters.” Simulation Technology & Applied Research, Inc.,