Тема: Шахматы: шахматы для компьютера скачать бесплатно, шахматы онлайн играть с компьютером. Новости шахмат. Статьи о шахматах. :: Кластеры, Win 2008 HPC.
Прислано AVP 16-12-2009 00:28
#1
Продолжение темы про создание кластера, начало в соседней ветке - "Повышаем производительность компьютера"
Windows Server 2008 HPC Edition - новая операционная система предназначенная специально для создания кластеров (суперкомпьютеров), создана в конкуренцию к линуксу. В Тор500 уже есть один суперкомп на ее основе.
Идея построить свой кластер родилась давно, как только начал впервые играть на плейкоме, эх веселые времена. АМД ХР 2800+, 512 оперативы, Win XP 32, Shredder8.
Уже тогда зарубежные игроки использовали двух процессорные компы, которые пересчитывали топовый на тот момент 2800+, а чего стоила Hydra на 32 процессорах?? Кстати где она :-))? В общем проблема производительности компа стояла остро уже тогда.
В то время основной системой для создания кластеров была linux, вся информация которая была доступна касалась только его. И до недавнего времени идея витала только в мыслях.
Выпуск Win 2008 HPC думаю принесет кластеры в массы...
Установка кластера из двух узлов, да и более, дело не сложное, это как установить винду в первый раз, заняла буквально 2 вечера.
Все дистрибутивы качаются с сайта микрософта: 1. образ Windows Server 2008 HPC Edition 2. образ Microsoft HPC Pack 2008
Очень хорошая инструкция по установке и настройке имеется по адресу:
http://vc.ulstu.r...t-hpc.html
Касаемо оборудования которое требуется:
1. компьютеры 2 или более (один узел головной - на нем сосредоточено управление кластером и всеми его узлами, расчетные узлы - рабочие лошадки)
2. средства комуникации (сеть, лучше 2 сетевых интерфейса, бюджетный вариант Gigabit, если дело пойдет можно и Myrinet :-)))
3. переключатель KVM (клавиатура, мышь, монитор) - без него дело встанет или потребуется пара клавиатур, мышек. - одним словом лучше с ним.
Далее следуем инструкции шаг за шагом.
Редактировал kosmodrom 18-12-2009 10:45
Прислано AVP 16-12-2009 00:35
#2
У меня система состоит из:
1. 2xXeon E5530@2.4GHz. 8Gb DDR3 ECC 8500 - головной узел
2. Quad 9450@2.67GHz. 4Gb DDR2 10500 - расчетный узел
3. Сеть 1 Гбит
Касаемо проблемы запуска рыбы на кластере - она загружает только головной узел, как будто бы не видя еще 4 свободных ядра :-)).
В общем нужена консультация или мозговой штурм...
Прислано Lends 16-12-2009 09:41
#3
А там действительно, не надо ли использовать "кластер rybka", кто то мне говорил, что у Васика есть специальная рыбка для кластера. На сколько мне опять же говорили, он давно построил свой супер кластер и играет этой версией.
У меня сейчас как раз два компьютера (i5, Q9450) имеется, не знаю, попробовать что ли тоже замутить.....Там надо на обоих ставить win 2008 ?, или только на главном узле ....и как обстоят дела с win 7 Enterprise - она не умеет делаь это ...?
Редактировал kosmodrom 16-05-2010 15:55
Прислано AVP 16-12-2009 09:46
#4
На обоих компах должна быть win2008HPC, разделение на управляющий и расчетный узлы происходит при установке Microsoft HPC Pack 2008.
Насчет 7 Enterprise не вкурсе.
Прислано Lends 18-12-2009 10:36
#5
Отпишись потом - удалось ли тебе решить проблему ...
Прислано Lends 20-12-2009 13:37
#6
Кстати - ты пробовал другие движки или нет ?
Deep Fritz, Deep Unior распаралеливаются на все ядра ?
Бенчмаки многоядерные видят все ядра в кластере ?
Тогда ты сможешь точно узнать - настроил ты не правельно или рыбка не хочет ...
Прислано Lends 21-12-2009 11:30
#7
А не сдесь решение проблемы ? ...
http://www.winhpc...
С:\mpiexec.exe ChessProgram11.exe
Или типо того ...
Редактировал Lends 21-12-2009 11:31
Прислано AVP 22-12-2009 23:44
#8
Lends написал:
А не сдесь решение проблемы ? ...
http://www.winhpc...
С:\mpiexec.exe ChessProgram11.exe
Или типо того ...
mpiexec.exe Chessprogram11.exe - запустит оболочку на всех узлах кластера - это совсем не то...
запуск командой mpiexec.exe rybka3.exe - запустит процесс rybka3 на всех узлах, зато возникает вопрос как передавать и получать ответы от rybka3? запуском других движков не занимался, предполагаю что будет аналогично рыбке.
У меня есть предположение, что если в командную строку загрузки движка из оболочки F11 вписать команду "mpiexec.exe rybka3.exe" - то думаю может что ни будь и получится. В инете очень мало инфы по данному вопросу, все приходится опытным путем проходить.
Сегодня звонил в майкрософт, отшили самым простым способом - поддержкой сторонних продуктов мы не занимаемся :-)))).
Есть еще пара знакомых контор которые занимаются программированием, спрошу у них.
Редактировал AVP 22-12-2009 23:59
Прислано Lends 24-12-2009 08:52
#9
Замутил я тоже себе кластер, не сказал бы что все так просто там …
Дока хорошая по ссылке от AVP но мне многие моменты пришлось додумывать самому, в частности правильная настройка сети без которой не развернешь потом ноду нормально.
Еще я ставил на два стареньких IDE (чтобы w7 не трогать), с ними тоже была свистопляска – нода не ставится если не указан четко «Мастер» перемычкой, а вот головному узлу это по барабану.
Надо упомянуть, что сет.карты должны уметь грузится по сети, и я обошелся без KVM свича – Radmin'ом пользовался, но правдо KVM нужен…
Чипсеты P55, X48 – но проблем для Server 2008 HPC (который по сути является той же W7)
В общем кластер работает, нода подсоединена – но сразу обратил внимание на головном узле все те же 4 ядра, я думаю так он и будет показывать просто он по идее должен обращаться с остальным 4ем ядрам если прога об этом знает …
Надо изучать этот момент – инфы действительно мало.
Но блин интересная штука …)))
Прислано AVP 24-12-2009 22:46
#10
Весь кластер отображается в консоли управления, там видны и параметры компов и все остальное...
Поюзал я форум Васика, новости не очень. Рыбка не поддерживает такое распараллеливание остается либо идти на поклон к Васику что бы выслал спец версию, либо обратить внимание на пакет PVM - которая объединяет все компьютеры в один (по крайней мере так написано в описании), в отличии от Win HPC в которой задание узлам необходимо давать персонально. Пока у меня такие мысли.
Кстати когда настроена сеть, KVM впринципе уже не нужен, можно через удаленный рабочий стол работать.
Прислано Lends 24-12-2009 22:55
#11
Да новости не очень, но я не пожалел потраченого времени на Win HPC очень много интересного узнал, может пригодится в администрировании...на будущее
По подробнее надо узнать про PVM....
А сам Васик на чем кластер держит ?...WinHPC и спец рыбка ?, если так то Юра может попробовать попросить ее для нас- хотя мне в это мало верится...что Васик согласится ...
Редактировал Lends 24-12-2009 22:57
Прислано AVP 24-12-2009 23:21
#12
Судя по скриншотам и них на виндовсе система собрана.... 72 ядра. Спросить конечно можно, но я верю что все получится :-).
Буду еще экспериментировать с Win HPC, в наш век такие знания пригодятся по любому.
Прислано Lends 25-12-2009 00:28
#13
PVM работает на Linux..., что в принципе не плохо...Unix очень хорошо использует сет. интерфейсы и ресурсы системы.
Можно пробовать на любом линуксе- например знакомый мне Ubuntu...для него есть дистр PVM.
Ставится все предельно просто, добавляется нода тоже просто, потом запускается некий процесс pvm "process" и он по идее выполняется на всех нодах. На линуксе как раз не надо ставить оболочку фриц, он там просто не работает - а надо запускать именно экзешник рыбки через "адаптер" и подцеплять его в оболочку которая стоит на ноуте с виндой. по такому принципу запускают рыбку на линуксе. Я такое уже делал...работает. но вот будет ли движок распаралеливатся на все ноды это вопрос - точно известно что специально компилируют проги для этого ....но попробовать можно.
Это то что я нарыл пока ....вообще само то, что только движок запускается на линукс внушает оптимизм - потому как оболочка точно не может никуда распаралелится, а так мы конкретно даем команду pvm движку...ИМХО
Редактировал Lends 25-12-2009 00:39
Прислано AVP 30-12-2009 04:40
#14
Lends, успехи с PVM есть? У меня остался один компьютер, поэкспериментировать в ближайшее время не смогу .
Прислано Lends 31-12-2009 06:47
#15
Я пока не ставил линукс на две тачки, нет времени ...
Почитав по больше - думаю что вряд ли получится, там надо чтобы программа была написано специальным образом, или хотябы откомпилирована с поддержкой PVM, а для этого нужны исходники. Склоняюсь к версии, что у Васика есть специальная рыбка для кластера.
Но надо пробовать....это уже после НГ.
Редактировал Lends 31-12-2009 06:48
Прислано ARTUR 72 17-01-2010 15:13
#16
скажите пожалуйста если у меня есть 10 компьютеров Microsoft Windows XP Version 2002 Service Pack 2 то я могу собрать на этих кластер и будет ползу от этого во время игры ! буду благодарен за ответ!
Прислано kosmodrom 17-01-2010 15:33
#17
Artur72, чем покупать 10 компьютеров, проще собрать 16-ядерный сервер. Под ХР ты не соберёшь, нужно устанавливать Win 2008 HPC, ты читал тему?
Прислано Slash 17-01-2010 16:36
#18
Я слышал, что у Васика специальная кластерная версия Рыбы, так что, с обычной Рыбой у вас этот номер не прокатит...
А вообще, идея интересная. Но я сомневаюсь, что Васик даст Юре кластерную версию Рыбы.
Прислано AVP 18-01-2010 00:21
#19
Васик собирается сдавать в аренду кластерную Рыбу 4с эло 3500! и будет монопольно её использовать.
Прислано Slash 18-01-2010 01:34
#20
Ага, знаем, и цены на эту кластерную версию Рыбы будут просто космические.
Впрочем, я полагаю, движки, имена которых все мы прекрасно знаем, но называть не могём, к тому времени уже без всяких кластеров, на обычном 4-х ядернике примерно в такую же силу играть будут.
Прислано ARTUR 72 21-01-2010 01:54
#21
Юра kosmodrom скажи пожалуйста Windows 7 не подходит для создания кластера.
Прислано kosmodrom 21-01-2010 02:09
#22
Артур, ты второй раз спрашиваешь. Что я по каждой винде тебе буду ответ давать? Для создания кластера нужен Win2008 HPC и только он. И почему у меня спрашиваешь? У Андрея (AVP) спрашивай, он в этих делах более продвинутый. А зачем тебе кластер, Артур? Что будешь делать с ним? Из чего собирать? Может и смысла нет собирать?
Прислано ARTUR 72 22-01-2010 23:28
#23
буду пробовать от кластера играть. Юра у меня интернет кафе и лишних компов много только 2 ядерники, вот почему!
Прислано AVP 23-01-2010 12:59
#24
Собрать кластер не сложно, вот запустить движок на нем это действительно трудно... пока.
Прислано ARTUR 72 24-01-2010 12:30
#25
AVP в чём трудность? можешь объяснит теоретический буду благодарен!
Прислано AVP 24-01-2010 14:32
#26
Трудность в том что на кластере как на обычном компе программу не запустить, либо она запускается только на главном узле.
Прислано ARTUR 72 25-01-2010 04:21
#27
AVP большое спасибо за ответ.
Прислано Lends 25-01-2010 10:06
#28
Кстати - на самом деле трудного в запуске программ на кластере ничего нет, главное чтобы она была скомпилирована с поддержкой специальных библиотек.
На самом деле - даже не обязательно ставить Windows Server HPC, можно на обычной винде поставить нужные библиотеки для поддержки кластеризации.
Есть несколько вариантов софта, для построения вычислительных кластеров :
свободные проэкты:
MPICH2
OpenMPI
PVM
от Майкрософт:
microsoft-MPI
Для винды лучше использовать майкрософт - просто ставим на обычный виндовс пакет SDK HPC 2008 и все ..
Если прога поддерживает кластеризацию она автоматом будет работать на всех узлах которые доступны, настраивать ничего не надо.
Для не майкрософт решеня - нужно настраивать, делать шару общую и все такое. Но в любом случае программа должна бысть скомпилирована под эти библиотеки иначе ничего не будет работать.
Это пока все что я узнал о кластеризации...