Microsoft er nå klar til å lanser en High Performance Computing-løsning (HPC). Selv om navnet tyder på at dette er et gammel produkt, så stemmer ikke det. Compute Cluster Server 2003 (CCS) ble sendt til RTM for to dager siden og bør være tilgjengelig i løpet av sommermånedene. Denne artikkelen gir deg en gjennomgang av hva HPC er og hvordan du kan installere og administrere en CCS-løsning.

Grunnen til navnet Microsoft Compute Cluster Server 2003 er at dette er en “add-on” til Windows Server 2003 x64. På samme måtte som Windows Server 2003 R2 kommer dette også med 2 cder. Første cd er Windows Server 2003 x64 (lettere modifisert slik at man ikke kan bruke all funksjonalitet, samme begrensninger som storage server). CD 2 inneholder selve Compute Cluster-programvare. OS er nedskalert slik at lisensen blir billigere enn å måtte kjøpe fullversjon av Server.

Det lønner seg ikke å kjøpe Enterprise Edition da man ikke kan bruke mer enn maks 4 prosessorer og 32Gb minne.

Hva er HPC

HPC vil for noen være kjent som Grid eller Cycle steeling, CCS er en løsning under Grid-kategorien. Grid-konseptet er blitt kraftig utvannet, men CCS passer til den originale definisjonen.

Målet med HPC er å få ekstrem beregningskapasitet for å kunne behandle store mengder data eller store utregninger på kortest mulig tid.

Eksempler på dette er DNA-analyse eller simulere vindmotstand i fly og bilindustrien. Oppgaver som dette krever mer beregningskraft enn det 1 maskin kan gi over en fornuftig tidsramme. Derfor klynger man sammen flere maskiner for å få disse til å kunne bearbeide samme oppgave samtidig. HPC har normalt vært så dyrt at det har vært forbeholdt forskningsmiljøer som NTNU eller store industrier som olje og gass. Dette har gradvis endret seg etter hvert som hardware har blitt rimeligere og kraftigere.

I 1991 kostet en HPC løsning på 10 Gflops rundt 40.000.000,- dollar, mens det i dag vil kunne koste helt ned til 4.000,- dollar. De løsningene som finnes i dag er fortsatt dyre i innkjøp og vedlikehold, lite skalerbart, vanskelig å drifte og proprietære. Med CCS skal man kunne bruke alle maskiner som kan kjøre Windows Server 2003 Standard eller Enterprise i x64 versjoner som noder i et Compute Cluster. Dette medfører store fordeler.

For det første vil innkjøpspris være lav, driftskostnadene vil være lave (de driftes som vanlige servere som mest sannsynlig allerede eksistere i miljøet – og man har intern kompetanse), hardware er ikke proprietær men standard ”off the shelf” utstyr. Systemet er også veldig skalerbart da man kan legge til eller fjerne noder uten restart eller driftsavbrudd på Clusteret.

Utstyret jeg har testet på er 4 Dell 3,6 GB dual core med 2 GB minne maskiner, kjørt på et enkelt Gb LAN. HPLin-tester har vist en ytelse på 16.7 GFlops, med andre ord rundt 60% høyere ytelse en Cray sin løsning fra 1991 til 40 millioner dollar. Dette er for øvrig et system som ikke er blitt optimalisert, med for eksempel eget MPI lan.

Komponenter

Microsoft HPC deles inn i 3 deler; hardware, software og kommunikasjon. Hardware består av prosessor, minne, eksterne interface, og sekundær lagring. Software er OS, kompilere, kommunikasjonsbibliotek og optimalisering og tunning av software. Og ikke helt overraskende består kommunikasjon av kommunikasjonsbus, switch/hub og generelt oppkobling mellom nodene.

OS som kan kjøre HPC:

• Windows Server 2003, Compute Cluster Edition
• Windows Server 2003, Standard x64 Edition
• Windows Server 2003, Enterprise x64 Edition
• Windows Server 2003 R2, Standard x64 Edition
• Windows Server 2003 R2, Enterprise x64 Edition

Hardwarekrav:

• CPU (x64 bit processor architecture)
  Intel Pentium eller Xeon family (EM64T)
• AMD Opteron og Athlon
• Minne: 512 MB minimum, 32 GB RAM maximum
• Opp til 4 prosessorer per server
• 4GB diskkapasitet for installasjon
• To diskvolumer på head node (hvis man benytter RIS) og et enkelt volum på compute-noder.
• Minimum ett nettverkskort på alle noder. I praksis 2.

Hardware som kan brukes er stort sett alt som kan kjøre disse OS’ene, men jeg vil på det sterkeste anbefale HCL-listen til Microsoft for å unngå flaskehalser i systemet. Bruk også kun Microsoft-godkjente drivere.

Kommunikasjonsprotokoller som er støttet er MPI-2, RDMA over Ethernet Myrinet og Infiniband i tillegg til MPICH. Hovedsakelig blir MPI brukt. Microsoft har laget sin egen utgave som heter MSMPI. Denne har inkludert sikkerhet med å bruke winsocket. Sikkerhet er for øvrig også et stort punkt med Microsoft sin variant da den bruker AD for autentisering, og kan dra nytte av andre sikkerhetsmekanismer i Windows.

CCS vil bli støttet i SCW (Security Configuration Wizard). Det diskuteres fortsatt om det skal bli ”Best Practise Analayser” og ”Performance Analyser” tilgjengelig. Det ser derimot ut som det vil komme etter hvert. Det er ikke mulig å bruke IPSec, men det kan komme tredjepartsverktøy for dette.

Kompilere som er støttet:

• GNU Compiler Collection
• PGI Compilers
• Intel Compilers
• Microsoft Visual C++

Verktøy for Unix-applikasjoner:

• Interix og Windows Services for UNIX
• Cygwin
• MKS Toolkit

Optimalisering og tunning:

• Intel VTune
• Intel Thread Checker
• MSTI SeeWithin/Pro
• Microsoft Tools
• Spy++
• PView

Komponenter i clusteret

Illustrasjonen viser et typisk Windows Compute Cluster Server 2003-nettverk.

Head node

Som navnet kanskje tilsier er head node hovedpunktet. Det er mot denne man sender jobber eller setter dem opp. Denne vil så fordele oppgavene mellom compute nodene. Alle adminverktøyene ligger her.

Man har kun 1 head node. Denne kan også være compute node, selv om jeg ikke vil anbefale dette da den har ofte nok med egne oppgaver, samt hvis man bestemmer seg for å fjerne compute-funksjonen på head noden krever det reinstallasjon.

Compute node

Compute nodene er selve regnemaskinene. Disse utfører jobbene som blir tildelt av head node. Antall noder er stort sett ubegrenset og kan enkelt utvides ved behov.