Condor

Condor brukes til å spre jobber på maskiner. På Ifi kjører alle slike jobber med "nice"-verdi 19.

Meningen er at hverken konsoll-brukere eller rsh/ssh-brukere skal bli plaget av jobber som kjøres. Bruk av mus/tastatur og load sjekkes og vil eventuelt føre til midlertidig stans av Condor-styrte jobber. De fortsetter automatisk dersom forholdene ligger til rette for det, eller de flyttes automatisk til en annen maskin.

De fleste Linux-maskiner for laveregrad og hovedfag kan kjøre Condor-styrte jobber. I tillegg kan man sende jobber til Condor fra linux og solaris login-klyngene. Totalt er om lag 190 CPU-er disponible for Condor, med totalt 170 GB minne og en ytelse på 160 GFlops.

Lisens-betingelser

Betingelsene for bruk av Condor omfatter blant annet følgende:

"Any academic report, publication, or other academic disclosure of results obtained with this Software will acknowledge this Software's use by an appropriate citation."

Se forøvrig fullstendige lisens-betingelser.

Hva slags jobber

Condor kan brukes til å kjøre de fleste typer beregnings-jobber som ikke krever aktiv kommunikasjon med en bruker. Man sender programmet til Condor, eventuelt sammen med data- og kommandofiler (f.eks. tastatur-input), og får resultatet levert som datafiler.

For programmer som man kan linke på nytt, f.eks. de man selv har skrevet i C eller C++, kan Condor automatisk lagre jobbens status periodisk til disk (vanligvis hver tredje time). Dette kalles ofte "checkpointing". Hvis maskinen stanser, kan Condor sette jobben i gang igjen på en annen maskin, fra sist lagrede status. Slik blir tapet av beregningstid begrenset. Dette er mulig fordi man linker inn Condor-biblioteker.

Mange program-pakker gir ikke brukeren mulighet til å linke med Condor-biblioteker, f.eks. MATLAB. Da må man selv ta hånd om mellomlagring av resultater for å redusere tap av beregningstid ved en eventuell maskinstans. Dette reduserer i noen grad nytten av Condor, men evnen til å utnytte ledige CPU-sykluser i et stort nett av maksiner og automatisk omstart ved maskin-havari, er også verdifulle egenskaper.

Bruker-oppsett

For å bruke Condor, må man ha satt omgivelses-variablen CONDOR_CONFIG. Dessuten bør katalogen med Condors bruker-kommandoer være med i PATH. Med standard Unix kommando-skall på Ifi, kan dette gjøres med kommandoene

  export CONDOR_CONFIG=/hom/chcomput/condor/condor_config.ifi
  export PATH=$PATH:/hom/chcomput/condor/$HOSTTYPE/bin

i et terminal-vindu, eller i filen $HOME/.envir med kommandoene

  setenv CONDOR_CONFIG /hom/chcomput/condor/condor_config.ifi
  setenv POSTPATH /hom/chcomput/condor/$HOSTTYPE/bin

Kommandoene i filen vil bli utført hver gang man logger inn på en Unix-maskin på Ifi.

Tilgjengelige Condor-maskiner

Alle maskinene som er med i Ifis Condor-oppsett kan brukes til å sende jobber til Condor. For å finne ut om maskinen man er logget inn på er meldt inn i Condor, gir man kommandoen

  pgrep -l condor

i et terminal-vindu. Dersom resultatet ikke er tomt, betyr det at Condor kjører på maskinen. Typisk svar er

1286 condor_master
1287 condor_startd
1288 condor_schedd

hvilket betyr at tre Condor-demoner kjører på maskinen. "condor_master" styrer de andre demonene. "condor_startd" gjør maskinen tilgjengelig for eksekvering av jobber. "condor_schedd" sender jobber til Condor. Maskinene i login-klyngen kjører "condor_schedd", men ikke "condor_startd".

Hvis maskinen man sitter ved ikke er med i Condor, bruker man rsh eller ssh til å logge seg inn på login-klyngen ved navn login.ifi.uio.no (linux-maskiner) eller solaris.ifi.uio.no, f.eks. slik

  rsh login.ifi.uio.no

På en maskin som er med i Condor, kan man gi kommandoen

  condor_status

for å få en liste over alle maskiner som kan kjøre Condor-jobber. Unix-kommandoen "man condor_status" gir mer informasjon.

Start av jobber

Lag eventuelle nødvendige filer med tastatur-kommandoer for programmer som trenger dette.
Det må lages en fil som gir Condor nok informasjon til å kunne kjøre jobben. En slik fil kalles en "submit"-fil. Navnet kan gjerne slutte med ".cmd".
Blant annet må filen inneholde en kommando som angir det "univers"-et Condor skal bruke, "standard", "vanilla" eller "java". Java-programmer må kjøre i "java"-universet. Andre programmer som man ikke selv kan linke, f.eks. MATLAB, må kjøre i Condors "vanilla"-univers. Programmer som man selv kan linke, skal kjøre i Condors "standard"-univers, slik at man kan dra nytte av Condors automatiske "checkpointing".
Universet angis f.eks. slik
```
  universe = vanilla
```
En "submit"-fil kan inneholde flere kommandoer, som f.eks. gir navn på filer som skal brukes i stedet for stdin, stdout og stderr, hvor mange ganger programmet skal kjøres (med forskjellig inngangs-data for hver kjøring), hvilke krav programmet stiller til maskinene det skal kjøres på (f.eks. maskin-arkitektur, minimum minne, raskest maskin etc.) og hvem som skal motta e-post med informasjon om jobben.
Se lenger ned for eksempler. Unix-kommandoen "man condor_submit" gir mer informasjon om innholdet av en "submit"-fil.
Hvis jobben skal kjøres i "standard" univers, må programmet linkes med Condor-bibliotekene som håndterer "checkpointing". Til dette brukes kommandoen condor_compile. For de vanligste link-kommandoer setter man ganske enkelt ordet condor_compile foran på kommando-linjen. Det gjøres også dersom kompilering og linking skjer i ett trinn. condor_compile kan bl.a. brukes sammen med cc, CC, gcc, g++, ld (linkeren).
Unix-kommandoen "man condor_compile" gir mer informasjon om kompilering og linking med Condors biblioteker.
Send ("submit") jobben til Condor. Til dette brukes kommandoen condor_submit,
```
  condor_submit "submit-fil"
```

Minimalistisk "submit"-fil

# Bruk din egen epost-adresse for notify_user, f.eks:
notify_user    = brukernavn@ifi.uio.no

executable     = foo                                                    
log            = foo.log                                                    
queue

Programmet ved navn "foo" vil bli kjørt i "standard" univers (fordi universet ikke er spesifisert), og logg-filen "foo.log" vil inneholde informasjon om kjøringen. Jobben vil bli kjørt på samme maskin-arkitektur som maskinen man gir condor_submit-kommandoen til (med forbehold om at programmets binærkode passer for denne maskin-typen).

Kommandoen "notify_user" er nødvendig, ellers vil posten sendes til brukernavn@uio.no.

Dersom man ikke skal bruke "standard" univers, må universet spesifiseres med kommandoen "universe".

"submit"-fil for enkel MATLAB-jobb

NB! MATLAB-lisenser er en begrenset ressurs. En sikker metode for å bli upopulær er å starte mange Condor-jobber som igjen starter MATLAB og dermed legger beslag på flere lisenser.

For å unngå å bruke mange MATLAB-lisenser kan man bruke MATLAB Compiler til å generere C-kode for frittstående programmer. Kjøring av disse krever ikke MATLAB-lisens. Se MATLAB-dokumentasjon for mer om dette.

En "submit"-fil for kjøring av en enkelt MATLAB-jobb kan se slik ut

# Use your own email-address for notify_user, e.g.:
notify_user    = brukernavn@ifi.uio.no

# Only receive e-mail in case of job error.
notification = Error

# Program to run.
executable = /local/bin/matlab

# Universe without checkpointing for non-linkable job
universe   = vanilla

# Import user environment variables at the time of submission to Condor
getenv     = True

# If you don't want the job to be limited to run on the same machine
# architecture as the submit machine, it must be specified in the
# reuirements command, e.g.
Requirements = (Arch == "INTEL" && OpSys == "LINUX") || \
               (Arch == "SUN4u" && \
                (OpSys =="SOLARIS28" || OpSys == "SOLARIS29"))

# stdin, i.e. keyboard input to MATLAB. Script, not function.
input      = keyboard_input_script.m

# stdout, i.e. screen output from MATLAB.
output     = matlab_screen_output.txt

# stderr. However, MATLAB prints error messages to screen, i.e. to stdout,
# so leave stderr at default value of /dev/null.
#error      = matlab_errors.txt

# log-file for Condor activity
log        = condor.log

# Choice of directory to start executable from (i.e. Condor does
# cd to initialdir prior to starting executable)
initialdir = $ENV(HOME)/matlab

# Arguments to pass to the executable.
# start_function can be m-file script or m-file function which must be on
# the MATLAB path. Substitute name with your own choice.
arguments  = -nodisplay -nojvm -r start_function

queue

"submit"-fil for Java-jobb

Dette viser et eksempel der filene referert av output og error havner i mappen gitt av initialdir. Java-programmet angis med full sti til klassen som inneholder "main". Programmet bruker dessuten andre klasser fra myJar.jar. Standard input hentes fra filen h.txt i en spesifisert mappe.

Første argument i arguments må inneholde navnet på klassen som inneholder "main". Navnet må angis slik at java-kommandoen er i stand til å finne det. I eksemplet er navnet gitt med full pakke-kvalifisering.

Legg merke til at executable angir start-klassen med endelsen class, dvs. filen, mens arguments angir klassenavnet.

CLASSPATH vil inneholde filene angitt av jar-files i tillegg til elementer som Condor trenger for å finne sine hjelpe-klasser.

# Use your own email-address for notify_user, e.g.:
notify_user    = brukernavn@ifi.uio.no

executable = $ENV(HOME)/src/java/mypackage/ClassName.class
universe = java

initialdir = $ENV(HOME)/project
input = $ENV(HOME)/data/h.txt
output = submit.out
error = submit.err
jar_files = $ENV(HOME)/myJar.jar
arguments = mypackage.ClassName arg0 arg1 arg2
log = project.log
queue

"submit"-fil for multiple kjøringer

Ved å bruke kommandoen

queue 100

vil programmet kjøres 100 ganger. Hver kjøring blir tilordnet et prosess-nummer, fra null. Dette gir muligheten til f.eks. å gi forskjellige data-filer til hver kjøring

input = file.$(Process)

Andre kommandoer kan også bruke makroen Process på denne måten.

En "submit"-fil kan inneholde flere "queue"-kommandoer. Prosess-nummeret økes videre for hver "queue"-kommando (starter ikke fra null). Alle prosesser som startes av en "submit"-fil blir tilordnet et felles "cluster"-nummer som også kan refereres i en "submit"-fil, med makroen Cluster.

Overvåking av jobb

Følgende kommandoer kan være nyttige til å overvåke/administrere Condor-jobber. Bruk "man kommando" for mer informasjon om kommandoene.

condor_q: Se på køen av Condor-jobber. Opsjonen "-analyze" kan gi informasjon om hvorfor en jobb ikke blir startet.
condor_history: Sjekk data om jobber som ble ferdig eller fjernet.
condor_rm: Fjern jobb fra kø.
condor_status: Sjekk status og aktivitet på maskiner.

Problemer

Ved kjøring av Java-programmer på Linux-maskiner har Condor problemer med å anslå hvor stort minne jobben trenger. Condor krever i standard oppsettet at en maskin som skal kjøre en Condor-jobb må ha et minne som er stort nok til at hele jobben får plass (uten å ty til diskbruk). Problemet inntreffer særlig med programmer som bruker mange tråder. Estimatet blir da for stort. Dersom jobben blir suspendert, kan det være at den aldri vil starte igjen fordi ingen maskiner har nok minne til å tilfredsstille jobbens krav.

Løsningen er at man i "submit"-filen gir en requirements-kommando som spesifiserer kravet til minne. Da vil Condor sløyfe kravet nevnt i forrige avsnitt. Hvis man spesifiserer et minnekrav som er lavere enn størrelsen på jobben, kan det føre til ineffektiv kjøring. Kravet kan f.eks. angis slik, dersom jobben trenger 512 MB minne,

requirements = Memory > 512

Hvis man har flere krav til maskinen, må alt legges inn i samme requirements-kommando, f.eks.

requirements = Memory > 512 && ((Arch == "INTEL" && OpSys == "LINUX") || \
                                (Arch == "SUN4u" && \
                                (OpSys =="SOLARIS28" || OpSys == "SOLARIS29")))

Mer informasjon

Bruker-manual
FAQ
Manual (hele)
Man-sider under /hom/chcomput/condor/man
Statistikk for ifi-pool
Condor hjemmeside

Redaksjon: Driftsseksjonen Inf, ifidrift@ifi.uio.no
Dokument opprettet: 09.03.2004, endret: 21.11.2006


Om UiO Studier Studentliv Forskning For ansatte Oppslagstavla Bibliotek

IT-TJENESTER - Mat.nat. Fakultetet - Institutt for informatikk