LPBS

LPBS (localitate sistem discontinuu Portable) este un instrument de a emula PBS pe o stație de lucru locală.
PBS / cuplul este un sistem de planificare post care este folosit pe mai multe clustere de calcul de înaltă performanță. Pachetul LPBS ofera instrumente pentru a rula script-uri de locuri de muncă PBS pe o stație de lucru locală. Mai exact, LPBS oferă comanda lqsub care ia aceleași opțiuni ca comanda PBS qsub și rulează un script de locuri de muncă la nivel local, într-un mediu virtual identic cu unul care PBS / CUPLULUI ar oferi. Lucrarea va rula în fundal și se atribuie un ID de locuri de muncă. Spre deosebire de sistemul PBS, LPBS nu va efectua nici o programare, dar va rula pur și simplu de locuri de muncă prezentate. LPBS oferă instrumente suplimentare pentru a gestiona de locuri de muncă de funcționare.
Instalare
LPBS poate fi instalat de PyPi, folosind
Pip instala LPBS
Alternativ, pachetul poate fi instalat la sursa cu
python setup.py instalare
Configurare
LPBS stochează toate datele de configurare și de rulare în dosarul date în variabila de mediu $ LPBS_HOME. Această variabilă de mediu trebuie să fie definite. Configurația este în lpbs.cfg dosar interior $ LPBS_HOME. Dacă acest fișier nu există atunci când oricare dintre script-urile LPBS sunt conduse, un fișier de configurare cu următoarele valori implicite vor fi create:
[Server]
# Hostname completă de servere depunere (hostname.domain). Vor fi puse la dispoziție
# Pentru rularea de locuri de muncă prin PBS_SERVER variabila de mediu. ID-uri de locuri de muncă se va încheia
# În adresa serverului proxy
hostname: localhost
Domeniul: locală
[Nod]
# Hostname completă a nodului execuție (hostname.domain). Vor fi puse la dispoziție
# Pentru rularea de locuri de muncă prin PBS_O_HOST variabila de mediu. Deoarece LPBS este
# Concepute pentru a executa de locuri de muncă la nivel local, setările de aici ar trebui să fie, în general,
# Identice cu cele din secțiunea [Server]
hostname: localhost
Domeniul: locală
[LPBS]
# Setarea de execuție de locuri de muncă.
# Dacă "username_in_jobid" este activat, ID-urile de locuri de muncă vor avea forma
# "Seqnr.user.hostname.domain", unde "utilizator" este numele de utilizator al utilizatorului
# Depunerea de locuri de muncă.
# Fișierul dat în "sequence_file" este utilizat pentru a ține evidența "seqnr"
# Figurează în ID-ul de locuri de muncă.
# Fișierul dat în "fișier jurnal" este folosit pentru conectarea toate evenimentele LPBS. Ambii
# "Sequence_file" și "fișier jurnal," sunt raportate la $ LPBS_HOME.
username_in_jobid: 0
sequence_file: secvență
logfile: lpbs.log
[Scratch]
Setările # pentru spațiul zero furnizate de locuri de muncă. "Scratch_root" definește un
# Locație unde locurile de muncă ar trebui să scrie date temporare. Dacă dat ca o cale relativă,
# Este relativ la $ LPBS_HOME. Variabilele de mediu va fi extins la
# Timp de la depunerea de locuri de muncă.
# În cazul în care valoarea # "create_jobid_folder" este setat la 1, un dosar cu numele lui
# ID-ul complet de locuri de muncă este creat în interiorul scratch_root. Acest dosar este în mod automat
# Eliminat în cazul în care locul de muncă se încheie, cu excepția cazului în "keep_scratch" este setat la 1. În cazul în care locul de muncă
# Eșuat, zero nu vor fi șterse, cu excepția cazului în este setat "delete_failed_scratch"
# La 1.
scratch_root: $ SCRATCH_ROOT
create_jobid_folder: 0
keep_scratch: 0
delete_failed_scratch: 0
[Notificare]
Setări # privind modul în care utilizatorul trebuie să fie notificate cu privire la evenimente precum început
# Și sfârșitul unui loc de muncă. Dacă sent_mail este setat la 1, e-mailuri vor fi trimise pentru
notificările # în funcție de valoarea opțiunii "-m" pentru a lqsub. Dacă
# "Send_growl" este setat la 1, Growl (http://growl.info) este utilizat pentru notificarea
# Pe MacOS X. Notificări prin Growl nu iau în considerare opțiunile "-m"
# În timpul prezentării de locuri de muncă.
send_mail: 0
send_growl: 0
[Mail]
Setările SMTP # pentru notificări prin email. E-mailuri de notificare vor fi trimise de la
# Adresa dată de opțiunea "de la". Serverul SMTP dat în "SMTP 'este
# Folosit pentru trimiterea e-mailuri, în cazul în care "AUTHENTICATE" este setat la 1, autentificarea este
# Terminat cu dat "numele de utilizator" și "parola". În cazul în care "TLS" este 1, criptarea TLS
# Vor fi utilizate.
de la: nobody@example.org
smtp: smtp.example.com:587
nume de utilizator: utilizator
Parola: secret
autentifica: 0
TLS: 1
[Growl]
# Setări pentru notificări Growl. Notificările sunt trimise fie
# Localhost sau o gazdă de la distanță prin intermediul protocolului GNTP. Setarea "numele gazdei"
# Dă adresa și portul serverului Growl, având în vedere "parola" este
# Folosit pentru autentificare (rețineți că, dacă trimiterea de la localhost, nu
# Autentificare este necesar, iar parola trebuie să fie gol). Dacă
# "Lipicios" este setat la 1, notificările maraie vor fi lipicios. Este
# Posibil să trimită notificări la mai mult de o gazdă. În acest caz, ambele
# "Hostname" și "parolă", ar trebui să fie o listă separate prin virgulă de valori, cu
# Fiecare element care corespunde unui gazdă. De ex
# Hostname: localhost, remotehost
# Parola: secret
hostname: localhost: 23053
parola:
lipicios: 0
[Log]
# "Logfile" dă numele fișierului centrale jurnal, față de $ LPBS_HOME.
logfile: lpbs.log
Rețineți că, dacă se utilizează fișierul de configurare implicit, de mediu variabila $ SCRATCH_ROOT trebuie definite și directorul se indică ar trebui să existe și să fie permisiuni de scriere pentru toți utilizatorii care s-ar putea prezintă locuri de muncă.
Pentru o instalare la nivel de sistem, / var / lpbs este o locatie potrivita pentru $ LPBS_HOME. Variabila de mediu poate fi setat în /etc/bash.bashrc pentru toți utilizatorii. Pentru o instalație în spațiu de utilizare, se recomandă virtualenv.
După ce fișierul principal de configurare, fișierul $ HOME / .lpbs.cfg va fi, de asemenea, citit. Un utilizator poate folosi această să suprascrie setările în configurația sistemului. În cele din urmă, comanda qsub are, de asemenea, o opțiune --config care permite să specificați încă un fișier suplimentar de configurare pentru a fi citite.
Utilizare
LPBS conține script lqsub, lqstat, și lqdel, care imita PBS / cuplu comenzi qsub, qstat, și lqdel, respectiv. Comanda lqsub este folosit pentru a prezenta locuri de muncă, lqstat este utilizat pentru a afișa informații despre rularea de locuri de muncă, iar lqdel este folosit pentru a abandona locuri de muncă de funcționare. De exemplu:
goerz @ localhost: ~> lqsub job.pbs
3.localhost.local
goerz @ localhost: ~> lqstat
Job ID Nume utilizator Walltime
-------------------- --------------- --------------- ---------------
3.localhost.local pbstest goerz 00:00:22
goerz @ localhost: ~> lqstat -f 3.localhost.local
Job ID: 3.localhost.local
& Nbsp; Job_Name = pbstest
& Nbsp; Job_Owner = goerz
& Nbsp; de server = localhost.local
& Nbsp; exec_host = localhost.local
& Nbsp; PID = 14649
& Nbsp; Error_Path = STDERR
& Nbsp; Join_Path = True
& Nbsp; Mail_Points = n
& Nbsp; Output_Path = pbstest.out
& Nbsp; resources_used.walltime = 00:00:43
goerz @ localhost: ~> lqdel 3.localhost.local
Comanda qsub este conceput pentru a înțelege toate opțiunile de linie de comandă ale comenzii qsub în CUPLULUI versiunea 2.18, cu excepția faptului că toate opțiunile legate de programarea sunt ignorate în tăcere. Prin urmare, toate script-post PBS ar trebui să fie submittable fără schimbare. Pentru detalii, intră lqsub, lqstat, și lqdel cu opțiunea help, și / sau uita-te la manualul de cuplu.
Un exemplu Script Job
Următorul este un exemplu de simplu script loc de muncă PBS, care va tipări mediul complet care locul de muncă vede. Este posibil să doriți să trimiteți acest job atât LPBS și PBS / CUPLULUI să verifice dacă cu setări corespunzătoare în lpbs.cfg, LPBS oferă un mediu identic ca LPBS.
#! / Bin / bash
#PBS N pbstest
#PBS -j Oe
#PBS -l Noduri = 1: PPN = 1
#PBS -l Walltime = 00: 00: 10
#PBS -l Mem = 10MB
#PBS -o Pbstest.out
echo "################################################ #### "
echo "Utilizator: $ PBS_O_LOGNAME"
echo "post Serie inceput pe $ PBS_O_HOST"
echo "PBS job id: $ PBS_JOBID"
echo "PBS nume post: $ PBS_JOBNAME"
echo "directorul de lucru PBS: $ PBS_O_WORKDIR"
echo "Iov a început pe" `` hostname` date`
echo "Director actual:" `pwd`
echo "mediu PBS: $ PBS_ENVIRONMENT"
echo "################################################ #### "
echo "################################################ #### "
echo "Mediu Intreg:"
printenv
echo "################################################ #### "
echo "Job se execută pe următorul nod:"
pisică $ {PBS_NODEFILE}
echo "################################################ ########## "
echo "Iov încetat:" `date`
exit 0

Cerințe :

• Python