Changes between Version 27 and Version 28 of Public/User_Guide/Batch_system


Ignore:
Timestamp:
Apr 3, 2020, 2:44:51 PM (4 years ago)
Author:
Jochen Kreutz
Comment:

Updated example for gateway usage and added info on sacct regarding energyConsumption

Legend:

Unmodified
Added
Removed
Modified

  • Public/User_Guide/Batch_system

    v27 v28  
    240240
    241241#SBATCH --job-name=imb
    242 ##SBATCH --account=cdeep
     242#SBATCH --account=deep
    243243#SBATCH --output=IMB-%j.out
    244244#SBATCH --error=IMB-%j.err
    … …  
    271271{{{
    272272#!/bin/bash
    273 # Script for the CN using InfiniBand
    274 
    275 module load Intel ParaStationMPI pscom
     273# Script for the CM using InfiniBand
     274
     275module --force purge
     276module use $OTHERSTAGES
     277module load Stages/Devel-2019a
     278module load Intel
     279module load ParaStationMPI
    276280
    277281# Execution
    278282EXEC=$PWD/mpi-benchmarks/IMB-MPI1
    279 LD_LIBRARY_PATH=/opt/parastation/lib64:$LD_LIBRARY_PATH PSP_OPENIB_HCA=mlx5_0 ${EXEC} PingPong
     283${EXEC} PingPong
    280284}}}
    281285
    … …  
    284288# Script for the DAM using Extoll
    285289
    286 module load Intel ParaStationMPI pscom extoll
     290module --force purge
     291module use $OTHERSTAGES
     292module load Stages/Devel-2019a
     293module load Intel
     294module load ParaStationMPI
    287295
    288296# Execution
    289297EXEC=$PWD/mpi-benchmarks/IMB-MPI1
    290 LD_LIBRARY_PATH=/opt/parastation/lib64:/opt/extoll/x86_64/lib:$LD_LIBRARY_PATH PSP_DEBUG=3 PSP_EXTOLL=1 PSP_VELO=1 PSP_RENDEZVOUS_VELO=2048 PSP_OPENIB=0 ${EXEC} PingPong
     298${EXEC} PingPong
    291299}}}
    292300
    … …  
    296304
    297305**Attention:** some information provided on the JURECA documentation do not apply for the DEEP system. In particular:
    298 * as of 09/01/2020, the DEEP system has 1 gateway node. In the next weeks at least one additional gateway node will be installed.
     306* as of 31/03/2020, the DEEP system has 2 gateway nodes.
    299307
    300308* As of 09/01/2020 the gateway nodes are exclusive to the job requesting them. Given the limited number of gateway nodes available on the system, this may change in the future.
    … …  
    337345}}}
    338346
     347On the Cluster (CM) nodes it's possible to query the consumed energy for a certain job:
     348
     349{{{
     350[kreutz1@deepv kreutz1]$ sacct -o ConsumedEnergy,JobName,JobID,CPUTime,AllocNodes -j 69326
     351ConsumedEnergy    JobName        JobID    CPUTime AllocNodes
     352-------------- ---------- ------------ ---------- ----------
     353       496.70K hpl_MKL_O+ 69326          16:28:48          1
     354             0      batch 69326.batch    16:28:48          1
     355       496.70K xlinpack_+ 69326.0        08:10:24          1
     356}}}
     357
     358This feature will also be for the ESB nodes.
     359
    339360
    340361== FAQ ==
    … …  
    383404[deamicis1@deepv hybridhello]$ sinfo
    384405PARTITION    AVAIL  TIMELIMIT  NODES  STATE NODELIST
    385 sdv             up   20:00:00     16   idle deeper-sdv[01-16]
     406sdv             up   20:00:00     11   idle deeper-sdv[06-16]
    386407knl             up   20:00:00      1  drain knl01
    387408knl             up   20:00:00      3   idle knl[04-06]
    … …  
    390411knl272          up   20:00:00      2   idle knl[04,06]
    391412snc4            up   20:00:00      1   idle knl05
    392 dam             up   20:00:00      1  down* protodam01
    393 dam             up   20:00:00      3   idle protodam[02-04]
    394 extoll          up   20:00:00     16   idle deeper-sdv[01-16]
    395 ml-gpu          up   20:00:00      1   idle ml-gpu01
    396 dp-cn           up   20:00:00      1  drain dp-cn49
    397 dp-cn           up   20:00:00      2  alloc dp-cn[01,50]
    398 dp-cn           up   20:00:00     47   idle dp-cn[02-48]
    399 dp-dam          up   20:00:00      1 drain* dp-dam01
    400 dp-dam          up   20:00:00      1  drain dp-dam02
    401 dp-dam          up   20:00:00     14   down dp-dam[03-16]
    402 dp-sdv-esb      up   20:00:00      2   idle dp-sdv-esb[01-02]
    403 psgw-cluster    up   20:00:00      1  down* nfgw01
    404 psgw-booster    up   20:00:00      1  down* nfgw02
    405 debug           up   20:00:00      1 drain* dp-dam01
    406 debug           up   20:00:00      1  down* protodam01
    407 debug           up   20:00:00      3  drain dp-cn49,dp-dam02,knl01
    408 debug           up   20:00:00     14   down dp-dam[03-16]
    409 debug           up   20:00:00      2  alloc dp-cn[01,50]
    410 debug           up   20:00:00     69   idle deeper-sdv[01-16],dp-cn[02-48],knl[04-06],protodam[02-04]
     413extoll          up   20:00:00     11   idle deeper-sdv[06-16]
     414ml-gpu          up   20:00:00      3   idle ml-gpu[01-03]
     415dp-cn           up   20:00:00      1  drain dp-cn33
     416dp-cn           up   20:00:00      5   resv dp-cn[09-10,25,49-50]
     417dp-cn           up   20:00:00     44   idle dp-cn[01-08,11-24,26-32,34-48]
     418dp-dam          up   20:00:00      1 drain* dp-dam08
     419dp-dam          up   20:00:00      2  drain dp-dam[03,07]
     420dp-dam          up   20:00:00      3   resv dp-dam[05,09-10]
     421dp-dam          up   20:00:00      2  alloc dp-dam[01,04]
     422dp-dam          up   20:00:00      8   idle dp-dam[02,06,11-16]
     423dp-dam-ext      up   20:00:00      2   resv dp-dam[09-10]
     424dp-dam-ext      up   20:00:00      6   idle dp-dam[11-16]
     425dp-esb          up   20:00:00     51 drain* dp-esb[11,26-75]
     426dp-esb          up   20:00:00      2  drain dp-esb[08,23]
     427dp-esb          up   20:00:00      2  alloc dp-esb[09-10]
     428dp-esb          up   20:00:00     20   idle dp-esb[01-07,12-22,24-25]
     429dp-sdv-esb      up   20:00:00      2   resv dp-sdv-esb[01-02]
     430psgw-cluster    up   20:00:00      1   idle nfgw01
     431psgw-booster    up   20:00:00      1   idle nfgw02
     432debug           up   20:00:00      1 drain* dp-dam08
     433debug           up   20:00:00      4  drain dp-cn33,dp-dam[03,07],knl01
     434debug           up   20:00:00     10   resv dp-cn[09-10,25,49-50],dp-dam[05,09-10],dp-sdv-esb[01-02]
     435debug           up   20:00:00      2  alloc dp-dam[01,04]
     436debug           up   20:00:00     69   idle deeper-sdv[06-16],dp-cn[01-08,11-24,26-32,34-48],dp-dam[02,06,11-16],knl[04-06],ml-gpu[01-03]
    411437}}}
    412438