January 2014 - Isis-fish-devel - mailman.cloud.codelutin.com

inactivité et calcul de l'effort nominal
by Stephanie MAHEVAS 30 Oct '14

30 Oct '14

Re je suis allée regarder les equation spour calculer l'effort nominal. Aujourd'hui il n'est pas calculé avec l'equation d'inactivité. Il est simplement calculé avec la durée de la marée et de la durée inter-marées et la duré du mois courant. Il me semble que si on a une équation d'inactivité qui retournerait un temps d'inactivité, il serait bien de schunter ce calcul automatique en prenant simplement la durée du mois - le temps d'inactivité retourné par l'équation. qu'en pensez-vous? Steph -- ...................................................................... Stephanie MAHEVAS (Stephanie.Mahevas(a)ifremer.fr) IFREMER/EMH (Ecologie et Modèles pour l'Halieutique) Tel: (33) 2 40 37 41 81 Fax: (33) 2 40 37 40 75 o \ o / _ o __| \ / |__ o _ \ o / o /|\ | /\ ___\o \o | o/ o/__ /\ | /|\ / \ / \ | \ /) | ( \ /o\ / ) | (\ / | / \ / \ ......................................................................

3 4

Valeur de référence pour l'utilisation des distributions
by Eric Chatellier 14 Feb '14

14 Feb '14

Bonjour, Dans la version en cours de développement, les méthodes de distribution suivantes ont été introduite (pour définir les facteurs). Uniform% runif(reference, coefficient) Uniform Min/Max runif(min, max) Binomial rbinom(size, prob) Cauchy rcauchy(location, scale) ChiSquare rchisq(df, ncp) Exponential rexp(rate) F rf(df1, df2, ncp) Gamma rgamma(shape, rate, scale) Geometric rgeom(prob) HyperGeometric rhyper(m, n, k) LogNormal rlnorm(meanlog, sdlog) Dans un cas simple (double) la valeur du facteur prend le résultat de la méthode R: runif(30, 40) : 32 On peut donc utiliser directement le retour de R comme valeur à prendre en compte dans la simulation. Dans un cas plus complexe, pour uniform min/max par exemple, min et max peuvent être des matrices. Dans ce cas, on appelle runif avec (0 et 1) et on gère en retour la valeur de R et calculant la matrice résultante en fonction de min/max et le random R. Cela fonctionnait comme cela dans la version précédente d'Isis et c'est assez clair pour moi. Le problème est que pour les nouvelles distributions, un des paramètres peut-il être une matrice (dans ce cas, il faudrait substituer ce paramètre lors de l'appel a R par un double) ? Si oui lequel (pour chaque distribution) ? Si non, faut-il ajouter (pour Isis) une "valeur de référence" sur laquelle s'applique à chaque fois le résultat retourné par R ? (on calcule le random dans R et on multiple ce random par la valeur de référence). -- Éric Chatellier - Code Lutin Tel: 02.40.50.29.28 - http://www.codelutin.com

1 1

Re: [Isis-fish-devel] last night's problem with isis-fish
by Eric Chatellier 30 Jan '14

30 Jan '14

Le 29/01/2014 10:33, Tina ODAKA a écrit : > 2. or put more memory space for the simulation, and stop the java option to > use disk. > >For isis simulations, we are using a memory mapped file [1] to store results > into memory (but with real backend storage on file system). > > What you can do is, if isisfish can chose directory to use on caparmor, chose > /home/trash/Users/5_days_max/lgasche We could try to modify configuration to point to that directory or simlink simulation directory to that directory. > then, > also use option not to use real backend storage on file system, then submit > job with > -q parallel8 -l select=1:ncpus=8 > so that we can check how much memory in total it will use; We can't do that anymore with isis fish (this is not a configurable options). Can you confirm that memory mapped file is counted into global jobs memory ? If so, since it's not real RAM memory, if there a way for caparmor to exclude memory mapped file from total count ? Is it a problem to use memory mapped file on caparmor ? Thanks in advance. -- Éric Chatellier - www.codelutin.com - 02.40.50.29.28

2 1

Re: [Isis-fish-devel] [Isis-fish-users] Simulations arrêtées en cours
by Eric Chatellier 24 Jan '14

24 Jan '14

Le 30/12/2013 09:39, Tina ODAKA a écrit : > Hi eric, > were you able to see that it use more than 2G of ram?? Hi Tina, We may have a clue on this issue. For isis simulations, we are using a memory mapped file [1] to store results into memory (but with real backend storage on file system). It's possible that this memory mapped file is counted into global job memory (this file is huge > 3Gb) ? [1] : http://en.wikipedia.org/wiki/Memory-mapped_file -- Éric Chatellier - Code Lutin Tel: 02.40.50.29.28 - http://www.codelutin.com

1 0

Calibration & caparmor
by Sigrid Lehuta 20 Jan '14

20 Jan '14

Salut les lutins, Audric qui travaille sur la calibration pour ISIS, a commencé à identifier les librairies java et R dispo pour l’optimisation et à s’interroger sur la manière de les utiliser dans ISIS. On aimerait bien bénéficier de vos lumières là-dessus et voir la manière la plus efficace de développer les codes pour qu'ils s'intègrent dans la nouvelle interface aisément. De plus j'aimerais faire le point avec vous sur les problèmes avec Caparmor et les remarques que m'a fait Tina vendredi aux journées des utilisateurs... Seriez-vous dispo cette semaine pour une réunion (à l’ifremer) ? De préférence jeudi aprem ou vendredi. Ca sera l'occas' pour que vous nous apportiez la carte de voeux code lutin ;-) Merci Sigrid

2 4

Présentation journées caparmor
by Sigrid Lehuta 13 Jan '14

13 Jan '14

Bonjour à tous, je présente vendredi l'utilisation de Caparmor pour ISIS aux journées des utilisateurs Caparmor. Ca serait l'occasion de faire un bilan des améliorations et problèmes rencontrés depuis la dernière présentation a ces journées en 2009. N'ayant pas été la plus active sur caparmor, pourriez vous apporter de l'eau à mon moulin? Avez vous des demandes pour caparmor 2017? Merci d'avance! Sigrid

1 0

Re: [Isis-fish-devel] Fwd: Re: CAPARMOR - différence entre la réservation cpu et l'utilisation
by Tina ODAKA 10 Jan '14

10 Jan '14

thanks, i'm following your job now. you are using r2i2n2 for your job (for array number 1) http://caparmor-admin2.ifremer.fr/ganglia/?m=load_one&r=hour&s=descending&c… if the developper from isis-fish want to follow how the job evolve, using top or strace, they need to connect caparmor with your account, then do ssh r2i2n2 with your account. tina Le 07/01/2014 10:30, Loic GASCHE a écrit : > Hi Tina, > > I submitted the same job as yesterday using the option you told me to > use. > > Loïc > > Le 07/01/2014 10:10, Tina ODAKA a écrit : >> hi loic, >> can you try to submit same job you've submitted yesterday this morning? >> (plz use option >> -q parallel8 -l select=1:ncpus=8 >> ) >> i want to verify if you've really using 8 cores; >> thanks tina >> >> >> Le 07/01/2014 09:55, Denis Croizé-Fillon a écrit : >>> >>> >>> >>> -------- Original Message -------- >>> Subject: Re: CAPARMOR - différence entre la réservation cpu et >>> l'utilisation >>> Date: Mon, 06 Jan 2014 17:12:27 +0100 >>> From: Denis Croizé-Fillon <Denis.Croize.Fillon(a)ifremer.fr> >>> To: Loic GASCHE <Loic.Gasche(a)ifremer.fr>, >>> isis-fish-devel(a)list.isis-fish.org >>> >>> >>> Ok, merci de votre retour. >>> Je verrai avec tina et l'équipe isis-fisch car les processus java >>> utilisent plus d'un coeur et pénalisent les autres utilisateurs >>> >>> Bonne fin de journée, >>> Denis >>> >>> >>> On 01/06/14 16:58, Loic GASCHE wrote: >>>> Bonjour, >>>> >>>> Lorsque lancé dans la queue "sequentiel" ISIS-Fish utilise >>>> habituellement 8 coeurs. >>>> >>>> Nous n'utilisons pas les files "parallel" car en fait ISIS fait >>>> tourner >>>> une simulation par coeur, l'utilisation de beaucoup de coeurs >>>> venant du >>>> fait que nous faisons de nombreuses simulations en même temps. >>>> >>>> Il y a à priori une file spéciale pour ISIS mais elle limite les >>>> jobs à >>>> 10 minutes, ce qui est très insuffisant pour les simulations que nous >>>> faisons tourner actuellement. >>>> >>>> Tina m'a donc dit d'utiliser la file "sequentiel", que nous utilisons >>>> par ailleurs depuis plusieurs années. J'ai d'ailleurs déjà fait >>>> tourner >>>> des dizaines de milliers de simulations de cette manière. >>>> >>>> Je n'ai pas les compétences techniques pour faire évoluer ISIS afin de >>>> pouvoir utiliser les queues "parallel", mais je transmets votre mail à >>>> la liste des développeurs afin de voir quelles seraient les solutions. >>>> >>>> Loïc >>>> >>>> Le 06/01/2014 16:36, Denis Croizé-Fillon a écrit : >>>>> >>>>> Bonjour, >>>>> >>>>> >>>>> >>>>> j'observe pour vos jobs 6019446[0] et 6019446[1] une différence >>>>> entre la >>>>> réservation CPU et l'utilisation qui est faite. >>>>> >>>>> Vous lancez ces processus sur sequentiel correspondant à un unique >>>>> coeur >>>>> utilisé. La commande qstat -f 6019446\[0\] montre alors ce que PBS >>>>> réserve : exec_vnode = (r5i2n8:mem=2867200kb:ncpus=1) >>>>> >>>>> Pourtant, localement, le processus utilise plus qu'un coeur (% cpu >>>>> supérieur à 100): >>>>> PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND >>>>> >>>>> >>>>> 1990 lgasche 20 0 2562m 1.6g 406m S 255 6.7 213:43.96 java >>>>> >>>>> >>>>> 1994 lgasche 20 0 2603m 2.3g 1.1g S 164 9.8 219:46.86 java >>>>> >>>>> Votre processus java apparait faire du multithreading, donc utilisant >>>>> plus d'un coeur. Toutefois, le noeud de calcul est également utilisé >>>>> par >>>>> d'autres processus ayant fait la demande des coeurs disponibles. Ces >>>>> processus n'ont toutefois pas accès à toutes les ressources demandées >>>>> puisque utilisées par vos processus. >>>>> >>>>> Il vous faut donc, soit limiter votre utilisation en nombre de coeur >>>>> à 1 >>>>> comme ce qui est réservé ou, demander plus de coeurs et soumettre sur >>>>> une file comme parallel8 parallel16 ... >>>>> >>>>> Merci de faire évoluer vos scripts en ce sens et de relancer vos jobs >>>>> pour libérer les ressources des autres utilisateurs. Merci >>>>> >>>>> Denis >>> >>> >>> >> -- =================================================== Tina Odaka RIC - IDM - IMN - IFREMER Pôle de Calcul Intensif pour la Mer (PCIM) Tel: +33 (0)2 98 22 41 85 Fax: +33 (0)2 98 22 45 46 email: Tina.Odaka(a)ifremer.fr http://www.ifremer.fr/pcim ==================================================

3 4

Re: [Isis-fish-devel] CAPARMOR - différence entre la réservation cpu et l'utilisation
by Loic GASCHE 06 Jan '14

06 Jan '14

Bonjour, Lorsque lancé dans la queue "sequentiel" ISIS-Fish utilise habituellement 8 coeurs. Nous n'utilisons pas les files "parallel" car en fait ISIS fait tourner une simulation par coeur, l'utilisation de beaucoup de coeurs venant du fait que nous faisons de nombreuses simulations en même temps. Il y a à priori une file spéciale pour ISIS mais elle limite les jobs à 10 minutes, ce qui est très insuffisant pour les simulations que nous faisons tourner actuellement. Tina m'a donc dit d'utiliser la file "sequentiel", que nous utilisons par ailleurs depuis plusieurs années. J'ai d'ailleurs déjà fait tourner des dizaines de milliers de simulations de cette manière. Je n'ai pas les compétences techniques pour faire évoluer ISIS afin de pouvoir utiliser les queues "parallel", mais je transmets votre mail à la liste des développeurs afin de voir quelles seraient les solutions. Loïc Le 06/01/2014 16:36, Denis Croizé-Fillon a écrit : > > Bonjour, > > > > j'observe pour vos jobs 6019446[0] et 6019446[1] une différence entre la > réservation CPU et l'utilisation qui est faite. > > Vous lancez ces processus sur sequentiel correspondant à un unique coeur > utilisé. La commande qstat -f 6019446\[0\] montre alors ce que PBS > réserve : exec_vnode = (r5i2n8:mem=2867200kb:ncpus=1) > > Pourtant, localement, le processus utilise plus qu'un coeur (% cpu > supérieur à 100): > PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND > > > 1990 lgasche 20 0 2562m 1.6g 406m S 255 6.7 213:43.96 java > > > 1994 lgasche 20 0 2603m 2.3g 1.1g S 164 9.8 219:46.86 java > > Votre processus java apparait faire du multithreading, donc utilisant > plus d'un coeur. Toutefois, le noeud de calcul est également utilisé par > d'autres processus ayant fait la demande des coeurs disponibles. Ces > processus n'ont toutefois pas accès à toutes les ressources demandées > puisque utilisées par vos processus. > > Il vous faut donc, soit limiter votre utilisation en nombre de coeur à 1 > comme ce qui est réservé ou, demander plus de coeurs et soumettre sur > une file comme parallel8 parallel16 ... > > Merci de faire évoluer vos scripts en ce sens et de relancer vos jobs > pour libérer les ressources des autres utilisateurs. Merci > > Denis

2 1