February 2014 - Isis-fish-devel - mailman.cloud.codelutin.com

inactivité et calcul de l'effort nominal
by Stephanie MAHEVAS 30 Oct '14

30 Oct '14

Re je suis allée regarder les equation spour calculer l'effort nominal. Aujourd'hui il n'est pas calculé avec l'equation d'inactivité. Il est simplement calculé avec la durée de la marée et de la durée inter-marées et la duré du mois courant. Il me semble que si on a une équation d'inactivité qui retournerait un temps d'inactivité, il serait bien de schunter ce calcul automatique en prenant simplement la durée du mois - le temps d'inactivité retourné par l'équation. qu'en pensez-vous? Steph -- ...................................................................... Stephanie MAHEVAS (Stephanie.Mahevas(a)ifremer.fr) IFREMER/EMH (Ecologie et Modèles pour l'Halieutique) Tel: (33) 2 40 37 41 81 Fax: (33) 2 40 37 40 75 o \ o / _ o __| \ / |__ o _ \ o / o /|\ | /\ ___\o \o | o/ o/__ /\ | /|\ / \ / \ | \ /) | ( \ /o\ / ) | (\ / | / \ / \ ......................................................................

3 4

questions sur l'objet TopiaContext
by Sigrid Lehuta 19 Feb '14

19 Feb '14

hello en regardant le script gravité de Loic, nous avons découvert une erreur piégeuse dans le script qui nous a poussés à creuser notre compréhension de la manière dont la base de données est modifiée durant une simulation. Voici un résumé de ce que l'on a compris, pourriez vous valider/corriger ? On a pas l'ambition de tout comprendre mais plutot d'éviter des erreurs à l'avenir avec un niveau de compréhension suffisant, merci de votre aide. La base de données d'ISIS est un objet TopiaContext Elle est attaché à un simulationContext dès qu'une simu est lancée. * Au cours de la simu on a donc accès aux objets de la DB via le simulationContext et de deux manières différentes : - soit l'objet est un paramètre de la simulation (population, stratégie...) et on passe par les simulationParameter pour réccupérer le topiaId de l'objet et le trouver directement dans la DB Population tmp = (Population) db.findByTopiaId(pop.getTopiaId()); - soit l'objet n'est pas un paramètre de la simulation et il faut passer par le DAO (genre d'interface avec la DB qui crée des instances des objets de la database qu'on peut modifier etc) pour recupérer l'objet dans la database ZoneDAO dao = IsisFishDAOHelper.getZoneDAO(db); C'est généralement transparent pour l'utilisateur car le SiMatrix contient des méthodes qui nous cache ces processus la plupart du temps en créant des raccourcis méthodes : getPopulations(TimeStep step) getZones(TimeStep step) getStrategies(TimeStep step) etc Les autres objets sont généralement accessibles à partir des pop, strategies ou métier (mis a dispo dans les règles). On a simplement besoin du DAO quand on crée une nouvelle zone (cantonnement) ou un nouveau métier. Le topiaContext s'il est modifié par une règle est restauré à la fin de chaque pas de temps. * En dehors d'une simulation, en pré-simu ou post-simu d'un plan d'analyse par exemple, on a bien sur pas accès au simulationContext, mais on créer et accède à la database de la prochaine simulation de cette manière TopiaContext tx = nextSimulation.getStorage().beginTransaction(); et on peut la modifier via les objets DAO. PopulationDAO popDAO = IsisFishDAOHelper.getPopulationDAO(tx); C'est bien ça? D'où des questions: - pourquoi passer step en argument des méthodes getPopulations(), getStrategies() etc ? En effet elles prennent step en argument MAIS NE L'UTILISENT PAS. C'est piégeux. C'est bien la base de données initiale qui est renvoyée et pas la base potentiellement modifiée à un pas de temps de la simu. - Pourquoi on a pas besoin du DAO quand on connait le topiaId ? est ce que la méthode findByTopiaId() fait appel au DAO sans que ca se voit? Merci d'avance !

2 4

Re: [Isis-fish-devel] Running a big sensitivity analysis with ISIS-Fish on caparmor ?
by Loic GASCHE 17 Feb '14

17 Feb '14

En fait c'est assez bizarre, les simus se sont toutes terminées en Février 4 alors que j'avais demandé 12 ans de simu. Pourtant Elles apparaissent comme simulations terminées et Tina n'a vu aucun message de plantage sur caparmor. Le dossier de chaque simu a bien été mis à jour à la fin de chacune d'entre elles mais le dossier de sensitivityResults ne contient que des fichiers .class ou .java et aucun export .csv. Le RData devant contenir les résultats de l'AS n'a pas non plus été mis à jour à la fin de l'AS. Donc soit la simu a effectivement tourné comme il faut et rapidement et son déroulement n'apparaissait pas comme il faut dans l'interface ISIS (mais dans ce cas là je devrais avoir mes exports), soit il y a eu un pb en cours de simu. J'avais demandé à n'avoir que les erreurs dans le debug donc il est assez petit. Il semble très normal et ne pas indiquer qu'il y aurait eu d'erreurs. Donc je ne pige pas très bien ce qui a pu se passer... Le 14/02/2014 16:27, Eric Chatellier a écrit : > Le 14/02/2014 16:24, Loic GASCHE a écrit : >> Hi Tina, >> >> This sensitivity analysis is the first one I ran, I made a mistake so it is >> normal that the file were written. >> >> A submitted a second one (TEST2) at the beginning on the afternoon (14h20 >> approximately). This is the sensitivity analysis that should be running well. > Is this AS terminated ? > I can't see it on caparmor. >

3 7

Re: [Isis-fish-devel] Running a big sensitivity analysis with ISIS-Fish on caparmor ?
by Loic GASCHE 14 Feb '14

14 Feb '14

Hi Tina, We are running a test sensitivity analysis on caparmor with the new version of ISIS-Fish. With the new version we use the ram instead of the disk when possible, so accesses to the disk should have been reduced drastically. It seems to be running OK, and files do not appear on the disk so everything seems to be working as planned, but simulation time did not really decrease. Could you check whether we use the disk and the ram properly (if I understood well we should be using much less disk space and a bit more ram but not much as results are erased while the simulation is running), so we can understand if simulation time still comes from writing things on the disk or if it is due to something else ? Loïc Le 13/02/2014 17:42, Tina ODAKA a écrit : > hi stephanie, > as i told you on phone, > > if they use option > -q isisfish > with account of loic, > it use max memory 2.9G and 3 hours of wall time. > > I'll check tomorrow afternoon, how it is running. > and if it runs ok, i try to put more core during weekend. > > > regards, Tina > > > Le 13/02/2014 15:39, Loic.Gasche(a)ifremer.fr a écrit : >> Hi Tina, >> >> Did you get the e-mail about writing the results.mapped file created >> by ISIS in the ram ? >> >> It seems that it is not possible to do it in the short-term as it >> implies making some deep changes to the way ISIS works. >> >> Do you have any idea about when enough cores would be free on caparmor >> for us to submit our sensitivity analysis ? In fact we will need to >> run two of these to test for contrasted management scenarios, each >> corresponding to several thousand simulations. >> >> Loïc >> >> lgasche(a)ifremer.fr a écrit : >> >>> Hi Tina, >>> >>> I cannot submit it today but I will do it tomorrow. >>> >>> >>> Tina ODAKA <Tina.Odaka(a)ifremer.fr> a écrit : >>> >>>> Hi, >>>> i want to see how your job runs well on caparmor. >>>> tell me when you submit your simulation, i'll check how it runs. >>>> (if today after 16:30, if tomorrow i can not chek morning, it have >>>> to be afternoon) >>>> >>>> regards, tina >>>> >>>> Le 06/02/2014 11:31, Loic GASCHE a écrit : >>>>> Hi Tina, >>>>> >>>>> It seems that we have solved the last few problems we had with >>>>> ISIS-Fish and that it now runs well on caparmor. >>>>> >>>>> We would like to run one big sensitivity analysis on caparmor. >>>>> >>>>> So far we ran 500 simulations. The ideal for us would be 10000 >>>>> simulations to be consistent with a sensitivity analysis we ran at >>>>> the beginning of 2013. If this number is too high maybe we can make >>>>> choices and reduce it a bit but we will still need to run several >>>>> thousand simulations. >>>>> >>>>> We are not in a great hurry so it is perfectly fine for us if the >>>>> analysis runs for several weeks or even a month. >>>>> >>>>> Is it possible to run the analysis on caparmor with "a few" cores >>>>> and "automatically" increase the number of cores used when more >>>>> cores are available on caparmor (weekends, holidays ?) ? >>>>> >>>>> Do you think we should wait for a period when few jobs run on >>>>> caparmor and only then run our big sensitivity analysis ? >>>>> >>>>> Loïc >>>>> >>>> >>>> -- >>>> =================================================== >>>> Tina Odaka >>>> RIC - IDM - IMN - IFREMER >>>> Pôle de Calcul Intensif pour la Mer (PCIM) >>>> >>>> Tel: +33 (0)2 98 22 41 85 >>>> Fax: +33 (0)2 98 22 45 46 >>>> email: Tina.Odaka(a)ifremer.fr >>>> http://www.ifremer.fr/pcim >>>> ================================================== >>>> >>>> >>> >>> >>> >> >> >> >

1 0

Nouvelle implantation de ResultStorage seulement en mémoire
by Benjamin POUSSIN 14 Feb '14

14 Feb '14

Salut, Il existe maintenant (lorsqu'il y aura eu une release ;)) une nouvelle implantation pour la gestion des résultats. Les résultats sont conservés seulement en mémoire et sont perdus à la fin de la simulation. Il faut donc penser à mettre les bons exports pour que la simulation ne servent pas à rien :D. Pour activer ce nouveau ResultStorage il faut ajouter dans les paramètre de la simulation un petit quelque chose. Dans l'onglet paramètres avancés ajouter le tag/value ResultStorageInMemory.maxTimeStep avec comme valeur le nombre de pas de temps que vous souhaitez conserver au maximum durant la simulation. Par exemple si on met comme valeur 12, on ne conserve que 12 pas de temps (1an). A la fin de la simulation dans les exports vous n'aurez alors que ces 12 pas de temps. Si vous mettez 1, vous n'aurez alors que le tout dernier pas de temps dans vos simulations. Il faut donc faire attention à bien travailler sur les sémantiques car l'indice 0 dans la matrice n'est plus forcément le pas de temps 0. Et si vous avez des règles qui demandent des valeurs de résultats du passé qui ne sont plus conservées vous risquez d'avoir un NullPointerException (car la matrice retournée dans ce cas sera null) -- Benjamin POUSSIN -------------------- tél: +33 (0) 2 40 50 29 28 email: poussin(a)codelutin.com http://www.codelutin.com

4 13

Valeur de référence pour l'utilisation des distributions
by Eric Chatellier 14 Feb '14

14 Feb '14

Bonjour, Dans la version en cours de développement, les méthodes de distribution suivantes ont été introduite (pour définir les facteurs). Uniform% runif(reference, coefficient) Uniform Min/Max runif(min, max) Binomial rbinom(size, prob) Cauchy rcauchy(location, scale) ChiSquare rchisq(df, ncp) Exponential rexp(rate) F rf(df1, df2, ncp) Gamma rgamma(shape, rate, scale) Geometric rgeom(prob) HyperGeometric rhyper(m, n, k) LogNormal rlnorm(meanlog, sdlog) Dans un cas simple (double) la valeur du facteur prend le résultat de la méthode R: runif(30, 40) : 32 On peut donc utiliser directement le retour de R comme valeur à prendre en compte dans la simulation. Dans un cas plus complexe, pour uniform min/max par exemple, min et max peuvent être des matrices. Dans ce cas, on appelle runif avec (0 et 1) et on gère en retour la valeur de R et calculant la matrice résultante en fonction de min/max et le random R. Cela fonctionnait comme cela dans la version précédente d'Isis et c'est assez clair pour moi. Le problème est que pour les nouvelles distributions, un des paramètres peut-il être une matrice (dans ce cas, il faudrait substituer ce paramètre lors de l'appel a R par un double) ? Si oui lequel (pour chaque distribution) ? Si non, faut-il ajouter (pour Isis) une "valeur de référence" sur laquelle s'applique à chaque fois le résultat retourné par R ? (on calcule le random dans R et on multiple ce random par la valeur de référence). -- Éric Chatellier - Code Lutin Tel: 02.40.50.29.28 - http://www.codelutin.com

1 1

Fwd: Re: validation script optimisation
by Audric Vigier 13 Feb '14

13 Feb '14

Voici en PJ une écriture pour les algorithmes du recuit simulé et de l'algorithme génétique. -------- Message original -------- Sujet: Re: validation script optimisation Date : Thu, 13 Feb 2014 11:16:14 +0100 De : Audric VIGIER <Audric.Vigier(a)ifremer.fr> Organisation : IFREMER Pour : Eric Chatellier <chatellier(a)codelutin.com> Copie à : Stephanie MAHEVAS <Stephanie.Mahevas(a)ifremer.fr>, Sigrid LEHUTA <Sigrid.Lehuta(a)ifremer.fr> Bonjour, J'ai apporté des corrections au code, il compile enfin!(PJ) Par contre je pense qu'il a encore plein de défauts. Je fais des essais sur ISIS... A tout à l'heure Audric Le 12/02/2014 20:01, Audric VIGIER a écrit : > Bonsoir, > > En PJ, une proposition de script pour optimiser un jeu de paramètres > avec le recuit simulé. Il n'est malheureusement pas encore exempt de > bugs....Je n'ai donc pas pu l'essayer avec ISIS-Fish. J'y travaille > encore ce soir et demain matin. Il se peut que les commentaires et la > Javadoc soient incomplets à force de copier, supprimer, remplacer des > morceaux de code. J'ai joint aussi un document expliquant le > fonctionnement général du recuit simulé et de l'algorithme génétique > (ignorez ce que je dis sur le filtrage particulaire). > > A demain! > > Audric > > Le 10/02/2014 11:53, Eric Chatellier a écrit : >> Le 06/02/2014 16:47, Stephanie MAHEVAS a écrit : >>> hello >>> >>> pourrait-on se voir jeudi 13 février apres-midi 1)pour valider la >>> proposition >>> de script d'Audric pour optimiser un jeu de paramètres et 2)pour >>> proposer une >>> technique pour lancer au milieu d'un simulationplans plusieurs simu >>> en //? >>> >>> merci >>> Stephanie >> Bonjour, >> >> C'est bon pour Benjamin et moi jeudi après-midi. >> >> à Jeudi. >>

1 0

fichier de résultats mappés dans la ram ?
by Loic GASCHE 11 Feb '14

11 Feb '14

Bonjour, En discutant avec Tina au sujet du ficher results.mapped de chaque simu elle a émis l'idée que celui-ci soit écrit dans la ram plutôt que sur le disque. A priori cela permettrait d'accélérer pas mal les temps de simulation car les accès disques sont couteux en temps. Comme on peut disposer de 24 gigas de ram au maximum par simu il y aurait largement de quoi faire tenir ce fichier. Par contre plus on utilise de ram et moins on peut utiliser de coeurs sur caparmor, donc on aurait des simus qui tournent plus vite mais moins de simus en parallèle. Mais le compromis peut être intéressant si on réduit vraiment les temps de simulation. Est-ce que vous pensez qu'il est faisable de demander à ISIS d'écrire le results.mapped (et éventuellement d'autres fichiers écrits sur le disque dont on n'aurait pas besoin au final pour l'AS) dans la ram ? Loïc

3 3

Running a big sensitivity analysis with ISIS-Fish on caparmor ?
by Loic GASCHE 06 Feb '14

06 Feb '14

Hi Tina, It seems that we have solved the last few problems we had with ISIS-Fish and that it now runs well on caparmor. We would like to run one big sensitivity analysis on caparmor. So far we ran 500 simulations. The ideal for us would be 10000 simulations to be consistent with a sensitivity analysis we ran at the beginning of 2013. If this number is too high maybe we can make choices and reduce it a bit but we will still need to run several thousand simulations. We are not in a great hurry so it is perfectly fine for us if the analysis runs for several weeks or even a month. Is it possible to run the analysis on caparmor with "a few" cores and "automatically" increase the number of cores used when more cores are available on caparmor (weekends, holidays ?) ? Do you think we should wait for a period when few jobs run on caparmor and only then run our big sensitivity analysis ? Loïc

1 0