Salut Quand est ce que tu passes à Ifremer pour installer la nouvelle version? Il faudrait vraiment qu'on finisse ça maintenant. Je suis là la semaine prochaine et après en vacances jusqu'à début septembre A+ Mathieu Le 19/06/2015 18:47, Tony Chemit a écrit :
On Fri, 08 May 2015 19:04:57 +0200 Mathieu.Doray@ifremer.fr wrote:
Salut Julien, Salut Julien et Mathieu,
Je viens de publier une nouvelle version d'EchoBase, la 2.9.
Elle améliore la documentation d'installation de la partie spatiale, d'apache.
On peut reprendre contact quand vous le souhaitez pour continuer à avancer sur le sujet.
Bon week-end,
tony.
Super que tu essayes Echobase.
Je suis en ce moment en mer en plein dans PELGAS, donc je ne vais pas avoir le temps de te répondre en détails. Quelques éléments dans le texte.
julien <julien.barde@ird.fr> a écrit :
Bonjour Mathieu et Tony,
je suis actuellement en mission à Dakar avec Patrice Brehmer et je teste l'import de données acoustique IRD dans Echobase. Si la solution s'avère intéressante pour les collègues, à terme, l'idée serait de proposer la migration des données historiques de campagnes de pêche acoustiques de l'IRD dans la base. On analysera au passage d'éventuels besoins supplémentaires et, Inch allah, tentera de financer les développements nécessaires dans des futures versions. On peut toujours rêver. inch allah Vu que l'échantillon des données IRD sur lesquelles je travaille vient de la Thalassa, ça paraissait gagné d'avance mais je rencontre quelques petits problèmes ou points de blocage et j'en profite pour vous faire un retour en espérant que ça vous intéresse et qu'il y ait un peu de doc pour m'aider sur certains points:
* *installation de l'application sur le serveur*: j'ai fait l'essentiel de l'installation sur un serveur (machine virtuelle Centos) mis à disposition par l'IRD, tout s'est bien passé sauf la partie Qgis Server / Vliz qui me donne une erreur dans les interfaces Web d'Echobase. Malgré tout en suivant la documentation, je me suis souvent posé des questions sur l'utilisateur qui doit réaliser certaines parties de l'installation (root / tomcat..). Dommage pour la partie carto que j'aurai bien aimé pouvoir montrer aux collègues mais j'ai peut être fait une boulettre en l'installant (la machine Centos n'a pas tout à fait les mêmes répertoires et paquets que Debian), A voir avec Tony, je suis incompétent là dessus. Tony?
* *import des données par fichiers CSV*: je m'en sors à peu prés mais ce qui me bloque le plus est de pouvoir consulter un dictionnaire de données qui définisse clairement les colonnes des différentes tables de la base (j'ai téléchargé le modèle UML mais je n'ai pas vu de définition dans les attributs des classes). Avez-vous un dictionnaire de données pour toutes la base (par exemple ) ? Les fichiers CSV fourni en exemple dans la doc sont parfois un peu courts (une ligne). Il serait intéressant de mettre plus d'exemples (plus de lignes) avec des données pipos, J'ai des fonctions intégrées dans EchoR qui font la passerelle entre des données de campagne au format Ifremer et Echobase.
* *saisie des données à bord*: les fichiers excel un peu foireux utilisé par l'IRD pour saisir les donnée qui changent d'une campagne à l'autre. Est-ce que vous utilisez Allegro pour faciliter la saisie et l'import dans echobase ou directement les CSV importés dans Echobase? tu parles de Tutti? Si oui on importe les données depuis tutti dans Echobase depuis cette année.
Question liée: est-ce que echobase pourrait également
permettre de gérer les données de pêche scientifiques saisie avec Allegro ?
oui, Echobase a été conçu pour stocker des données de pêche scientifique. Et j'ai des scripts EchoR pour récupérer les données de tutti et les mettre au format Echobase.
* je n'ai pas commencé l'import des données acoustiques, pour ça j'ai besoin que Patrice m'aide à comprendre comment la chaîne de traitements appliqué par l'IRD peut être adaptée pour fournir l'information nécessaire aux CSV attendus par Echobase. * Dernier détail pour la route: je n'ai peut être pas bien vu ou cherché mais il serait intéressant sur le site de mettre des captures d'écran / exemples d'indicateurs (cartes ou plots) produits en sortie de l'application et avec les codes echoR.
OK je note
Bref ce sont des détails car j'ai pu assez facilement installée l'essentiel de l'application et je pense arriver avec Patrice à comprendre le sens des colonnes que je ne comprends pas seul. Reste à trouver le temps d'en discuter avec lui. Je suis preneur, si vous avez des liens sur de la documentation qui peut m'aider. Pas beaucoup de docs dispos désolé. L'essentiel est là : http://echobase.codelutin.com/v/latest/ Mais je vais essayer de répondre à tes questions par mail.
A+
Mathieu
bonne journée
julien
On 26/02/2014 18:59, Mathieu Doray wrote:
Dear all,
good question, indeed...
We, at Ifremer, have designed Echobase, an open source, server-based, relational database, which is fully aligned on the ICES metadata standard. It is powered by a postgreSQL database, and can be queried within a web browser, through a java interface, LibreOffice base, R, or Quantum GIS. I have attached a slideshow describing the Echobase main features. The software includes English menus and can be freely downloaded here: http://maven-site.forge.codelutin.com/echobase/en/index.html The database model is available there: http://maven-site.forge.codelutin.com/echobase/en/model.html
The ICES metadata standard works quite well for us. We collect all mandatory metadata. Data inputs in Echobase are based on text files automatically generated in R, so inputing lots of metadata is not a problem, as long as they can be automatically produced by R, based on raw informations from the cruise.
I unfortunately will not attend the WAST meeting this year (I will at sea, echo-counting anchovies in the Bay of Biscay...). However, Laurent, who actively participated in the Echobase design, should be there. Also, feel free to ask me questions on Echobase.
Cheers,
Mathieu
Le 25/02/2014 04:37, Gauthier, Stephane a écrit :
RE: Implementation of metadata standard
Hi Adam (& co), I also have someone here in Canada who is working on a relational database fully aligned with the ICES metadata standard. I'll get in touch with him and get back to you. -sg
-----Original Message----- From: Adam Dunford [mailto:Adam.Dunford@niwa.co.nz] Sent: Mon 2/24/2014 7:23 PM To: Carrie Wall Bell - NOAA Affiliate; Michael Jech - NOAA Federal Cc: Tim.Ryan@csiro.au; alex.derobertis@noaa.gov; Chris Taylor - NOAA Federal; ddoolittle@ku.edu; davidm@echoview.com; Ryan.Downie@csiro.au; erwan.josse@ird.fr; gavinj@imr.no; nilsolav@imr.no; Hassan.Moustahfid@noaa.gov; jeff.condiotty@simrad.com; jhorne@u.washington.edu; julien.barde@ird.fr; Gordon.Keith@csiro.au; lars.nonboe.andersen@simrad.com; Laura Kracker - NOAA Federal; Laurent.Berger@ifremer.fr; Mathieu.Doray@ifremer.fr; Melvin, Gary D; niklas.larson@slu.se; nolwenn.behagle@ird.fr; hector.pena@imr.no; Reka Domokos - NOAA Federal; Richard O'Driscoll; Rick Towler - NOAA Federal; s_elayoubi@hotmail.com; sascha.fassler@wur.nl; sigurdur@hafro.is; sof@bas.ac.uk; Gauthier, Stephane; sromain@gmail.com; Taina.Honkalehto@noaa.gov; tomasz.laczkowski@mir.gdynia.pl; Verena.Trenkel@ifremer.fr; Brent Wood Subject: RE: Implementation of metadata standard
Hi all, We also have implemented a relational database for our acoustic metadata. The ERD is attached, and like the NOAA WCD one from Carrie, we've also implemented an organisation/hierarchy that is closely aligned with the ICES metadata convention.
We've provided WFS access to our acoustic metadata via QGIS and, using QGIS's action feature (developed by Gavin Macaulay, one of the lead DB creators), we can provide access to echogram images for all transects in the database.
The echogram images for all transects are stored in an Atlas database which NIWA hosts and public access is available via atlas.niwa.co.nz/public.jsp (click on toggle images/documents on the RH sidebar once logged in to display all 70K pictures - note not all are echograms)
As the database is slightly customised to our own system, and as we're now moving to a different system paradigm with its own particularities I'm designing a multi-schema database which will have a public-facing schema which is fully ICES metadata compliant. Probably as a materialised view, drawn from a number of private schema which are more data/format/system specific.
So I'm particularly interested in whether anyone has tried to implement a relational model which is totally based on the ICES metadata convention.
Cheers, Adam
From: Carrie Wall Bell - NOAA Affiliate [mailto:carrie.wall@noaa.gov] Sent: Tuesday, 25 February 2014 9:50 a.m. To: Michael Jech - NOAA Federal Cc: Tim.Ryan@csiro.au; alex.derobertis@noaa.gov; Chris Taylor - NOAA Federal; ddoolittle@ku.edu; davidm@echoview.com; Ryan.Downie@csiro.au; erwan.josse@ird.fr; gavinj@imr.no; nilsolav@imr.no; Hassan.Moustahfid@noaa.gov; jeff.condiotty@simrad.com; jhorne@u.washington.edu; julien.barde@ird.fr; Gordon.Keith@csiro.au; lars.nonboe.andersen@simrad.com; Laura Kracker - NOAA Federal; Laurent.Berger@ifremer.fr; Mathieu.Doray@ifremer.fr; Gary.Melvin@dfo-mpo.gc.ca; niklas.larson@slu.se; nolwenn.behagle@ird.fr; hector.pena@imr.no; Reka Domokos - NOAA Federal; Richard O'Driscoll; Rick Towler - NOAA Federal; s_elayoubi@hotmail.com; sascha.fassler@wur.nl; sigurdur@hafro.is; sof@bas.ac.uk; Stephane.Gauthier@dfo-mpo.gc.ca; sromain@gmail.com; Taina.Honkalehto@noaa.gov; tomasz.laczkowski@mir.gdynia.pl; Verena.Trenkel@ifremer.fr; Adam Dunford Subject: Re: Implementation of metadata standard
Hi all,
I provided the attached metadata schematic to Tim earlier today but perhaps it's more prudent to disseminate it to the group and thus directly to Adam. We have implemented a relational database and it seems to be working quite well for us currently. Some of our terminology is slightly different from that of ICES but the general hierarchy and fields are very closely aligned. Please note the floating dark green cubes are views for our web-based map service and can be ignored.
I will be at WGFAST in May and am looking forward to presenting an update on the archive and our metadata efforts. I would be delighted to have a follow-up discussion at the meeting and am open to either an informal or formal setting.
Until then, if you have any questions about the attached or other aspects of our metadata/archive project, please don't hesitate to let me know.
Carrie.
--
Carrie C. Wall, PhD
Fisheries Acoustician
Cooperative Institute for Research in Environmental Sciences (CIRES)
University of Colorado at Boulder
NOAA/NGDC Marine Geology and Geophysics Division
325 Broadway E/GC3, Boulder, CO 80305
T: 303-497-4459, F: 303-497-6513
Office: 1B121, NOAA David Skaggs Research Center
On Mon, Feb 24, 2014 at 1:38 PM, Michael Jech - NOAA Federal <michael.jech@noaa.gov<mailto:michael.jech@noaa.gov>> wrote: Hi Tim and Adam, I'm glad Carrie Wall is on this list because she and Chuck Anderson are leading the US effort to archive and set up metadata for the water column acoustic data coming off the NOAA vessels. Adam should contact her directly, and hopefully can avoid re-inventing the wheel in different hemispheres.
I'm hoping Carrie will give a presentation at the WGFAST meeting this year, to give everyone an update on our progress. If there is enough interest, we could get together after a day of the meeting, or we could meet informally for beers and discussion. If you want to meet a bit more formally, let me know - I know the co-hosts of the meeting to set up a room :)
Thanks, mike
On 2/23/14, Tim.Ryan@csiro.au<mailto:Tim.Ryan@csiro.au> <Tim.Ryan@csiro.au<mailto:Tim.Ryan@csiro.au>> wrote:
Hi all,
I trust everybody is well.
Email below from Adam Dunford (NIWA) asking about implementation of the metadata convention in a relational database. If you have some experience of this and can help please contact Adam.
I'm trying to get my head around the ICES metadata convention with the intention of implementing it in a relational database. Scary, I know - and making my head hurt at times as I try and talk to our DB people and metadata experts :) But I was wondering if you knew of anyone else trying to do the same sort of thing and if so what relational model they ended up with. No point re-inventing the wheel.
I know that the final report carefully avoids both recommending any particular implementation or even being so closely aligned to one particular methodology that it's obvious for (e.g. netCDF). I just wondered if at various times through the iteration of the metadata convention you had any discussions as to how it might be done as an RDB if one was going to do so. Adam Dunford [Adam.Dunford@niwa.co.nz<mailto:Adam.Dunford@niwa.co.nz>]
More generically, as people implement the metadata they are bound to find aspects that could be improved or elements that are missing. Are people on this mailing list happy to continue as a group that can serve to update the metadata convention in response to user feedback? Hopefully this would not be too much work and could be done mostly by email, but with the possibility of meeting up either formally or informally at FAST if warranted.
If you want out, let me know and I can take you off the email list, otherwise I'll renew your free lifetime membership :).
Best regards
Tim
-- ######################################################## # J. Michael Jech # NEFSC # 166 Water St. (voice) 508-495-2353<tel:508-495-2353> # Woods Hole, MA 02543 (fax) 508-495-2115<tel:508-495-2115> # michael.jech@noaa.gov<mailto:michael.jech@noaa.gov> ########################################################
-- Please consider the environment before printing this email. NIWA is the trading name of the National Institute of Water & Atmospheric Research Ltd.
-- Mathieu Doray, PhD
Ifremer Département Ecologie et Modèles pour l'Halieutique rue de l'Ile d'Yeu B.P. 21105 44311 Nantes Cedex 03 mathieu.doray@ifremer.fr Tel./Phone: 02 40 37 41 65 / International: 332 40 37 41 65 Fax : 02.40.37.40.01 / International: 332 40 37 40 01
CV / resume:http://annuaire.ifremer.fr/cv/17093/