Métadonnées des BDDs

[zoometh]

Scenarios pour créer des métadonnées documentant les tables, champs et valeurs de la BDD CHIPS

COMMENTS

SQL

Ecrire un commentaire dans le champs d'un BDD, exemple pour la table _refbib, champs ref_table

COMMENT ON COLUMN _refbib.ref_table IS 'nom exact de la table référencée par la référence bibilographique';

Récupérer ce commentaire

SELECT
    col.column_name AS champs,
    des.description
FROM
    pg_catalog.pg_description des
JOIN
    pg_catalog.pg_class cls ON des.objoid = cls.oid
JOIN
    pg_catalog.pg_attribute att ON att.attrelid = cls.oid AND att.attnum = des.objsubid
JOIN
    information_schema.columns col ON col.table_name = cls.relname AND col.column_name = att.attname
WHERE
    col.table_name = '_refbib';

Donne:

Ce SQL peut être embarqué dans du code Python (psycopg2)

OAI-PMH

Open Archives Initiative Protocol for Metadata Harvesting

Avec un ORM comme Flask-OAI

[zoometh]

Avec Flask-OAI, lit la vue metadata de Postgres:

http://157.136.252.188:5000/oai?verb=ListRecords

<OAI-PMH xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns="http://www.openarchives.org/OAI/2.0/">
  <ListRecords>
    <record>
      <header>
        <identifier>oai:flaskserver:ref_table</identifier>
        <datestamp>2025-04-28T07:47:28.464876+00:00</datestamp>
      </header>
    <metadata>
      <dc:title>nom exact de la table référencée par la référence bibilographique</dc:title>
    </metadata>
    </record>
  </ListRecords>
</OAI-PMH>

A faire: construire un bloc Dublin Core complet

<metadata>
  <dc:dc xmlns:dc="http://purl.org/dc/elements/1.1/">
    <dc:title>Title of the record</dc:title>
    <dc:creator>Author Name</dc:creator>
    ...
  </dc:dc>
</metadata>

[zoometh]

Pour https://github.com/zoometh/iramat-test/issues/16#issue-3017107344, créer une fonction db_comments() dans chips.py qui:

• créer un fichier XLSX listant toutes les tables, tous les champs, et les commentaires à saisir. Exemple:

table	column	comment
_refbib	ref_table
_refbib	ref_biblio
chips	id_chips
chips	id_ech

• réécrit ces commenatires dans la BDD

[zoometh]

Cette forme de commentaire, au format JSON pour supporter l'i18n, est possible. Exemple:

COMMENT ON COLUMN _refbib.ref_table IS
'{"fr": "nom exact de la table référencée par la référence bibliographique", "en": "exact name of the table referenced by the bibliographic reference"}';

Et

SELECT
  cols.column_name,
  pgd.description
FROM
  pg_catalog.pg_statio_all_tables as st
JOIN
  pg_catalog.pg_description pgd ON pgd.objoid = st.relid
JOIN
  information_schema.columns cols ON (
    pgd.objsubid = cols.ordinal_position
    AND cols.table_schema = st.schemaname
    AND cols.table_name = st.relname
  )
WHERE
  cols.table_name = '_refbib';

[zoometh]

#5 (comment):
➢ La fonction db_export_comments_to_excel() fait le job, cf. par exemple: pg_tables_columns_comments.xlsx

[zoometh]

Les métadonnées a réinjecter dans les tables sont ici: https://github.com/iramat/chips/tree/dev/table_comments

[zoometh]

Attacher un commentaire à une table Pg:

 obj_description(c.oid, 'pg_class') AS table_comment