Forge — Transverses

forge-data

Elles outillent chaque run, quelle que soit l'étape : agents, exploitation, données, observabilité entre les runs.

Rôle dans le run lineage, qualité, restitution

Ses services — 8 au catalogue, 7 prouvés

Ce que vous obtenez, ce qui entre, ce qui sort — et, pour les services prouvés, la preuve citée telle quelle.

Profiler (qualité en assertions)
prouvé
Ce que vous obtenez

exprimer et vérifier la qualité de mes données en assertions exécutables
Il reçoit
assertions au format forge-data/assertions@1
Il produit
verdict JSON par assertion, exit 0/1/2
La preuve qui l'établit

self-test double sens 15 PASS (fixtures synthétiques) ; barre Great Expectations (registre la-barre)

Cycle de vie : experimental · Dernier challenge : 2026-08-12
Tracer (lineage exigible)
prouvé
Ce que vous obtenez

déclarer et vérifier le lineage complet de mes données
Il reçoit
lineage au format forge-data/lineage@1
Il produit
verdict JSON (run · job · datasets entrée/sortie), exit 0/1/2
La preuve qui l'établit

self-test 15 PASS ; barre OpenLineage (registre la-barre)

Cycle de vie : experimental · Dernier challenge : 2026-08-12
Restituer (chiffres sourcés)
prouvé
Ce que vous obtenez

garantir que tout chiffre restitué est ancré à sa source
Il reçoit
rapport à frontmatter chiffres: + lineage_ref:
Il produit
verdict JSON, exit 0/1/2
La preuve qui l'établit

self-test 15 PASS ; barre dbt-core (registre la-barre)

Cycle de vie : experimental · Dernier challenge : 2026-08-12
Fonds de savoir data
déclaré
Ce que vous obtenez

réutiliser les patterns éprouvés de rétro-ingénierie et de lineage
Il reçoit
chantier data à instruire
Il produit
REX-DATA.md (12 patterns anonymisés, portée générique/contingente)
STANDARDS-DATA.md (standards retenus/écartés sourcés)
Cycle de vie : experimental · Dernier challenge : 2026-08-12
Contractualiser (data contract)
prouvé
Ce que vous obtenez

sceller l'accord producteur↔consommateur en contrat vérifiable machine
Il reçoit
contrat au format forge-data/contrat@1 (niveau ODCS v3.1)
Il produit
verdict C1-C5, exit 0/1/2
La preuve qui l'établit

TF-0108 (12/08) : fixtures double sens, self-test 30 PASS rejoué pilot ; ODCS statué « retenu » dans STANDARDS-DATA

Cycle de vie : experimental · Dernier challenge : 2026-08-12
Importer un schéma exporté
prouvé
Ce que vous obtenez

dériver un brouillon d'assertions et de contrat depuis le schéma exporté de ma base
Il reçoit
DDL SQL exporté (format pg_dump --schema-only ; Postgres d'abord)
Il produit
brouillon forge-data/assertions@1 + forge-data/contrat@1 (statut « brouillon ») ; NOT NULL→non_nul, CHECK bornes/IN→bornes/ensemble, UNIQUE/PK→unique ; types non mappés en avertissements
La preuve qui l'établit

TF-0139 (12/08) : round-trip prouvé — le brouillon PASSE oracle-profiler/oracle-contractualiser ; self-test 30→36 PASS, rejoué pilot ; jamais de connexion (fichier seul)

Cycle de vie : experimental · Dernier challenge : 2026-08-12
Traduire un lineage Unity Catalog
prouvé
Ce que vous obtenez

convertir le lineage colonne natif de Databricks en lineage exigible par la forge
Il reçoit
export synthétique de system.access.column_lineage (Unity Catalog)
Il produit
forge-data/lineage@1 grain colonne (confiance niveau 3, transformation runtime)
La preuve qui l'établit

TF-0141 (12/08) : round-trip prouvé (oracle-tracer PASS), self-test 36→41 ; VALIDÉ SUR FIXTURE SYNTHÉTIQUE (aucun workspace payant) ; export incohérent → refus

Cycle de vie : experimental · Dernier challenge : 2026-08-12
Mesurer une base connectée
prouvé
Ce que vous obtenez

exécuter des requêtes SQL en lecture seule sur un warehouse Databricks et archiver chaque couple requête/résultat, pour que tout chiffre restitué remonte à sa source
Il reçoit
requête SQL ou lot JSON [{id, sql}] ; DATABRICKS_PROFILE + DATABRICKS_WAREHOUSE_ID en environnement
Il produit
forge/etapes/data/mesures/<id>.json (requête, colonnes, lignes, statement_id) — consommable par les marqueurs [c:id] d'oracle-restituer
La preuve qui l'établit

RD-3 (SCC_ALX, 13/08) : porté du script éprouvé du run réel (7,2 M de lignes mesurées, Databricks Statement Execution) ; garde lecture-seule à self-test double sens 8/8 ; AUCUNE valeur de poste en dur (env seul)

Cycle de vie : experimental · Dernier challenge : 2026-08-13

Poursuivre la lecture

Retour au catalogue — les treize forges
Le sommaire complet : les trois familles, chaque forge et ses services.
forge-data dans la chaîne
Où cette forge intervient dans un run, et où passent les deux décisions qui vous reviennent.