mkdir -p ~/docker/pseudonymisation
cd ~/docker/pseudonymisation
dpkg -l | grep python3-venv

sudo apt update
sudo apt upgrade
sudo reboot

sudo apt install python3.12-venv

cd ~/docker/pseudonymisation
python3 -m venv venv
source venv/bin/activate

pip install presidio-analyzer spacy
python -m spacy download fr_core_news_sm

pip freeze > requirements.txt

from presidio_analyzer import AnalyzerEngine
from presidio_analyzer.nlp_engine import NlpEngineProvider

configuration = {
    "nlp_engine_name": "spacy",
    "models": [{"lang_code": "fr", "model_name": "fr_core_news_sm"}]
}
provider = NlpEngineProvider(nlp_configuration=configuration)
nlp_engine = provider.create_engine()
analyzer = AnalyzerEngine(nlp_engine=nlp_engine, supported_languages=["fr"])

texte_origine = "Bonjour, je m'appelle Pierre Durand et j'habite à Paris."

resultats = analyzer.analyze(text=texte_origine, language="fr")

for res in resultats:
    print(f"Trouvé: {texte_origine[res.start:res.end]} -> Catégorie: {res.entity_type}")

python test_detection.py

Trouvé: Pierre Durand -> Catégorie: PERSON
Trouvé: Paris -> Catégorie: LOCATION

mkdir -p ~/docker/pseudonymisation/documents

cat > ~/docker/pseudonymisation/documents/personne1.txt << 'EOF'
Bonjour, je m'appelle Léa et j'ai 34 ans. Je travaille dans une pépinière depuis quelques années. Si je devais choisir un animal préféré, ce serait sans hésiter l'axolotl, je trouve sa capacité à régénérer ses membres absolument fascinante.
EOF

cat > ~/docker/pseudonymisation/documents/personne2.txt << 'EOF'
Je me présente, je suis Thomas, j'ai 52 ans et je vis à la campagne. Mon animal préféré est le fennec, ses grandes oreilles et son adaptation au désert m'ont toujours impressionné depuis un documentaire vu il y a longtemps.
EOF

cat > ~/docker/pseudonymisation/documents/personne3.txt << 'EOF'
Salut, moi c'est Camille, 27 ans. J'adore les animaux un peu décalés, et mon préféré reste le quokka, ce petit marsupial australien qui semble toujours sourire sur les photos.
EOF

cat > ~/docker/pseudonymisation/documents/personne4.txt << 'EOF'
Je m'appelle Julien et j'ai 45 ans. Passionné de nature depuis l'enfance, mon animal préféré est le pangolin, une créature discrète et méconnue que je trouve pourtant étonnante avec ses écailles.
EOF

cat > ~/docker/pseudonymisation/documents/personne5.txt << 'EOF'
Bonjour, je suis Sophie, j'ai 61 ans et je suis récemment partie à la retraite. Mon animal préféré est l'okapi, cet étrange cousin de la girafe que j'ai découvert lors d'un voyage il y a quelques années.
EOF

import os
import json
from presidio_analyzer import AnalyzerEngine
from presidio_analyzer.nlp_engine import NlpEngineProvider

DOSSIER_SOURCE = "documents"
DOSSIER_ANONYMISE = "documents_anonymises"
DOSSIER_RECONSTRUIT = "documents_reconstruits"
FICHIER_CORRESPONDANCE = "correspondance.json"

configuration = {
    "nlp_engine_name": "spacy",
    "models": [{"lang_code": "fr", "model_name": "fr_core_news_sm"}]
}
provider = NlpEngineProvider(nlp_configuration=configuration)
nlp_engine = provider.create_engine()
analyzer = AnalyzerEngine(nlp_engine=nlp_engine, supported_languages=["fr"])

os.makedirs(DOSSIER_ANONYMISE, exist_ok=True)
os.makedirs(DOSSIER_RECONSTRUIT, exist_ok=True)

correspondance_globale = {}

for nom_fichier in sorted(os.listdir(DOSSIER_SOURCE)):
    if not nom_fichier.endswith(".txt"):
        continue

    chemin_source = os.path.join(DOSSIER_SOURCE, nom_fichier)
    with open(chemin_source, "r", encoding="utf-8") as f:
        texte = f.read()

    resultats = analyzer.analyze(text=texte, language="fr")
    resultats_tries = sorted(resultats, key=lambda r: r.start, reverse=True)

    correspondance_fichier = {"prenom": None, "autres_elements_personnels": []}
    texte_anonymise = texte
    compteur_autres = 0
    prenom_trouve = False

    for res in resultats_tries:
        valeur = texte[res.start:res.end]

        if res.entity_type == "PERSON" and not prenom_trouve:
            jeton = "PERSONNE_1"
            correspondance_fichier["prenom"] = {"jeton": jeton, "valeur": valeur}
            prenom_trouve = True
        else:
            compteur_autres += 1
            jeton = f"AUTRE_{compteur_autres}"
            correspondance_fichier["autres_elements_personnels"].append(
                {"jeton": jeton, "valeur": valeur, "categorie": res.entity_type}
            )

        texte_anonymise = texte_anonymise[:res.start] + jeton + texte_anonymise[res.end:]

    with open(os.path.join(DOSSIER_ANONYMISE, nom_fichier), "w", encoding="utf-8") as f:
        f.write(texte_anonymise)

    correspondance_globale[nom_fichier] = correspondance_fichier

    texte_reconstruit = texte_anonymise
    if correspondance_fichier["prenom"]:
        texte_reconstruit = texte_reconstruit.replace(
            correspondance_fichier["prenom"]["jeton"],
            "[ " + correspondance_fichier["prenom"]["valeur"] + " ]"
        )

    if correspondance_fichier["autres_elements_personnels"]:
        texte_reconstruit += "\n\nAutres elements personnels detectes :\n"
        for item in correspondance_fichier["autres_elements_personnels"]:
            texte_reconstruit += f"- {item['jeton']} : {item['valeur']} ({item['categorie']})\n"

    with open(os.path.join(DOSSIER_RECONSTRUIT, nom_fichier), "w", encoding="utf-8") as f:
        f.write(texte_reconstruit)

with open(FICHIER_CORRESPONDANCE, "w", encoding="utf-8") as f:
    json.dump(correspondance_globale, f, ensure_ascii=False, indent=2)

print("Termine. Verifie documents_anonymises/, documents_reconstruits/ et correspondance.json")

python anonymisation.py

import requests

with open("documents_anonymises/personne2.txt", "r", encoding="utf-8") as f:
    texte_anonymise = f.read()

prompt = f"""Voici un texte. Reponds uniquement avec ce format exact, sans phrase supplementaire :
Animal prefere : [ton animal trouve]
Attention - donnees personnelles : [liste les elements qui sont des donnees personnelles, ou ecris "aucun"]

Texte : {texte_anonymise}"""

reponse = requests.post(
    "http://localhost:11434/api/generate",
    json={"model": "qwen2.5:3b", "prompt": prompt, "stream": False}
)

print(reponse.json()["response"])

import os
import json
import requests

DOSSIER_ANONYMISE = "documents_anonymises"
FICHIER_RESULTATS = "resultats_ia.json"

resultats = {}

for nom_fichier in sorted(os.listdir(DOSSIER_ANONYMISE)):
    if not nom_fichier.endswith(".txt"):
        continue

    chemin = os.path.join(DOSSIER_ANONYMISE, nom_fichier)
    with open(chemin, "r", encoding="utf-8") as f:
        texte_anonymise = f.read()

    prompt = f"""Voici un texte. Reponds uniquement avec ce format exact, sans phrase supplementaire :
Animal prefere : [ton animal trouve]
Attention - donnees personnelles : [liste les elements qui sont des donnees personnelles, ou ecris "aucun"]

Texte : {texte_anonymise}"""

    reponse = requests.post(
        "http://localhost:11434/api/generate",
        json={"model": "qwen2.5:3b", "prompt": prompt, "stream": False}
    )

    resultats[nom_fichier] = reponse.json()["response"]
    print(f"{nom_fichier} traite.")

with open(FICHIER_RESULTATS, "w", encoding="utf-8") as f:
    json.dump(resultats, f, ensure_ascii=False, indent=2)

print("Termine. Verifie resultats_ia.json")

import os
import json

FICHIER_CORRESPONDANCE = "correspondance.json"
FICHIER_RESULTATS_IA = "resultats_ia.json"
DOSSIER_FINAL = "documents_finaux"

with open(FICHIER_CORRESPONDANCE, "r", encoding="utf-8") as f:
    correspondance = json.load(f)

with open(FICHIER_RESULTATS_IA, "r", encoding="utf-8") as f:
    resultats_ia = json.load(f)

os.makedirs(DOSSIER_FINAL, exist_ok=True)

for nom_fichier, corr in correspondance.items():
    prenom = corr["prenom"]["valeur"] if corr["prenom"] else "PRENOM_NON_DETECTE"

    reponse_ia = resultats_ia.get(nom_fichier, "")
    animal = "non determine (echec du modele IA)"
    for ligne in reponse_ia.splitlines():
        if ligne.strip().lower().startswith("animal prefere"):
            animal = ligne.split(":", 1)[1].strip()
            break

    contenu_final = f"Prenom : {prenom}\n"
    contenu_final += f"Animal prefere : {animal}\n"

    if corr["autres_elements_personnels"]:
        contenu_final += "\nAutres elements personnels detectes :\n"
        for item in corr["autres_elements_personnels"]:
            contenu_final += f"- {item['jeton']} : {item['valeur']} ({item['categorie']})\n"

    nom_sortie = nom_fichier.replace(".txt", "_final.txt")
    with open(os.path.join(DOSSIER_FINAL, nom_sortie), "w", encoding="utf-8") as f:
        f.write(contenu_final)

print("Termine. Verifie le dossier documents_finaux/")

Prenom : PRENOM_NON_DETECTE
Animal prefere : axolotl

Prenom : Thomas
Animal prefere : fennec

Prenom : Camille
Animal prefere : Quokka
Autres elements personnels detectes :
- AUTRE_1 : Salut (LOCATION)

Prenom : Julien
Animal prefere : pangolin

Prenom : Sophie
Animal prefere : non determine (echec du modele IA)