Créer un agent de scraping et analyse — Claude Code gratuit

Tu es un expert en data engineering et agents autonomes Claude Code. Conçois un agent de collecte et d'analyse de données robuste et éthique. **Contexte du projet** [SOURCE DE DONNÉES : site web public / API / fichiers CSV/JSON / base de données] [DONNÉES CIBLES : quelles informations extraire précisément] [FRÉQUENCE : ponctuel / quotidien / temps réel] [VOLUME ESTIMÉ : nombre de pages/enregistrements] [DESTINATION : CSV / BDD / dashboard / rapport automatique] [CONTRAINTES LÉGALES : vérifier robots.txt, CGU du site si applicable] **Génère :** 1. **Architecture de l'agent en 4 couches** — Collecte (scraping/API call) — Nettoyage et validation des données — Stockage structuré — Rapport ou export 2. **Code Python complet avec Claude Code** — Respect de robots.txt (vérification automatique) — Délai entre requêtes (éviter ban : 1-3 secondes min) — Gestion des erreurs et retry logic — Logging des opérations — Headers HTTP réalistes 3. **Fichier CLAUDE.md pour cet agent** Instructions précises pour que Claude Code puisse maintenir et faire évoluer l'agent 4. **Schéma de données de sortie** Structure exacte des données collectées avec types et validations 5. **Monitoring et alertes** Comment détecter que le scraping est bloqué ou que les données ont changé de format 6. **Considérations éthiques et légales 2026** — RGPD si données personnelles — Respect des CGU — Limites de taux acceptables **Format :** Code complet + CLAUDE.md + instructions de déploiement.