Dans votre projet, allez dans l’onglet Website (Site web) puis la section « Détection automatique depuis le site web ».

Collez l’URL racine du site (ex. https://monsite.exemple) dans le champ prévu. Préférez la page d’accueil ou la page présentant l’identité du site.

Cliquez sur « Détecter » / « Analyser ». Le système lance un scraping ciblé pour repérer logo, favicon, couleurs, typographie, et méta (titre, description, OG image).

Le traitement se fait en arrière‑plan. Une fois terminé, les champs du formulaire de branding se préremplissent : nom du site, slogan, URLs d’images, couleurs, police, méta. Vérifiez chaque champ.

Ajustez manuellement ce qui ne convient pas (couleurs proches, logo recadré) puis cliquez sur « Enregistrer ». Vous pouvez revenir modifier ces valeurs à tout moment.

Si des éléments manquent, essayez d’analyser une page interne plus pertinente (ex. /about, /company) ou importez manuellement les URLs des images/og.

Commencez par la page d’accueil, limitez la profondeur initiale, et sauvegardez fréquemment après corrections.

Si le site est volumineux, lancez d’abord la détection sur la page d’accueil ou sur la page « À propos » : les éléments de branding s’y trouvent souvent et vous évitez un traitement inutile.

Pour le logo et les images OG, copiez l’URL détectée dans un nouvel onglet pour confirmer la qualité (taille, fond transparent). Remplacez par une version haute résolution si nécessaire.

La détection automatique n’est pas parfaite : sites fortement dynamiques, contenus chargés après interaction, ou protections anti‑robot peuvent empêcher l’extraction complète. Préparez une alternative (saisie manuelle).

Dans la vue de gestion des sources du projet, choisissez « Ajouter un site » ou « Ajouter une URL ». Sélectionnez si l’objectif est l’indexation / RAG.

Entrez l’URL racine ou l’URL précise, puis donnez un nom reconnaissable à la source (ex. « Site produit »).

Options courantes :

• Scraper le site entier (crawl interne).
• Scraper une seule page.
• Scraper un sous‑domaine spécifique.
  Sélectionnez selon l’usage (indexation complète ou ajout d’une page précise).

Définissez : profondeur de crawl (ex. 1–3), nombre max de pages, types de fichiers exclus (.pdf, .jpg), et règles d’exclusion (chemins à ignorer).

Démarrez le processus. Le traitement est asynchrone : vous recevrez un statut (en cours, terminé, erreur) et des messages de progression dans la section des tâches en cours.

Ouvrez la vue des jobs / progress pour voir le pourcentage, les pages actuellement traitées et les messages (ex. « Génération de résumés pour /docs »).

Une fois terminé, lancez quelques recherches pour valider que le contenu est disponible. Vérifiez la pertinence et les extraits afin d’ajuster le crawl si nécessaire.

Si des pages manquent, ajustez les exclusions, la profondeur, ou lancez un nouveau scrape ciblé (page par page) et ré‑indexez.

Pour de grands sites, commencez par un petit nombre de pages (ex. 50) et augmentez progressivement. Cela vous évite des traitements longs et facilite l’identification d’échecs.

Ajoutez les extensions lourdes (.zip, .mp4, .png haute résolution) dans la liste d’exclusions pour réduire le temps et le coût du traitement.

Ne scrapez pas de pages protégées, privées ou soumises à des conditions légales sans autorisation. Respectez les directives de robots.txt et les conditions d’utilisation du site cible.

Décidez si vous voulez : uniquement le domaine racine, sous‑domaines autorisés, ou suivre les liens externes. Par défaut, privilégiez uniquement le domaine d’origine.

• Profondeur 1 : page d’accueil + liens directs.
• Profondeur 2–3 : inclut pages internes.
  Choisissez un maximum de pages pour limiter la durée.

Ajoutez patterns à exclure (/admin, /login, /user, /cart) et types de fichiers à ignorer (.pdf/.zip/.jpg). Les patterns peuvent être basiques (commençant par /admin) ou par extension.

Spécifiez des pages prioritaires à traiter en premier (ex. /docs, /guides). Elles seront analysées avant les pages secondaires.

Choisissez d’ignorer les liens externes par défaut. Activez le suivi externe uniquement si vous souhaitez indexer des ressources tierces.

Selon l’interface, vous pouvez planifier des scrapes hors‑heure (heures creuses) ou lancer immédiatement. Pour gros sites, privilégiez une planification.

Sauvegardez la configuration du source pour la réutiliser (re‑scraping périodique, monitoring).

Créez des templates d’exclusions (par exemple pour les e‑commerces, docs, blogs) afin d’appliquer rapidement une configuration adaptée à chaque site.

Dans la section de monitoring / jobs, repérez la tâche liée à votre source. Vous verrez le progrès en pourcentage et les messages associés.

Ouvrez le détail du job pour lire les étapes (ex. “Récupération pages 1/50”, “Génération de résumés”). Ces messages aident à diagnostiquer les blocages.

Si besoin, utilisez le bouton « Annuler » pour stopper le traitement. L’annulation peut prendre quelques secondes à être effective.

Après correction (ajout d’exclusions, changement de profondeur), relancez un nouveau job en ciblant uniquement les pages manquantes pour gagner du temps.

Une fois la tâche terminée, vérifiez les éléments intégrés au formulaire de branding ou à l’index (selon l’objectif), puis validez en production si tout est correct.

Consultez le message d’erreur dans le détail du job : timeout, accès refusé, page introuvable, CAPTCHA ou erreurs réseau. Notez l’URL concernée.

• Ouvrez l’URL dans votre navigateur : la page s’affiche‑t‑elle sans connexion ?
• La page nécessite‑t‑elle une authentification ?
• Le site présente‑t‑il un CAPTCHA ou une protection Cloudflare ?

Si la protection bloque : réduisez la vitesse, limitez la profondeur, scrapez page par page, ou excluez les pages protégées. Retentez avec une portée plus limitée.

Si la page principale est protégée, essayez de scraper des pages publiques (ex. documentation, blog) qui contiennent l’essentiel de l’information.

Si le scraping automatique échoue, exportez ou copiez le contenu pertinent et utilisez l’upload manuel pour l’ajouter au projet.

Après avoir ajusté les exclusions ou choisi d’autres pages, relancez le job et surveillez les messages de progression.

Si vous suspectez un blocage côté plateforme (erreurs répétées sans raison), contactez l’assistance en fournissant l’URL en question et les messages d’erreur détaillés.

Les scrapers échouent souvent à cause de pages nécessitant une authentification, protections anti‑bot (CAPTCHA, services CDN) ou contenu chargé dynamiquement après interactions. Dans ces cas, privilégiez l’upload manuel ou la collaboration avec le propriétaire du site pour accéder aux données.