Maintenance et administration des collections

Maintenance et administration des collections

Guide pratique pour créer, indexer et supprimer des collections Milvus en toute sécurité

Gérez vos collections vectorielles (création, indexation, suppression), comprenez l’impact opérationnel et appliquez les bonnes pratiques pour éviter les interruptions.

Ce que couvre cette page

Créer / Supprimer des collections

Procédures pas à pas pour ajouter ou retirer une collection, checklist avant suppression.

Gérer les index Milvus

Quand créer un index, quel type choisir et comment évaluer l’impact sur la recherche.

Commandes backend & Opérations

Utilisation des actions d’administration (createIndex, dropCollection), suivi et gestion des erreurs.

Rate limiter & Retry

Comprendre l’ordonnancement des opérations, les délais et recommandations pour retries.

Recommandations opérationnelles

Planification, fenêtres de maintenance, sauvegarde et validation après opérations.

Scénarios & Résolution de problèmes

Scénarios courants (création en prod, suppression d’urgence) et procédures de reprise.

À propos de ce guide

Ce guide est destiné aux administrateurs et ingénieurs Produit qui utilisent la fonctionnalité de recherche vectorielle (Milvus). Il explique comment effectuer les opérations d’administration courantes, leurs impacts, et comment les exécuter de manière sûre et reproductible.

Introduction rapide

Cette page détaille comment créer et supprimer des collections et index Milvus, comment lancer les actions d’administration exposées côté backend (par ex. createIndex, dropCollection), et quelles sont les implications opérationnelles (performance, disponibilité, risques). Elle inclut des conseils pratiques sur l’usage du rate limiter et des retry policies qui orchestrent ces opérations.

Principe important

Pensez toujours à planifier les opérations lourdes (création d’index, suppression massive) pendant une fenêtre de faible trafic. Même si le système gère la mise en file et les retries, l’impact sur la latence et l’IO peut être significatif.

Workflow : Créer une collection (étapes détaillées)

Créer une collection — procédure recommandée

1

Étape 1 — Planifier la collection

Déterminez le but de la collection (documents, extraits de code, logs), la dimension des vecteurs (ex. 1536 pour certains embeddings courants), et les métadonnées nécessaires (source, type, chunkIndex, etc.). Choisissez un nom clair et unique.

2

Étape 2 — Vérifier les ressources

Confirmez que le cluster de recherche / l’instance Milvus a suffisamment de RAM et stockage. Pour de grandes collections, prévoyez une marge pour l’indexation (CPU / I/O).

3

Étape 3 — Créer la collection via le panneau d'administration

Ouvrez le panneau de maintenance / actions backend, sélectionnez “Créer collection”, renseignez le nom et le schéma simplifié (dimensions vectorielles et champs indexables), puis validez l’opération. Note : l’opération est soumise au rate limiter général et peut être mise en file si d’autres opérations sont en cours.

4

Étape 4 — Valider la création

Attendez la confirmation (statut “crée” ou message de succès). Vérifiez que la collection apparaît dans la liste d’administration et qu’elle est “chargée” si nécessaire pour les requêtes.

5

Étape 5 — Test d'insertion et de requête

Insérez un petit lot de vecteurs de test puis lancez une recherche simple pour vérifier que la collection répond comme attendu.

6

Étape 6 — Surveillance post-création

Surveillez l’utilisation CPU, latence des requêtes et erreurs pendant les premières heures. Planifiez la création d’index si les performances de recherche doivent être améliorées.

Commencez petit

Créez d’abord une collection de test et validez vos choix de dimension/index avant de créer des collections volumineuses en production.

Workflow : Créer un index sur une collection

Créer un index — étapes détaillées

1

Étape 1 — Évaluer le besoin

Si vous observez des latences de recherche élevées ou si vous avez besoin de plus de précision/performance, planifiez la création d’un index. Les index améliorent les temps de réponse au prix d’un coût de calcul et stockage.

2

Étape 2 — Choisir le type d'index

Sélectionnez un type d’index adapté (ex. approche par clusters vs lineaire) en fonction du volume et du profil de latence attendu. Pour les collections de test, privilégiez des paramètres conservateurs.

3

Étape 3 — Lancer createIndex via l'interface d'administration

Depuis la section maintenance, choisissez la collection puis “Créer index”. Configurez les paramètres essentiels (nom de champ vector, metric type, paramètres d’indexation si disponibles). Confirmez le lancement. Note : la création d’index est une opération asynchrone et soumise au rate limiter ; attendez un statut de réussite.

4

Étape 4 — Attendre la finition et vérifier l’impact

La durée dépend du volume de données et des ressources. Pendant la création, les performances peuvent varier. Une fois terminée, exécutez des tests de latence et de qualité des résultats.

5

Étape 5 — Ajuster les paramètres si nécessaire

Si les résultats ne sont pas satisfaisants, ré-évaluez les réglages (par ex. nprobe/nlist s’ils sont exposés) et recréez l’index en horaire de faible charge.

6

Étape 6 — Documentation et suivi

Consignez l’opération, les paramètres choisis et l’impact mesuré pour faciliter la réplicabilité et la restitution.

Indexation progressive

Pour de très grandes collections, créez d’abord un index sur un sous-ensemble ou sur des shards successifs pour mesurer l’impact avant d’indexer l’ensemble.

Workflow : Supprimer (drop) une collection en toute sécurité

Supprimer une collection — procédure sécurisée

1

Étape 1 — Évaluer l'impact

Identifiez quelles fonctionnalités et agents utilisent la collection. La suppression est destructrice : les données vectorielles et leurs associations seront perdues.

2

Étape 2 — Sauvegarder si nécessaire

Avant suppression, exportez / sauvegardez les données ou assurez-vous qu’une copie existe ailleurs. Préparez un plan de restauration si la suppression est accidentelle.

3

Étape 3 — Suspendre les ingestions et jobs actifs

Arrêtez ou mettez en pause tous les processus qui insèrent des vecteurs dans la collection pour éviter des écritures en cours.

4

Étape 4 — Lancer dropCollection via l'interface d'administration

Dans la section maintenance, sélectionnez la collection et déclenchez la suppression (dropCollection). Confirmez via la boîte de dialogue en lisant attentivement le message de suppression. Note : l’opération est asynchrone, mise en file et sujette à retry en cas d’erreur transitoire.

5

Étape 5 — Vérifier l'absence et nettoyer les dépendances

Après confirmation, vérifiez qu’aucune référence applicative pointe encore vers la collection supprimée (indices, jobs planifiés, agents).

6

Étape 6 — Réactiver les ingestions (si nécessaire)

Redémarrez les flux d’ingestion si vous avez migré les données vers une nouvelle collection.

Suppression irréversible

La suppression d’une collection est définitive. Sans sauvegarde préalable, la récupération peut être impossible. Toujours vérifier dépendances et sauvegarder les données critiques.

Workflow : Utiliser les actions backend (createIndex / dropCollection)

Exécuter les actions d'administration exposées côté backend

1

Étape 1 — Accéder au panneau de maintenance

Ouvrez l’interface d’administration dédiée aux opérations sur les collections. Ces actions centrales vous permettent de lancer createIndex ou dropCollection sans intervention bas niveau.

2

Étape 2 — Choisir la collection et l’action

Sélectionnez la collection ciblée puis l’action souhaitée (créer un index, supprimer la collection). L’interface affiche souvent un résumé de l’impact et des prérequis.

3

Étape 3 — Confirmer et soumettre l’opération

Validez les paramètres et confirmez. L’opération est placée en file d’exécution. Vous recevrez un retour dès que l’opération est traitée.

4

Étape 4 — Surveiller l’état / les logs

Consultez l’historique des opérations et les logs d’exécution pour vérifier succès ou échec. En cas d’échec, relisez les détails avant de relancer.

5

Étape 5 — Relancer en respectant le rate limiter

Si vous devez relancer l’opération, espacez les tentatives et planifiez-les pour éviter la saturation. Le système applique une politique de retry automatique, mais relancer manuellement sans délai peut aggraver la situation.

Exposition des actions

Utilisez l’interface d’administration pour centraliser et tracer toutes les opérations. Évitez les actions ad-hoc non tracées qui compliquent l’investigation en cas d’incident.

Rate limiter et stratégie de retry — pratiques et recommandations

Le système applique un mécanisme d’ordonnancement global (rate limiter) et une politique de retry automatique sur les opérations Milvus. Ces mécanismes existent pour protéger la stabilité de la plateforme.

  • Comprendre l’impact opérationnel :
    • Les opérations lourdes (indexation, suppression massive) peuvent être mises en file et retardées.
    • Des retries exponentiels sont appliqués en cas d’erreurs transitoires ; l’opération finira par réussir ou échouer après plusieurs tentatives.
  • Recommandations pratiques :
    • Planifiez les opérations en batch et espacez-les (ex. 10–30 minutes entre créations d’index de collections volumineuses).
    • Ne lancez pas plusieurs opérations concurrentes lourdes sur la même instance.
    • Surveillez les notifications et logs pour détecter un échec persistant, puis diagnostiquez avant de relancer.
    • En cas d’urgence (suppression immédiate), coordonnez l’opération avec l’équipe d’exploitation : l’ordonnancement peut impliquer un délai.

:::callout{type=“warning” title=“Attention au “silent retry””> Ne supposez pas qu’une opération a échoué si vous n’avez pas reçu d’erreur immédiate : elle peut être en file et retentée automatiquement. Vérifiez l’historique d’opérations avant de relancer manuellement. :::

Scénarios et approches (onglets)

  • Planifiez une fenêtre de maintenance.
  • Créez la collection test, importez un échantillon, validez les performances.
  • Créez l’index par étapes (petits batches), surveillez CPU/IO.
  • Échelonnez les créations d’index sur plusieurs heures si nécessaire.
  • Informez les équipes consommateurs (chatbots, agents) d’une possible dégradation temporaire.
  • Créez la collection et l’index en heures ouvrables.
  • Tests rapides : petits lots, itérations fréquentes.
  • Moins de risque lié au rate limiter, mais gardez les bonnes pratiques (nommage, sauvegarde).
  • STOP immédiat des ingestions.
  • Vérification des sauvegardes disponibles.
  • Lancer dropCollection via l’interface d’administration et surveiller la file.
  • Si suppression échoue à répétition, escaladez à l’équipe d’exploitation pour intervention.

Comparaison : options d’indexation et effets (avant / après)

Avant : Pas d’index

  • Insertion rapide possible.
  • Recherches lentes (scan complet ou sub-optimal).
  • Faible coût de stockage additionnel.

Après : Index créé

  • Recherches bien plus rapides.
  • Coût CPU/IO et espace disque supplémentaires pendant la création.
  • Recréation d’index nécessaire si schéma/vecteurs changent.

Surveillance post-indexation

Après création d’un index, effectuez des tests de qualité des résultats et de latence pour confirmer l’amélioration ; conservez la configuration documentée.

Edge cases et situations spéciales

  • Vecteurs manquants : si des éléments sont insérés sans vecteurs, ils peuvent recevoir une valeur par défaut (vector nul) qui n’est pas utile pour la recherche — évitez les insertions incomplètes.
  • Index incompatible : si la dimension du vecteur change, l’index existant devient invalide ; il faut recréer la collection ou migrer les données.
  • Opérations concurrentes : lancer des suppressions et indexations en parallèle sur la même collection peut conduire à échecs et retries répétés.
  • Quotas / limites : même si le système gère le débit, votre plan d’hébergement peut imposer des limites matérielles. Adaptez la cadence des opérations à ces contraintes.

FAQ

Frequently Asked Questions

Bonnes pratiques récapitulatives

  • Toujours sauvegarder ou exporter avant une suppression.
  • Tester sur un environnement de staging avant la production.
  • Échelonner les opérations lourdes et documenter chaque changement.
  • Surveiller ressources et logs ; respecter les notifications du système (rate limiter / retries).
  • Communiquer aux équipes en cas d’opération susceptible d’impacter les services.

Ne pas ignorer les dépendances

Avant de supprimer une collection, vérifiez que les agents, chatbots, jobs d’indexation ou autres composants ne dépendent pas de cette collection. Une suppression non coordonnée peut provoquer des erreurs applicatives.

Organisez vos opérations

Maintenez une checklist d’opérations (pré-vérification, sauvegarde, pause d’ingestion, exécution, validation, réactivation) pour chaque intervention lourde.

Prêt à administrer vos collections ?

Utilisez l’interface d’administration pour exécuter ces opérations en toute sécurité et consulter l’historique.