Maintenance et administration des collections
Maintenance et administration des collections
Guide pratique pour créer, indexer et supprimer des collections Milvus en toute sécurité
Gérez vos collections vectorielles (création, indexation, suppression), comprenez l’impact opérationnel et appliquez les bonnes pratiques pour éviter les interruptions.
Ce que couvre cette page
Créer / Supprimer des collections
Procédures pas à pas pour ajouter ou retirer une collection, checklist avant suppression.
Gérer les index Milvus
Quand créer un index, quel type choisir et comment évaluer l’impact sur la recherche.
Commandes backend & Opérations
Utilisation des actions d’administration (createIndex, dropCollection), suivi et gestion des erreurs.
Rate limiter & Retry
Comprendre l’ordonnancement des opérations, les délais et recommandations pour retries.
Recommandations opérationnelles
Planification, fenêtres de maintenance, sauvegarde et validation après opérations.
Scénarios & Résolution de problèmes
Scénarios courants (création en prod, suppression d’urgence) et procédures de reprise.
À propos de ce guide
Ce guide est destiné aux administrateurs et ingénieurs Produit qui utilisent la fonctionnalité de recherche vectorielle (Milvus). Il explique comment effectuer les opérations d’administration courantes, leurs impacts, et comment les exécuter de manière sûre et reproductible.
Introduction rapide
Cette page détaille comment créer et supprimer des collections et index Milvus, comment lancer les actions d’administration exposées côté backend (par ex. createIndex, dropCollection), et quelles sont les implications opérationnelles (performance, disponibilité, risques). Elle inclut des conseils pratiques sur l’usage du rate limiter et des retry policies qui orchestrent ces opérations.
Principe important
Pensez toujours à planifier les opérations lourdes (création d’index, suppression massive) pendant une fenêtre de faible trafic. Même si le système gère la mise en file et les retries, l’impact sur la latence et l’IO peut être significatif.
Workflow : Créer une collection (étapes détaillées)
Créer une collection — procédure recommandée
Étape 1 — Planifier la collection
Déterminez le but de la collection (documents, extraits de code, logs), la dimension des vecteurs (ex. 1536 pour certains embeddings courants), et les métadonnées nécessaires (source, type, chunkIndex, etc.). Choisissez un nom clair et unique.
Étape 2 — Vérifier les ressources
Confirmez que le cluster de recherche / l’instance Milvus a suffisamment de RAM et stockage. Pour de grandes collections, prévoyez une marge pour l’indexation (CPU / I/O).
Étape 3 — Créer la collection via le panneau d'administration
Ouvrez le panneau de maintenance / actions backend, sélectionnez “Créer collection”, renseignez le nom et le schéma simplifié (dimensions vectorielles et champs indexables), puis validez l’opération. Note : l’opération est soumise au rate limiter général et peut être mise en file si d’autres opérations sont en cours.
Étape 4 — Valider la création
Attendez la confirmation (statut “crée” ou message de succès). Vérifiez que la collection apparaît dans la liste d’administration et qu’elle est “chargée” si nécessaire pour les requêtes.
Étape 5 — Test d'insertion et de requête
Insérez un petit lot de vecteurs de test puis lancez une recherche simple pour vérifier que la collection répond comme attendu.
Étape 6 — Surveillance post-création
Surveillez l’utilisation CPU, latence des requêtes et erreurs pendant les premières heures. Planifiez la création d’index si les performances de recherche doivent être améliorées.
Commencez petit
Créez d’abord une collection de test et validez vos choix de dimension/index avant de créer des collections volumineuses en production.
Workflow : Créer un index sur une collection
Créer un index — étapes détaillées
Étape 1 — Évaluer le besoin
Si vous observez des latences de recherche élevées ou si vous avez besoin de plus de précision/performance, planifiez la création d’un index. Les index améliorent les temps de réponse au prix d’un coût de calcul et stockage.
Étape 2 — Choisir le type d'index
Sélectionnez un type d’index adapté (ex. approche par clusters vs lineaire) en fonction du volume et du profil de latence attendu. Pour les collections de test, privilégiez des paramètres conservateurs.
Étape 3 — Lancer createIndex via l'interface d'administration
Depuis la section maintenance, choisissez la collection puis “Créer index”. Configurez les paramètres essentiels (nom de champ vector, metric type, paramètres d’indexation si disponibles). Confirmez le lancement. Note : la création d’index est une opération asynchrone et soumise au rate limiter ; attendez un statut de réussite.
Étape 4 — Attendre la finition et vérifier l’impact
La durée dépend du volume de données et des ressources. Pendant la création, les performances peuvent varier. Une fois terminée, exécutez des tests de latence et de qualité des résultats.
Étape 5 — Ajuster les paramètres si nécessaire
Si les résultats ne sont pas satisfaisants, ré-évaluez les réglages (par ex. nprobe/nlist s’ils sont exposés) et recréez l’index en horaire de faible charge.
Étape 6 — Documentation et suivi
Consignez l’opération, les paramètres choisis et l’impact mesuré pour faciliter la réplicabilité et la restitution.
Indexation progressive
Pour de très grandes collections, créez d’abord un index sur un sous-ensemble ou sur des shards successifs pour mesurer l’impact avant d’indexer l’ensemble.
Workflow : Supprimer (drop) une collection en toute sécurité
Supprimer une collection — procédure sécurisée
Étape 1 — Évaluer l'impact
Identifiez quelles fonctionnalités et agents utilisent la collection. La suppression est destructrice : les données vectorielles et leurs associations seront perdues.
Étape 2 — Sauvegarder si nécessaire
Avant suppression, exportez / sauvegardez les données ou assurez-vous qu’une copie existe ailleurs. Préparez un plan de restauration si la suppression est accidentelle.
Étape 3 — Suspendre les ingestions et jobs actifs
Arrêtez ou mettez en pause tous les processus qui insèrent des vecteurs dans la collection pour éviter des écritures en cours.
Étape 4 — Lancer dropCollection via l'interface d'administration
Dans la section maintenance, sélectionnez la collection et déclenchez la suppression (dropCollection). Confirmez via la boîte de dialogue en lisant attentivement le message de suppression. Note : l’opération est asynchrone, mise en file et sujette à retry en cas d’erreur transitoire.
Étape 5 — Vérifier l'absence et nettoyer les dépendances
Après confirmation, vérifiez qu’aucune référence applicative pointe encore vers la collection supprimée (indices, jobs planifiés, agents).
Étape 6 — Réactiver les ingestions (si nécessaire)
Redémarrez les flux d’ingestion si vous avez migré les données vers une nouvelle collection.
Suppression irréversible
La suppression d’une collection est définitive. Sans sauvegarde préalable, la récupération peut être impossible. Toujours vérifier dépendances et sauvegarder les données critiques.
Workflow : Utiliser les actions backend (createIndex / dropCollection)
Exécuter les actions d'administration exposées côté backend
Étape 1 — Accéder au panneau de maintenance
Ouvrez l’interface d’administration dédiée aux opérations sur les collections. Ces actions centrales vous permettent de lancer createIndex ou dropCollection sans intervention bas niveau.
Étape 2 — Choisir la collection et l’action
Sélectionnez la collection ciblée puis l’action souhaitée (créer un index, supprimer la collection). L’interface affiche souvent un résumé de l’impact et des prérequis.
Étape 3 — Confirmer et soumettre l’opération
Validez les paramètres et confirmez. L’opération est placée en file d’exécution. Vous recevrez un retour dès que l’opération est traitée.
Étape 4 — Surveiller l’état / les logs
Consultez l’historique des opérations et les logs d’exécution pour vérifier succès ou échec. En cas d’échec, relisez les détails avant de relancer.
Étape 5 — Relancer en respectant le rate limiter
Si vous devez relancer l’opération, espacez les tentatives et planifiez-les pour éviter la saturation. Le système applique une politique de retry automatique, mais relancer manuellement sans délai peut aggraver la situation.
Exposition des actions
Utilisez l’interface d’administration pour centraliser et tracer toutes les opérations. Évitez les actions ad-hoc non tracées qui compliquent l’investigation en cas d’incident.
Rate limiter et stratégie de retry — pratiques et recommandations
Le système applique un mécanisme d’ordonnancement global (rate limiter) et une politique de retry automatique sur les opérations Milvus. Ces mécanismes existent pour protéger la stabilité de la plateforme.
- Comprendre l’impact opérationnel :
- Les opérations lourdes (indexation, suppression massive) peuvent être mises en file et retardées.
- Des retries exponentiels sont appliqués en cas d’erreurs transitoires ; l’opération finira par réussir ou échouer après plusieurs tentatives.
- Recommandations pratiques :
- Planifiez les opérations en batch et espacez-les (ex. 10–30 minutes entre créations d’index de collections volumineuses).
- Ne lancez pas plusieurs opérations concurrentes lourdes sur la même instance.
- Surveillez les notifications et logs pour détecter un échec persistant, puis diagnostiquez avant de relancer.
- En cas d’urgence (suppression immédiate), coordonnez l’opération avec l’équipe d’exploitation : l’ordonnancement peut impliquer un délai.
:::callout{type=“warning” title=“Attention au “silent retry””> Ne supposez pas qu’une opération a échoué si vous n’avez pas reçu d’erreur immédiate : elle peut être en file et retentée automatiquement. Vérifiez l’historique d’opérations avant de relancer manuellement. :::
Scénarios et approches (onglets)
- Planifiez une fenêtre de maintenance.
- Créez la collection test, importez un échantillon, validez les performances.
- Créez l’index par étapes (petits batches), surveillez CPU/IO.
- Échelonnez les créations d’index sur plusieurs heures si nécessaire.
- Informez les équipes consommateurs (chatbots, agents) d’une possible dégradation temporaire.
Comparaison : options d’indexation et effets (avant / après)
Avant : Pas d’index
- Insertion rapide possible.
- Recherches lentes (scan complet ou sub-optimal).
- Faible coût de stockage additionnel.
Après : Index créé
- Recherches bien plus rapides.
- Coût CPU/IO et espace disque supplémentaires pendant la création.
- Recréation d’index nécessaire si schéma/vecteurs changent.
Surveillance post-indexation
Après création d’un index, effectuez des tests de qualité des résultats et de latence pour confirmer l’amélioration ; conservez la configuration documentée.
Edge cases et situations spéciales
- Vecteurs manquants : si des éléments sont insérés sans vecteurs, ils peuvent recevoir une valeur par défaut (vector nul) qui n’est pas utile pour la recherche — évitez les insertions incomplètes.
- Index incompatible : si la dimension du vecteur change, l’index existant devient invalide ; il faut recréer la collection ou migrer les données.
- Opérations concurrentes : lancer des suppressions et indexations en parallèle sur la même collection peut conduire à échecs et retries répétés.
- Quotas / limites : même si le système gère le débit, votre plan d’hébergement peut imposer des limites matérielles. Adaptez la cadence des opérations à ces contraintes.
FAQ
Frequently Asked Questions
Bonnes pratiques récapitulatives
- Toujours sauvegarder ou exporter avant une suppression.
- Tester sur un environnement de staging avant la production.
- Échelonner les opérations lourdes et documenter chaque changement.
- Surveiller ressources et logs ; respecter les notifications du système (rate limiter / retries).
- Communiquer aux équipes en cas d’opération susceptible d’impacter les services.
Ne pas ignorer les dépendances
Avant de supprimer une collection, vérifiez que les agents, chatbots, jobs d’indexation ou autres composants ne dépendent pas de cette collection. Une suppression non coordonnée peut provoquer des erreurs applicatives.
Organisez vos opérations
Maintenez une checklist d’opérations (pré-vérification, sauvegarde, pause d’ingestion, exécution, validation, réactivation) pour chaque intervention lourde.
Prêt à administrer vos collections ?
Utilisez l’interface d’administration pour exécuter ces opérations en toute sécurité et consulter l’historique.