Expertise Ceph : stockage distribué pour le cloud privé

Ceph est le système de stockage distribué open source qui alimente une grande partie des clouds privés. LaMeDuSe Cloud conçoit, déploie et exploite des clusters Ceph sur sa propre infrastructure : volumes pour machines virtuelles et Kubernetes, système de fichiers partagé et stockage objet compatible S3.

Le problème auquel vous faites face

Les baies de stockage traditionnelles coûtent cher, enferment dans un constructeur et atteignent tôt ou tard leurs limites de capacité. Ceph répond à ces trois problèmes, mais un cluster mal conçu ou mal exploité peut devenir lent, voire perdre en résilience au moment où un disque tombe. Le stockage est la couche où l'on a le moins droit à l'erreur.

Notre réponse

Nous concevons des clusters Ceph adaptés à vos charges : choix du matériel et du réseau, niveau de réplication ou d'erasure coding, domaines de défaillance, classes de stockage NVMe et capacitif. Puis nous les exploitons : supervision fine, remplacement des disques, rééquilibrage, montées de version et tests de résilience réguliers.

Comment fonctionne Ceph

Ceph repose sur RADOS, une couche de stockage d'objets distribuée et autonome. Chaque disque du cluster est géré par un démon OSD (Object Storage Daemon) qui stocke les données, les réplique vers d'autres OSD et participe à la reconstruction en cas de panne. Des moniteurs (MON) maintiennent la carte du cluster et en garantissent la cohérence ; des managers (MGR) collectent les métriques et fournissent les modules d'administration.

La particularité de Ceph est l'algorithme CRUSH : au lieu de consulter un index central pour savoir où se trouve une donnée, chaque client calcule lui-même son emplacement à partir de la carte du cluster. Il n'y a donc pas de point d'engorgement unique, et le cluster peut grandir de quelques serveurs à plusieurs centaines en ajoutant simplement des nœuds.

  • OSD : un démon par disque, qui stocke et réplique les données
  • MON : la carte du cluster et le consensus
  • MGR : métriques, tableau de bord, modules d'orchestration
  • MDS : métadonnées du système de fichiers CephFS
  • RGW : passerelle objet compatible S3

RBD : le stockage bloc

RBD (RADOS Block Device) fournit des disques virtuels découpés en objets répartis sur tout le cluster. C'est le stockage naturel des machines virtuelles OpenStack et Proxmox, et des volumes persistants Kubernetes via le pilote CSI. Chaque volume bénéficie de la performance cumulée de nombreux disques, et de la résilience de la réplication.

RBD gère les instantanés, les clones instantanés (une machine virtuelle démarre en quelques secondes à partir d'une image, sans copie), le redimensionnement à chaud et la réplication asynchrone vers un second cluster pour les plans de reprise d'activité.

CephFS : le système de fichiers partagé

CephFS est un système de fichiers compatible POSIX, monté simultanément par de nombreux serveurs ou pods. Il convient aux répertoires partagés entre plusieurs instances d'une application, aux dépôts de médias, aux données de calcul et aux volumes Kubernetes en lecture-écriture multiple (ReadWriteMany).

Les métadonnées (arborescence, droits, noms de fichiers) sont gérées par des serveurs MDS dédiés, que nous déployons en mode actif et de secours pour éviter toute interruption. Les quotas par répertoire et les instantanés permettent de gérer finement l'espace et de restaurer rapidement un fichier supprimé par erreur.

Stockage objet compatible S3

La passerelle RADOS Gateway expose le cluster via l'API S3, la même que celle utilisée par la plupart des applications modernes, des outils de sauvegarde et des frameworks d'analyse de données. Vous pouvez y stocker sauvegardes, fichiers utilisateurs, journaux ou jeux de données, avec gestion des compartiments, des politiques d'accès, du versionnage et du cycle de vie des objets.

C'est une alternative souveraine aux services de stockage objet des hyperscalers : même API, données hébergées en France, en Allemagne ou en Suisse, et pas de frais de requête à prévoir au cas par cas.

Réplication, erasure coding et domaines de défaillance

Par défaut, nous répliquons chaque donnée en trois exemplaires placés sur trois serveurs différents : le cluster continue de fonctionner normalement même si un serveur entier s'arrête. Pour les données volumineuses et moins sollicitées (archives, sauvegardes, stockage objet), l'erasure coding découpe les données en fragments et ajoute des fragments de parité : la résilience est comparable, pour une consommation d'espace bien moindre.

Les règles CRUSH définissent les domaines de défaillance : disque, serveur, baie ou salle. Nous les configurons pour qu'aucune panne matérielle prévisible (un serveur, une alimentation, un commutateur) ne puisse rendre une donnée indisponible. Le choix entre réplication et erasure coding se fait pool par pool, selon la performance et le coût recherchés.

  • Réplication 3x pour les volumes de production
  • Erasure coding pour l'archive et l'objet
  • Domaines de défaillance par serveur, baie ou salle
  • Pools NVMe et pools capacitifs séparés

Résilience : ce qui se passe quand un disque tombe

Dans un cluster Ceph sain, la panne d'un disque n'a pas d'impact pour vos applications. Le cluster détecte l'OSD défaillant, le marque comme absent, puis reconstruit automatiquement les copies manquantes à partir des autres répliques, en répartissant ce travail sur tous les disques. Nos équipes remplacent ensuite le disque, et le cluster se rééquilibre.

La vraie question est la maîtrise de cette reconstruction : elle ne doit ni durer trop longtemps, ni dégrader les performances au point de gêner la production. Nous dimensionnons le réseau de stockage, réglons la priorité de la reconstruction et gardons une marge de capacité suffisante pour absorber la perte d'un serveur entier. Nous testons ces scénarios avant la mise en production, puis régulièrement.

Architecture et dimensionnement

La performance d'un cluster Ceph dépend autant de son architecture que de ses disques. Nous séparons le réseau public (accès des clients) du réseau de réplication interne, dimensionnons les liens réseau pour que la reconstruction ne sature pas la production, équilibrons le nombre de disques par serveur, et réservons suffisamment de processeur et de mémoire à chaque OSD.

Nous commençons au minimum avec trois serveurs de stockage, puis faisons croître le cluster selon vos besoins. Le déploiement se fait avec cephadm, l'outil d'orchestration officiel, ou avec Rook lorsque Ceph est intégré à un cluster Kubernetes.

Exploitation au quotidien

Nous supervisons l'état de santé du cluster, la latence et le débit de chaque pool, le taux de remplissage, l'état des disques (indicateurs SMART) et la progression des opérations de nettoyage (scrubbing) qui vérifient en continu l'intégrité des données. Les alertes sont prises en charge par notre astreinte 24/7.

Nous appliquons les montées de version de Ceph de façon progressive, démon par démon, sans interruption de service, et planifions l'ajout de capacité suffisamment tôt pour ne jamais dépasser les seuils de remplissage recommandés. Un cluster plein est un cluster fragile : c'est l'une des erreurs les plus fréquentes que nous corrigeons lors de nos audits.

Ce que LaMeDuSe Cloud prend en charge

  • Architecture Ceph : matériel, réseau, domaines de défaillance
  • Stockage bloc RBD pour OpenStack, Proxmox et Kubernetes
  • Système de fichiers partagé CephFS
  • Stockage objet compatible S3 (RADOS Gateway)
  • Réplication ou erasure coding selon les usages
  • Supervision, remplacement de disques et montées de version
  • Sauvegardes et réplication vers un second site
  • Audit et reprise de clusters Ceph existants

Notre méthodologie

  1. 1

    Audit de contexte

    Volumétrie, criticité, contraintes matérielles et objectifs : le contexte dicte l'architecture.

  2. 2

    Architecture adaptée

    Recommandations argumentées, dimensionnées pour vos charges réelles et vos pics.

  3. 3

    Mise en œuvre

    Déploiement par des équipes qui exploitent la même stack sur leur propre production.

  4. 4

    Transmission

    Documentation, formation et transfert de compétences pour votre autonomie.

Technologies

CephRBDCephFSRADOS Gateway (S3)cephadmRookPrometheus & Grafana

Sécurité

Configuration de référence durcie, secrets gérés hors des serveurs, sauvegardes chiffrées et tests de restauration réguliers.

Hébergement & infrastructure

Notre propre production tourne sur ces technologies dans nos datacenters européens : l'expertise est prouvée par l'exploitation.

Maintenance

Suivi des versions, veille de sécurité et support par les équipes qui administrent la même stack au quotidien.

Pourquoi LaMeDuSe Cloud

Ceph est au cœur de notre propre infrastructure : nous l'exploitons au quotidien dans nos datacenters de Paris, Francfort et Zürich pour nos offres de stockage, de cloud privé et de Kubernetes managé. Nos ingénieurs interviennent sur le matériel sous H+2 à H+4, ce qui limite la durée pendant laquelle un cluster fonctionne en mode dégradé.

Questions fréquentes

LaMeDuSe Cloud exploite Ceph au quotidien sur sa propre infrastructure, et peut déployer, auditer ou reprendre l'exploitation de clusters Ceph chez ses clients, avec une supervision 24/7.

Trois serveurs de stockage au minimum pour une réplication en trois exemplaires sur trois machines distinctes. En pratique, nous recommandons souvent davantage de nœuds pour faciliter la reconstruction et la croissance.

Oui, avec un pool sur disques NVMe et un réseau correctement dimensionné. Pour les bases les plus exigeantes en latence, nous pouvons aussi combiner Ceph et des disques NVMe locaux, selon l'architecture de l'application.

RBD fournit des disques virtuels attachés à une machine ou un pod à la fois, idéaux pour les machines virtuelles et les bases de données. CephFS est un système de fichiers partagé, monté simultanément par plusieurs serveurs.

Non. La réplication protège contre les pannes matérielles, pas contre une suppression accidentelle ou un rançongiciel. Nous mettons en place des instantanés et des sauvegardes hors site, sur un autre cluster ou un autre datacenter.

Oui. La RADOS Gateway expose une API compatible S3 : la plupart des applications et outils de sauvegarde fonctionnent sans modification, avec des données hébergées en Europe.