Ceph Storage einrichten: So planst du einen Cluster, der deine Virtualisierung trägt

# Zeitsynchronisation: Monitore verlieren bei Drift das Quorum
chronyc sources -v
chronyc tracking | grep -E 'System time|Last offset'

# MTU wirklich messen, nicht nur konfigurieren (9000 minus 28 Byte Overhead)
ping -M do -s 8972 -c 3 10.10.20.12

# Datenträger müssen roh sein: keine Partition, keine Signatur, kein LVM
lsblk -o NAME,SIZE,ROTA,TYPE,MOUNTPOINT,FSTYPE
sudo wipefs -a /dev/sdb        # entfernt Signaturen, die Daten sind danach weg

# Auf dem ersten Knoten: öffentliches Netz und Cluster-Netz trennen
sudo cephadm bootstrap --mon-ip 10.10.10.11 \
  --cluster-network 10.10.20.0/24

# Öffentlichen Schlüssel verteilen, dann die weiteren Knoten aufnehmen
sudo ceph cephadm get-pub-key > /tmp/ceph.pub
ssh-copy-id -f -i /tmp/ceph.pub root@ceph02
sudo ceph orch host add ceph02 10.10.10.12

# Monitore auf genau drei Knoten festnageln statt dem Zufall überlassen
sudo ceph orch host label add ceph01 mon
sudo ceph orch host label add ceph02 mon
sudo ceph orch host label add ceph03 mon
sudo ceph orch apply mon --placement="label:mon"

sudo ceph -s
sudo ceph orch ls

# Welche Datenträger akzeptiert der Orchestrator?
sudo ceph orch device ls --wide

# Gezielt statt pauschal: Daten auf HDD, DB auf NVMe
sudo ceph orch daemon add osd \
  ceph02:data_devices=/dev/sdb,db_devices=/dev/nvme0n1

# Ergebnis prüfen: Baum, Geräteklassen, Auslastung je OSD
sudo ceph osd tree
sudo ceph osd df tree
sudo ceph osd crush class ls

# Buckets anlegen und Hosts einsortieren
sudo ceph osd crush add-bucket rack1 rack
sudo ceph osd crush move rack1 root=default
sudo ceph osd crush move ceph01 rack=rack1

# Regel mit Ausfalldomäne rack, danach den Pool darauf legen
sudo ceph osd crush rule create-replicated rack-rule default rack
sudo ceph osd pool set vmdaten crush_rule rack-rule

# Kontrolle: bleiben alle Placement Groups active+clean?
sudo ceph -s
sudo ceph pg dump_stuck

sudo ceph osd pool create vmdaten
sudo ceph osd pool application enable vmdaten rbd
sudo rbd pool init vmdaten

sudo ceph osd pool set vmdaten size 3
sudo ceph osd pool set vmdaten min_size 2

# Autoscaler arbeiten lassen, aber die Erwartung mitgeben
sudo ceph osd pool set vmdaten pg_autoscale_mode on
sudo ceph osd pool set vmdaten target_size_ratio 0.8
sudo ceph osd pool autoscale-status
sudo ceph df

# 1. Netz: auf ceph01 als Server, von den anderen Knoten als Client
iperf3 -s
iperf3 -c 10.10.20.11 -P 4 -t 30

# 2. Cluster: Durchsatz schreiben und lesen, danach aufräumen
sudo ceph osd pool create testpool
sudo rados bench -p testpool 60 write --no-cleanup
sudo rados bench -p testpool 60 seq
sudo rados -p testpool cleanup

# 3. Einzelne OSDs vergleichen, Ausreißer fallen sofort auf
sudo ceph tell osd.* bench

# 4. Client-Sicht: die Zahl, die virtuelle Maschinen tatsächlich spüren
sudo rbd bench --io-type write --io-size 4K --io-pattern rand \
  --io-total 1G vmdaten/testimage

# Wartung an einem Knoten: Umverteilung aussetzen, sonst wandern Daten grundlos
sudo ceph osd set noout
sudo ceph osd set norebalance
# ... Reboot, Firmware, Plattentausch ...
sudo ceph osd unset norebalance
sudo ceph osd unset noout

# Was ist wirklich kaputt?
sudo ceph health detail
sudo ceph osd tree down
sudo ceph pg dump_stuck inactive

# Datenträger im Betrieb tauschen
sudo ceph orch osd rm 7 --replace
sudo ceph orch device zap ceph02 /dev/sdb --force

# Version wechseln, cephadm macht es rollierend
sudo ceph orch upgrade start --ceph-version <zielversion>