• http://wiki.centos.org/HowTos/Ha-Drbd

• DRBD pour le mirroring

• HeartBeat pour la continuité de service

• Mon pour le monitoring

• Synchronisation des fichiers de configuration système

Généralités

Configuration matérielle

• 2 serveurs (identiques de préférence)

• 2 disques (ou 2 partitions) dédiés au mirroring

Continuité de service

• samba

• mysql

• http

• ftp

• postfix / sendmail

Services mis en oeuvre

• DRBD pour le mirroring

• HeartBeat pour la continuité de service

• Mon pour le monitoring

• Synchronisation des fichiers de configuration système

Continuité de service : créer un cluster de machines avec Heartbeat et DRBD

Sources

• http://doc.ubuntu-fr.org/tutoriel/mirroring_sur_deux_serveurs#configuration_et_mise_en_place_de_drbd

• http://www.pc-fute.com/materiel/guides-clustering-linux-avec-postfix-et-debian,152.html

Généralités

Configuration matérielle

• 2 serveurs (identiques de préférence)

• 2 disques (ou 2 partitions) dédiés au mirroring

Continuité de service

• samba

• mysql

• http

• ftp

• postfix / sendmail

Services mis en oeuvre

• DRBD pour le mirroring

• Heartbeat pour la continuité de service

• Mon pour le monitoring

Sommaire

• Généralités?

• DRBD

• HeartBeat

• Mon

• Synchronisation des fichiers de configuration système

Mirroring avec DRBD (RAID 1 Over IP)

Configurer DRBD

global {
    usage-count no;
}

common {

  protocol C;

  handlers {
    out-of-sync "echo Désynchronisation des serveurs, vérifier les logs | mail -s '[DRBD alert] out-of-sync' user@domain.fr";
    pri-on-incon-degr   "echo o > /proc/sysrq-trigger ; halt -f";    # This handler is called if the node is primary, degraded and if the local copy of the data is inconsistent.
    pri-lost-after-sb   "echo o > /proc/sysrq-trigger ; halt -f";    # The node is currently primary, but lost the after split brain auto recovery procedure. As as consequence, it should be abandoned.
    local-io-error      "echo o > /proc/sysrq-trigger ; halt -f";    # DRBD got an IO error from the local IO subsystem.
    outdate-peer        "/usr/sbin/drbd-peer-outdater";              # This handler is called in case the node needs to outdate the peer’s disk.
  }

  syncer {
    rate        10M;   # Débit de la synchronisation
    al-extents  257;
  }
}

resource r0 {

  startup {
    wfc-timeout 120;
    degr-wfc-timeout 60;
  }

  disk {
    on-io-error detach;
  }

  on server1 {
     device     /dev/drbd0;
     disk       /dev/sdb1;
     address    192.168.0.11:7791;
     meta-disk  internal;
  }

  on server2 {
     device     /dev/drbd0;
     disk       /dev/sdb1;
     address    192.168.0.12:7791;
     meta-disk  internal;
  }
}

-A RH-Firewall-1-INPUT -m udp -p udp --dport 7791 -j ACCEPT
-A RH-Firewall-1-INPUT -m tcp -p tcp --dport 7791 -j ACCEPT

Initialisation des meta-data sur la ressource r0

• ¹² : action à réaliser sur les 2 serveurs

• ¹ : action à réaliser sur le serveur 1

• ² : action à réaliser sur le serveur 2

Formatage des disques ¹²

Création des meta-data ¹²

Consulter l'état des ressources DRBD ¹²

version: 8.0.6 (api:86/proto:86)
SVN Revision: 3048 build by buildsvn@c5-x8664-build, 2007-12-08 01:01:10
 0: cs:Connected st:Secondary/Secondary ds:Inconsistent/Inconsistent C r---
    ns:0 nr:0 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0
	resync: used:0/31 hits:0 misses:0 starving:0 dirty:0 changed:0
	act_log: used:0/257 hits:0 misses:0 starving:0 dirty:0 changed:0

Synchronisation sur le primaire vers le secondaire ¹

Visualisation de la progression de la synchronisation ¹

version: 8.0.6 (api:86/proto:86)
SVN Revision: 3048 build by buildsvn@c5-x8664-build, 2007-12-08 01:01:10
 0: cs:SyncSource st:Primary/Secondary ds:UpToDate/Inconsistent C r---
    ns:152628 nr:0 dw:0 dr:159744 al:0 bm:8 lo:16 pe:261 ua:238 ap:0
	[>...................] sync'ed:  0.2% (76149/76290)M
	finish: 0:18:00 speed: 72,144 (72,144) K/sec
	resync: used:1/31 hits:9506 misses:10 starving:0 dirty:0 changed:10
	act_log: used:0/257 hits:0 misses:0 starving:0 dirty:0 changed:0

Résultat de la synchronisation

[...] 0: cs:Connected st:Primary/Secondary ds:UpToDate/UpToDate C r--- [...]

[...] 0: cs:Connected st:Secondary/Primary ds:UpToDate/UpToDate C r--- [...]

Important

Conclusion

Simulation de crash du primary

[...] 0: cs:WFConnection st:Primary/Unknown ds:UpToDate/DUnknown C r--- [...]

[...] 0: cs:Connected st:Secondary/Secondary ds:UpToDate/UpToDate C r--- [...]

[...] 0: cs:Connected st:Primary/Secondary ds:UpToDate/UpToDate C r--- [...]

Simulation d'une coupure réseau

[...] 0: cs:WFConnection st:Secondary/Unknown ds:UpToDate/DUnknown C r--- [...]

[...] 0: cs:Connected st:Secondary/Primary ds:UpToDate/UpToDate C r--- [...]

Simulation d'un reboot du primary

[...] 0: cs:Connected st:Primary/Secondary ds:UpToDate/UpToDate C r--- [...]

Basculer les services avec Heartbeat

Configuration

Fichier /etc/ha.d/ha.cf

# interface pour le heartbeat
bcast eth0

# délai entre deux battements de pouls
keepalive 2

# Temps d'attente avant de passer sur le deuxieme
deadtime 10

# Temps avant de diffuser un avertissement pour les pouls en retard
warntime 6

# deadtime spécifique pour les configurations ou le réseau est lent
initdead 60

# port de prise de pouls
udpport 694

# Identification des noeuds du cluster
node server1
node server2

# On interdit le rebasculement automatique vers le maitre lorsque celui-ci redeviendra UP
auto_failback off

# utilisation du démon logd
use_logd yes

-A RH-Firewall-1-INPUT -p udp -m udp --dport 694 -j ACCEPT 

Fichier /etc/ha.d/haresource

server1 IPaddr::192.168.0.50 drbddisk::r0 Filesystem::/dev/drbd0::/mnt/mirroir::ext3::defaults httpd mysqld smb cups

• 192.168.0.50 est l'adresse IP attribuée du cluster, visible normalement en tapant la commande ifconfig (si heartbeat tourne)

• en utilisant cette adresse IP vous tomberez soit sur le serveur 1, soit sur le backup si le sertveur 1 est down.

• on demande d'abord à HeartBeat de monter automatiquement le répertoire synchonisé par DRBD (/mnt/mirroir)

• on demande à HeartBeat de démarrer les services suivants sur le backup ² : http, mysql, samba et cups.

• les fichiers de configuration de ces services devront bien sûr être synchronisés entre les 2 machines (cf. bas de cette page) et les données qu'ils utiliseront devront être situés de préférence dans le répertoire /mnt/mirroir pour qu'elles soient toujours à jour.

• Pour ajouter un mail d'alerte lors du basculement, voir du côté du script Perl MailTo::user@domain.fr::"[server1] Heartbeat alert !".

• Le fichier /etc/haressource est très bien commenté vous devriez y trouver votre bonheur.

Fichiers à personnaliser après un clonage

• /var/lib/heartbeat/hb_uuid (supprimer ce fichier sur l'un des 2 serveurs après clonage, il sera généré au prochain démarrage de heartbeat)

• /etc/udev/rules.d/70-persistent-net.rules (pour faire en sorte que l'interface Ethernet eth0 soit utilisable)

Redémarrage de Heartbeat

Tests

Basculer sur le serveur 2

Troubleshooting

Gestion manuelle des services

• on arrête toujours HeartBeat avant DRBD

• on arrête toujours le service du secondaire avant celui du primaire

• soit :

• reprendre les commandes dans le sens inverse pour redémarrer les services (en remplaçant le stop par le start).

Split-brain

Statut de DRBD

Résolution

Problème de reconnaissance des machines entre-elles

Statut de DRBD sur les serveurs :

Résolution du problème

Synchronisation forcée

• pour invalider la ressource r0 sur le serveur courant : # drbdadm invalidate r0

• pour invalider la ressource r0 sur le serveur distant : # drbdadm invalidate-remote r0

Le monitoring avec Mon

• tester que certains services sont bien up

• sinon essayer de les redémarrer

• si il rencontre des problèmes pour redémarrer un / des services il va nous prévenir

Synchonisation des fichiers de configuration du système

Liste de fichiers à sauvegarder / synchroniser

# ===============================================================================================
# Liste des fichiers à sauvegarder
# ===============================================================================================
#
# Chaque ligne prend le format suivant : ''fichier=politique''.
#
# Chaque fichier sera sauvegardé dans un répertoire ./rep-sauvegarde/''hostname''-''politique''/ 
# par le script de backup.
# 
# En cas de modification d'un des fichiers à sauvegarder et de relance de la sauvegarde, 
# l'ancienne version du fichier est backupée dans le répertoire suivant :
# ./rep-sauvegarde/''hostname''-''politique''/''YmdHMS''_backup/
#
# NB : pas de commentaire sur les lignes à traiter (fichier lu par un script shell minimaliste)
# ===============================================================================================

# SYSTEM
/etc/resolv.conf=fix
/etc/group=fix
/etc/passwd=fix
/etc/shadow=fix
/etc/gshadow=fix
/etc/syslog.conf=fix
/etc/profile=fix

# SYSTEM (à personnaliser)
/etc/hosts=var
/etc/fstab=var
/etc/hostname=var

# DRBD
/etc/drbd.conf=fix

# HEARTBEAT
/etc/ha.d/authkeys=fix
/etc/ha.d/ha.cf=fix
/etc/ha.d/haresources=fix
/etc/ha.d/ha-logd.cf=fix

# MON
/etc/mon/auth.cf=fix
/etc/mon/mon.cf=fix
/etc/mon/userfile=fix

# APACHE
/etc/apache2/httpd.conf=fix

# SAMBA
/etc/samba/smb.conf=fix
/etc/samba/smbusers=fix
/etc/samba/passdb.tdb=fix
/etc/samba/secrets.tdb=fix
/etc/samba/account_policy.tdb=fix
/etc/samba/group_mapping.ldb=fix
/etc/samba/ntdrivers.tdb=fix
/etc/samba/ntforms.tdb=fix

# SSHD
/etc/ssh/ssh_config=fix
/etc/ssh/sshd_config=fix

# MYSQL
/etc/my.cnf=fix

# NFS
/etc/exports=fix
/etc/hosts.deny=fix
/etc/hosts.allow=fix

Script de sauvegarde

#!/bin/sh
# ===============================================================
# Script de sauvegarde des fichiers de configuration du serveur
# ===============================================================

FILECONFIG="configfiles_list.txt"
DESTDIR="./configfiles"
BACKDIR=`date +%Y%m%d%H%M%S`"_backup"

function createdir {
	if [ ! -d $1 ]
	then
        	mkdir -p $1
	fi
}

createdir ${DESTDIR}

# on récupère directement la liste des fichiers à copier
for line in `egrep -v '(^[[:space:]]*#|^[[:space:]]*$)' ${FILECONFIG}`
do
	file=`echo $line | awk -F"=" '{print $1}'`
	traitement=`echo $line | awk -F"=" '{print $2}'`
	rep=${DESTDIR}/`hostname -s`-${traitement}
	createdir ${rep}
	echo "Copie de ${file} vers ${rep}."
	rsync -avz --backup --backup-dir=${BACKDIR} ${file} ${rep}
done

Script de synchronisation