Übersicht des neuen Meshes für Freifunk Bielefeld

Die Idee ist geklaut aus Gütersloh.

Grundidee

Grundsätzlich werden nur noch physikalische Maschinen verwendet. Pro physikalischer Maschine gibt es 2-3 Gateway-VMs, die weitgehend so wie bisher aufgesetzt werden. Über einen virtuellen Switch können diese direkt und ohne zusätzliche Tunnel meshen. An dem virtuellen Switch angeschlossen ist auch eine Routing-VM (derzeit ein VyOS). Diese baut Tunnel zum Freifunk Rheinland und zum ICVPN auf und spricht BGP. Die Gateway-VMs bekommen über den internen Switch per OSPF eine Defaultroute. Da das ganze jetzt noch nicht redundant ist, soll das ganze auf einer zweiten physikalischen Maschine nocheinmal aufgebaut werden. Zwischen den VMs gibt es dann ziemlich viele Tunnel, konkret:

Die Gateway-VMs machen kein NAT mehr, das übernimmt die Routing-VM.

Routing-VM

Die Routing-VM ist ein VyOS, allerdings werden damit nicht die Routingprotokolle konfiguriert. Das übernimmt wie bisher bird, weil Quagga kacke ist komische Dinge tut. Sollen die Konfigurationsdateien beim Upgrade übernommen werden, sollten diese in /config/ liegen. Bei bird ist das relativ einfach, in der /etc/bird/bird.conf einfach /config/bird/bird.conf includen und den Rest dort machen. Die Tinc-config muss einmal nach /config/ kopiert werden, sonst ist die futsch.
Für bird und tinc müssen zusätzliche Repos eingebunden werden. Tinc sollte nach der Anleitung von hexa- selbst gebaut werden, weil die 1.1-pre wesentlich stabiler ist.

IPAM

Weil IPs in einem Wiki dokumentieren unpraktisch ist, gibt es jetzt ein IP address management system. Zugang gibts auf Anfrage.
Link

Monitoring

Auf vpn7 läuft ein collectd mit CGP. Man müsste ™ auch mal ein Icinga o.ä. aufsetzen, um ein richtiges Monitoring zu machen.

Crashende Hypervisoren

Sowohl vmhost1 als auch vmhost2 hatten zunächst unerklärliche Kernelpanics in Abständen von Minuten, Stunden oder auch Wochen. Nach Installation von aktuelleren Kernels aus Debian-Backports liefen die Systeme zwar stabil, allerdings waren GRE-Tunnel ziemlich langsam (~400 kbit/s anstatt 250 Mbit/s). Abhilfe schaffte dann der Tipp eines Rheinländers, das Hardware-Offloading der Netzwerkkarte abzuschalten:
ethtool -K eth0 tx off rx off sg off tso off gso off gro off

vmhost1

Kiste bei myloc, 16GB RAM, Quadcore, 2x 2TB HDD

bgp1

vpn7

vpn8

andere VMs

vmhost2

Kiste bei Hetzner, 16GB RAM, Quadcore, 2x 1,5TB HDD

bgp2

vpn1

vpn6

vpn4

noc

aktueller Stand