Julian Boldt
a9f562eec6
Release / verify (push) Canceled after 0s
CI / checks (push) Canceled after 0s
CI / frontend (push) Canceled after 0s
CI / backend (push) Canceled after 0s
Release / test (push) Canceled after 0s
Release / publish (backend) (push) Canceled after 0s
Release / publish (frontend) (push) Canceled after 0s
Release / publish (proxy) (push) Canceled after 0s
Release / publish (updater) (push) Canceled after 0s
Geplant als MINOR-Release **1.25.0** (Flotten-Rollout). - **Rollouts in Wellen (System › Rollouts):** Firmware-Updates für die ganze Flotte in Ringen, z. B. erst `ring-canary`, dann `ring-pilot`, dann `ring-prod` (Wellen aus Gerätegruppen). Jeder Host läuft über die bestehende geplante Wartung (Backup vor dem Update, CARP-Übergabe für den MASTER, Audit), immer nur ein Host gleichzeitig und nur ein Rollout zur selben Zeit; im Cluster zuerst der BACKUP, dann der MASTER. Nach jeder Welle folgen eine Beobachtungszeit und eine **Gesundheitsprüfung** (erreichbar, Zielversion installiert, CARP je VHID, Gateways und Dienste wie vorher, keine offenen Sperren, optional Sicherheits-Score). Rot hält den Rollout an (nach einer Nachprüfung zwei Minuten später) und meldet sich. Anhalten, Fortsetzen (prüft zuerst alles bisher Aktualisierte erneut), Welle freigeben, Host überspringen und Abbrechen auf der Lauf-Seite; die Seite zeigt Wellen, Hosts (Version vorher → nachher, aktueller Schritt) und die Prüfmatrix. - **Sicherheitsnetz:** Weicht die angebotene Version in einem späteren Ring von der des ersten Rings ab, hält der Rollout an (OPNsense installiert immer die neueste). Ein Host ohne Update wird übersprungen, ein fehlgeschlagener nie von selbst wiederholt. Angehalten wird auch, wenn die verantwortliche Person das Recht zum Ausrollen verliert, eine fremde Wartung im Cluster länger als 15 Minuten offen ist, der MASTER ohne Übergabe dran wäre oder ein Lauf älter als 14 Tage ist. Höchstens 10 Wellen und 100 Hosts je Plan. - **Wiederkehrende Wartungsfenster:** wöchentlich oder monatlich (n-ter Wochentag, letzter, fester Tag) in einer Zeitzone, mit Sommerzeit-Regel, Abschneidezeit („neue Hosts nur in den ersten N Minuten“) und einzelnen Terminen zum Auslassen oder Verschieben. Ein Plan mit Fenster startet neue Hosts nur darin; mit **automatischem Start** (nur stabile Updates) beginnt er zu jedem Termin von selbst, aber nur, solange Plan, Gruppen und Fenster seit der Aktivierung unverändert sind. Jede Änderung deaktiviert ihn. - **Geplante Wartung prüft sich selbst:** Neue Option „Ergebnis automatisch prüfen und abschließen“ (im Dialog vorausgewählt, bei Rollouts immer an). Nach dem Auftrag prüft OPNexus, ob die Firmware wieder bereit ist, der erwartete Neustart stattfand und die Version lesbar ist, und schließt die Wartung dann selbst ab. Bisher blieb sie auf „übergeben“ und sperrte Host und Cluster, bis jemand sie von Hand abschloss. - **Benachrichtigungen:** „Rollout angehalten“ und „Rollout nicht automatisch gestartet“ (ein Schalter, standardmäßig an). - **Rechte:** Rollout starten/aktivieren/fortsetzen/freigeben/überspringen/abbrechen und Wartungsfenster ändern gelten als Ausrollen (Aufgabentrennung); **Anhalten** darf jeder mit Schreibrecht. Update Center: Hosts im laufenden Rollout sind für manuelle Firmware-Aktionen gesperrt. Ein OPNexus-Update während eines Rollouts ist sicher, wird aber angekündigt. - **Getestet:** live auf den Test-Firewalls (OPNsense 26.7): automatischer Start im Fenster, Canary-Update 26.7.1_1 → 26.7.7, absichtlich gestoppter Dienst → Gate rot → angehalten (zweiter Ring unberührt, Benachrichtigung), Fortsetzen, Pilot-Update 26.7.6 → 26.7.7 auf dem damaligen MASTER mit CARP-Übergabe und einem Neustart des OPNexus-Backends mitten im Auftrag (genau ein Update-Auftrag), Freigabe, Host ohne Update übersprungen, Anhalten/Fortsetzen/Abbrechen von Hand, Termin auslassen. **Nur gemockt:** Major-Upgrade als Rollout, ein Cluster in *einer* Welle, Cluster-Prüfung vor dem zweiten Knoten, abweichende Zielversion, Zeitüberschreitungen, Rechteverlust, Fenster schließt mitten im Lauf; die Sommerzeit-Regeln sind Rechentests.
137 lines
8.8 KiB
Python
137 lines
8.8 KiB
Python
"""Delivery config (singleton row) and open/resolved problem tracking for
|
|
the notification feature. Secrets (SMTP password, webhook signing secret)
|
|
never live here — see services/notification_secret_store.py, mirroring how
|
|
OPNsense API secrets stay off the database entirely.
|
|
"""
|
|
import uuid
|
|
from datetime import datetime, timezone
|
|
|
|
from sqlalchemy import JSON, Boolean, DateTime, Float, Integer, String, UniqueConstraint
|
|
from sqlalchemy.dialects.postgresql import UUID as PGUUID
|
|
from sqlalchemy.orm import Mapped, mapped_column
|
|
|
|
from app.database import Base
|
|
|
|
|
|
def _now() -> datetime:
|
|
return datetime.now(timezone.utc)
|
|
|
|
|
|
DEFAULT_SERVICE_WATCHLIST = (
|
|
"unbound", "dnsmasq", "dhcpd", "dhcpd6", "kea-dhcp4", "kea-dhcp6", "ntpd", "openvpn", "wireguard", "strongswan",
|
|
)
|
|
|
|
CHANNEL_TYPES = ("ntfy", "gotify", "telegram", "teams", "matrix")
|
|
|
|
|
|
class NotificationSettings(Base):
|
|
"""Single row, id fixed at 1 — see notification_settings_service.get_settings
|
|
for the get-or-create helper. The only admin-editable operational config
|
|
in the codebase today; everywhere else config is env-var only, but this
|
|
feature is meant for future non-technical users without compose access."""
|
|
|
|
__tablename__ = "notification_settings"
|
|
|
|
id: Mapped[int] = mapped_column(Integer, primary_key=True)
|
|
|
|
webhook_enabled: Mapped[bool] = mapped_column(Boolean, default=False)
|
|
webhook_url: Mapped[str | None] = mapped_column(String(500), nullable=True)
|
|
webhook_signing_secret_set: Mapped[bool] = mapped_column(Boolean, default=False)
|
|
|
|
email_enabled: Mapped[bool] = mapped_column(Boolean, default=False)
|
|
smtp_host: Mapped[str | None] = mapped_column(String(255), nullable=True)
|
|
smtp_port: Mapped[int] = mapped_column(Integer, default=587)
|
|
# "none" | "starttls" | "ssl"
|
|
smtp_security: Mapped[str] = mapped_column(String(10), default="starttls")
|
|
smtp_username: Mapped[str | None] = mapped_column(String(255), nullable=True)
|
|
smtp_password_set: Mapped[bool] = mapped_column(Boolean, default=False)
|
|
smtp_from_address: Mapped[str | None] = mapped_column(String(255), nullable=True)
|
|
smtp_to_addresses: Mapped[list] = mapped_column(JSON, default=list)
|
|
|
|
host_offline_enabled: Mapped[bool] = mapped_column(Boolean, default=True)
|
|
cert_expiring_enabled: Mapped[bool] = mapped_column(Boolean, default=True)
|
|
rule_drift_enabled: Mapped[bool] = mapped_column(Boolean, default=True)
|
|
revert_failed_enabled: Mapped[bool] = mapped_column(Boolean, default=True)
|
|
maintenance_unknown_enabled: Mapped[bool] = mapped_column(Boolean, default=True)
|
|
carp_health_enabled: Mapped[bool] = mapped_column(Boolean, nullable=False, default=True, server_default="true")
|
|
nat_drift_enabled: Mapped[bool] = mapped_column(Boolean, nullable=False, default=True, server_default="true")
|
|
network_drift_enabled: Mapped[bool] = mapped_column(Boolean, nullable=False, default=True, server_default="true")
|
|
carp_auto_revert_failed_enabled: Mapped[bool] = mapped_column(Boolean, nullable=False, default=True, server_default="true")
|
|
scheduled_maintenance_failed_enabled: Mapped[bool] = mapped_column(Boolean, nullable=False, default=True, server_default="true")
|
|
backup_failed_enabled: Mapped[bool] = mapped_column(Boolean, nullable=False, default=True, server_default="true")
|
|
# Off by default: switching it on for an existing fleet reports every long-standing finding at once.
|
|
compliance_alerts_enabled: Mapped[bool] = mapped_column(Boolean, nullable=False, default=False, server_default="false")
|
|
|
|
# Monitoring alerts (1.24). The gateway alert is on by default (a WAN outage is the one thing every
|
|
# operator wants to hear about); resource thresholds and service checks are off, like compliance alerts:
|
|
# switching them on for an existing fleet may report long-standing conditions all at once.
|
|
gateway_down_enabled: Mapped[bool] = mapped_column(Boolean, nullable=False, default=True, server_default="true")
|
|
resource_threshold_enabled: Mapped[bool] = mapped_column(Boolean, nullable=False, default=False, server_default="false")
|
|
service_down_enabled: Mapped[bool] = mapped_column(Boolean, nullable=False, default=False, server_default="false")
|
|
# Rollouts (1.25): a run paused (gate, failure, window...) or an automatic start did not happen.
|
|
rollout_problems_enabled: Mapped[bool] = mapped_column(Boolean, nullable=False, default=True, server_default="true")
|
|
# Gateway: OPNsense' own verdict (down / loss / delay) decides "offline"; these two add an
|
|
# OPNexus threshold on the measured values (0 = off).
|
|
gateway_loss_threshold_pct: Mapped[int] = mapped_column(Integer, nullable=False, default=20, server_default="20")
|
|
gateway_delay_threshold_ms: Mapped[int] = mapped_column(Integer, nullable=False, default=500, server_default="500")
|
|
# Resources (0 = that threshold is off). Load is per CPU thread.
|
|
disk_threshold_pct: Mapped[int] = mapped_column(Integer, nullable=False, default=90, server_default="90")
|
|
memory_threshold_pct: Mapped[int] = mapped_column(Integer, nullable=False, default=95, server_default="95")
|
|
swap_threshold_pct: Mapped[int] = mapped_column(Integer, nullable=False, default=50, server_default="50")
|
|
load_per_cpu_threshold: Mapped[float] = mapped_column(Float, nullable=False, default=2.0, server_default="2.0")
|
|
# Debouncing: consecutive 60 s resource samples that must agree before a problem opens or closes.
|
|
alert_confirm_samples: Mapped[int] = mapped_column(Integer, nullable=False, default=3, server_default="3")
|
|
resource_confirm_samples: Mapped[int] = mapped_column(Integer, nullable=False, default=5, server_default="5")
|
|
# OPNsense service names that are reported when they stop (the API cannot tell a crash from a stop on purpose).
|
|
# NULL = the default list (an old row never got one).
|
|
service_watchlist: Mapped[list | None] = mapped_column(JSON, nullable=True, default=lambda: list(DEFAULT_SERVICE_WATCHLIST))
|
|
|
|
poll_interval_seconds: Mapped[int] = mapped_column(Integer, default=300)
|
|
updated_at: Mapped[datetime] = mapped_column(DateTime(timezone=True), default=_now, onupdate=_now)
|
|
|
|
|
|
class NotificationProblem(Base):
|
|
"""Open/resolved state per detected problem, keyed by (problem_type,
|
|
dedup_key) so a still-open problem is never re-notified every poll —
|
|
only transitions (newly open, newly resolved) trigger delivery.
|
|
|
|
Delivery is best-effort, not an audit trail: last_notified_at/
|
|
resolved_notified_at are set once per transition and never retried.
|
|
audit_events remains the real immutable record for deploy actions;
|
|
this table is a convenience signal layered on top, not a new source
|
|
of truth.
|
|
"""
|
|
|
|
__tablename__ = "notification_problems"
|
|
__table_args__ = (UniqueConstraint("problem_type", "dedup_key", name="uq_notification_problem_key"),)
|
|
|
|
id: Mapped[uuid.UUID] = mapped_column(PGUUID(as_uuid=True), primary_key=True, default=uuid.uuid4)
|
|
# host_offline | cert_expiry | rule_drift | revert_failed | maintenance_unknown | ... (see ProblemType)
|
|
problem_type: Mapped[str] = mapped_column(String(32))
|
|
dedup_key: Mapped[str] = mapped_column(String(300))
|
|
status: Mapped[str] = mapped_column(String(16), default="open") # open | resolved
|
|
context: Mapped[dict] = mapped_column(JSON, default=dict)
|
|
first_detected_at: Mapped[datetime] = mapped_column(DateTime(timezone=True), default=_now)
|
|
last_seen_at: Mapped[datetime] = mapped_column(DateTime(timezone=True), default=_now)
|
|
resolved_at: Mapped[datetime | None] = mapped_column(DateTime(timezone=True), nullable=True)
|
|
last_notified_at: Mapped[datetime | None] = mapped_column(DateTime(timezone=True), nullable=True)
|
|
resolved_notified_at: Mapped[datetime | None] = mapped_column(DateTime(timezone=True), nullable=True)
|
|
|
|
|
|
class NotificationChannel(Base):
|
|
"""An additional delivery channel (ntfy, Gotify, Telegram, Microsoft Teams, Matrix) next to the SMTP
|
|
and generic-webhook settings above. Several channels of one type are allowed. ``config`` holds only
|
|
non-secret parameters (server URL, topic, chat id, room id); the credential — token, or the whole
|
|
webhook URL for Teams — lives in notification_secret_store under ``channel_<id>``, never here."""
|
|
|
|
__tablename__ = "notification_channels"
|
|
|
|
id: Mapped[uuid.UUID] = mapped_column(PGUUID(as_uuid=True), primary_key=True, default=uuid.uuid4)
|
|
name: Mapped[str] = mapped_column(String(100), unique=True)
|
|
channel_type: Mapped[str] = mapped_column(String(16))
|
|
enabled: Mapped[bool] = mapped_column(Boolean, nullable=False, default=True, server_default="true")
|
|
config: Mapped[dict] = mapped_column(JSON, nullable=False, default=dict)
|
|
secret_set: Mapped[bool] = mapped_column(Boolean, nullable=False, default=False, server_default="false")
|
|
created_at: Mapped[datetime] = mapped_column(DateTime(timezone=True), default=_now)
|
|
updated_at: Mapped[datetime] = mapped_column(DateTime(timezone=True), default=_now, onupdate=_now)
|