Monitoring en beheer

Opmerking toevoegen

Je kunt opmerkingen plaatsen via Opmerking toevoegen aan de rechterkant van de pagina.

Doel

In één oogopslag zien hoe de vacaturepijplijn ervoor staat, snel ingrijpen wanneer een bron stilvalt of vervuilt, en duidelijk regelen waar bugs en signalen heen gaan. Deze pagina beschrijft de schermen die we gebruiken, de signalen die we volgen, en de paden voor incidenten en verbeteringen.

Schermen in de ops-console

flowchart LR
  subgraph OC["ops.dppapi.nl"]
    S[/sources]
    SC[/scrapers]
    W[/watchers]
    R[/rules]
  end

  S -. "API-poll bronnen + cadens + laatste run" .-> O[Operatie]
  SC -. "n8n runs + foutratio + duur" .-> O
  W -. "Cheap-signal probes + flips" .-> O
  R -. "Pilots, killswitches, intake regels" .-> O

Welke pagina waarvoor

Pagina	Wat je ziet	Wanneer kijk je hier
/sources	API-poll bronnen, cadens, laatste run, succesratio en tijd-tot-laatste-rij.	Dagelijks ochtendcheck; bij vermoeden dat een API-bron achterloopt.
/scrapers	n8n workflows met foutratio, duur en items per run; per platform een tabblad.	Wanneer een opportunity ontbreekt of bij een twee-keer-achter-elkaar-failure incident.
/watchers	Cheap-signal en fast-watch watchers naast elkaar met status (Healthy/Warning/Error/Off-hours), laatste probe, fingerprint en triggergeschiedenis.	Wanneer een snel-detectie bron achterblijft of de oncall een waarschuwing krijgt.
/rules	Pilots, killswitches en regels voor intake. Een schakelaar per item.	Bij het uitrollen van een nieuwe bron of het noodzakelijk dichtzetten van een bestaande.

Signalen die er toe doen

Source achterloopt

Op /sources zie je tijd-sinds-laatste-rij oplopen voorbij de cadens. Eerst checken of de bron zelf bereikbaar is; daarna of de daemon draait. Bij twijfel: bug melden.

Scraper twee runs achter elkaar gefaald

Op /scrapers staat de rij twee keer rood. Automatische escalatie naar oncall start; de runbook van het platform bepaalt de eerste-respons stap.

Watcher in error

Op /watchers blijft last_status=error en consecutive_errors loopt op. Vaak een korte verstoring bij de bron; bij > 5 minuten doorlopend: killswitch overwegen via WATCHER_DISABLED.

Onverwachte stilte tijdens werkuren

Geen probes, geen runs, geen flips terwijl het wel werktijd is. Eerst host checken (main-01 healthcheck), daarna individuele containers; vaak een geforceerde restart na een netwerkblip.

Wat je zelf kunt zonder engineering

Bron tijdelijk dichtzetten via /rules → killswitch. Direct effect, omkeerbaar binnen seconden.
Pilot starten of stoppen voor één bron via /rules → pilot-toggle.
Een handmatige run aanvragen voor een API-bron via de poll-knop op /sources (komt overeen met een trigger-call).
Een bug melden via het bugformulier met titelprefix [SCRAPER] of [WATCHER]; de microfoonknop is vaak sneller dan typen.

Niet zelf de container restarten of de scraper-config bewerken. Dat valt onder beheerautomatisering en gebeurt via een runbook. Met een goede bug-melding zit het meestal binnen het uur weer goed.