Entschuldigung für Rate-Limiter-Ausfall & umgesetzte Korrekturen

Tim Koschützki

Mitgründer · Berlin, Deutschland · Bio anzeigen

Gestern um 10:49 Uhr hatten wir ein Problem, das 2,7 % unserer Kunden betraf.

Das Problem bestand darin, dass für diese Kunden zwei Stunden lang Assemblies fälschlicherweise mit einem Fehler vom Typ RATE_LIMIT_REACHED abgelehnt wurden.

Verursacht wurde das Problem durch eine kleine Verbesserung (so dachten wir zumindest) an unserem Rate Limiter. Normalerweise hätte unsere Testsuite jedes fehlerhafte Verhalten erkennen müssen, bevor es in die Produktion gelangt, doch dies war ein Sonderfall, den wir in unseren Tests nicht abgedeckt hatten, und so gelangte das Problem am Ende doch in die Produktion.

Selbstverständlich tut uns das sehr leid.

Sobald wir darüber informiert wurden, haben wir die folgenden Schritte unternommen, damit sich das nie wiederholen kann:

1. Wir haben die kontobasierten Rate Limits aller betroffenen Konten als Hotfix auf 50.000 angehoben, um zu verhindern, dass weitere Assemblies abgelehnt werden.

2. Wir haben den Fehler im Rate Limiter behoben und die Korrektur innerhalb von dreißig Minuten nach der Meldung ausgeliefert.

3. Wir haben unsere automatisierten Tests verbessert, damit fehlerhaftes Verhalten künftig nicht mehr in die Produktion gelangen kann.

4. Wir haben unser Monitoring dafür verbessert, sodass wir einen automatischen Anruf erhalten, sobald zwei oder mehr Kunden gleichzeitig vom Rate Limiting betroffen sind. Sollte dies also wider Erwarten noch einmal vorkommen, erfahren wir es vor allen anderen und können es frühzeitig beheben.

Wir haben allen betroffenen Kunden eine persönliche E-Mail geschickt, um sie über dieses Problem zu informieren. Außerdem haben wir für alle betroffenen Kunden einen Rabatt von 25 % auf die kommenden Rechnungen gewährt.

Es tut uns sehr leid, dass dies passiert ist, und wir sind überzeugt, die notwendigen Schritte unternommen zu haben, damit sich so etwas nie wiederholt.