S3-Vorfall: Fehlerbehebungen und Rabatte
Gestern Nachmittag hatten wir leider einen Vorfall, der rund 90 Minuten andauerte. Verursacht wurde dieser Vorfall durch einen Fehler, den wir selbst ins System eingebracht haben.
Einige Kunden hatten Schwierigkeiten, Assemblies mit einer großen Anzahl von Dateien (> 100) abzuschließen. Beim Versuch, dies zu beheben, haben wir versehentlich einen Fehler eingeführt, durch den Ergebnisdateien auf S3 von den ursprünglich hochgeladenen Dateien überschrieben wurden. Das ist natürlich sehr schlecht. Unsere Test-Suite hat das nicht erkannt, denn um sie von S3-Aussetzern zu isolieren und schneller laufen zu lassen (mit allen Encoding-Tests dauert ein Durchlauf bereits fast 30 Minuten), haben wir das Senden der Ergebnisdateien an S3 umgangen. Wir hatten zwar separate Testfälle für unsere S3-Integration, doch diese haben das Problem leider nicht aufgedeckt.
Wir haben das Problem in der Produktion bemerkt und innerhalb von 30 Minuten einen Hotfix ausgeliefert. Als der Betrieb wieder normal lief, haben wir jedoch ein weiteres Feature ausgeliefert, das diesen Hotfix nicht enthielt. Dadurch hat uns (oder vielmehr Sie) das Problem erneut getroffen. Es war wohl nicht unser Glückstag.
Wenn Sie von diesem Problem betroffen sind, eröffnen Sie bitte ein Support-Ticket, und wir unterstützen Sie dabei, alle Ihre betroffenen Assemblies erneut auszuführen. Darüber hinaus gewähren wir Ihnen einen Rabatt auf Ihre Februar-Rechnung. Die erforderlichen temporären Dateien bewahren wir eine Woche lang auf (statt der üblichen 24 Stunden).
Abschließend möchten wir uns dafür entschuldigen. Das war ganz allein unser Fehler, und wir bedauern sehr, dass wir nicht den robusten Service liefern konnten, auf den wir sonst stolz sind. Wir haben bereits die notwendigen Schritte unternommen, damit das nie wieder passiert. Von nun an speichert die Test-Suite auch alle Ergebnisdateien auf S3. Das ist vielleicht nicht die sauberste Art, Tests auszuführen, aber so stellen wir sicher, dass unsere Tests der Produktion so nahe wie möglich kommen. Letztlich hat das für uns die höchste Priorität.