Disculpas por la caída del Rate Limiter y correcciones aplicadas
Ayer, a las 10:49 a. m., tuvimos un problema que afectó al 2,7 % de nuestros clientes.
El problema fue que, para estos clientes, las Assemblies se rechazaban erróneamente con un error
RATE_LIMIT_REACHED durante un periodo de dos horas.
El problema lo causó una pequeña mejora (o eso creíamos) de nuestro Rate Limiter. Normalmente, nuestra suite de pruebas debería haber detectado cualquier comportamiento no válido antes de llegar a producción, pero se trataba de un caso límite que no cubríamos en nuestras pruebas y, por tanto, el problema llegó a producción.
No hace falta decir que lamentamos mucho lo ocurrido.
En cuanto se nos notificó, tomamos las siguientes medidas para asegurar que esto no pueda volver a ocurrir nunca:
-
Hemos elevado a 50.000 los límites de tasa por cuenta de todas las cuentas afectadas, como solución rápida para evitar que se rechazaran más Assemblies.
-
Hemos corregido el error del Rate Limiter y desplegado la corrección en menos de treinta minutos desde el aviso.
-
Hemos mejorado nuestras pruebas automatizadas para asegurar que, en el futuro, ningún comportamiento no válido pueda llegar a producción.
-
Hemos mejorado nuestra monitorización de esto, de modo que recibiremos una llamada telefónica automática en cuanto dos o más clientes sean limitados por tasa al mismo tiempo. Así, en el improbable caso de que esto vuelva a ocurrir alguna vez, lo sabremos antes que nadie y podremos abordarlo en las primeras fases.
Hemos enviado un email personal a todos los clientes afectados para informarles de este problema. También hemos aplicado un descuento del 25 % en las próximas facturas de todos los clientes afectados.
Lamentamos mucho que esto haya ocurrido y creemos haber tomado las medidas necesarias para que no vuelva a suceder nunca.