Este anuncio es para resumir y dejar registro permanente de lo sucedido el día 12 de Septiembre cerca de las 16:00 (UTC-03:00), que finalizó el día 14 de Septiembre cerca de las 09:00 AM (UTC-03:00)


RESUMEN FINAL DEL PROCESO COMPLETO:

El día Sabado 12 de Septiembre 2020, cerca de las 15Horas (UTC-03:00), se recibieron alertas automaticas del Monitor de Uptime por 2 caidas de un par de minutos en el Servidor 001 Lightning.

Posteriormente, por reportes de usuarios con dificultad de conectar al MySQL en el Servidor, se comenzó un proceso común, que es ver qué está fallando en el Servidor MySQL que no encendía.

Fue cerca de las 17:00 (UTC-03:00), que nos encontramos con el primer archivo del Servidor, encriptado.

Una rápida revisión de cuentas al azar, notamos que 67 cuentas Cpanel tenían archivos encriptados, junto a archivos de algunas carpetas especificas en el Servidor.

En este momento, el veredicto era claro. De alguna manera el Servidor 001 Lightning, se vió afectado por Ransomware. Un tipo de infección informatica que encripta los archivos para evitar que el dueño de estos logre verlos/usarlos.

Entre las 17:10 y las 17:40 (UTC-03:00) procedimos a revisar nuestros 12 Servidores que hospedan a clientes y nuestro Servidor que hospeda nuestro sitio. Afortunadamente, ningún otro Servidor se vió afectado por Ransomware

Entre las 17:40 y las 18:30 (UTC-03:00), procedimos a llevar 3 lineas de trabajo en simultaneo.

Una fue, revisar nuestros 5 Servidores dedicados a hospedar respaldos. Inicialmente que ninguno se viera afectado y posteriormente, que el Servidor BS1 que hospeda los respaldos del Servidor 001 Lightning, no tuviera archivos encriptados.

La segunda fue, comenzar a levantar un nuevo Servidor para reemplazar al 001 Lightning. Afortunadamente, hace muy poco, habíamos decidido tener un Servidor siempre, activo, en blanco, listo para usarlo y no tener que esperar al Datacenter para preparar un Servidor.

La tercera fue, buscar la forma en que la infección por Ransomware llegó a uno de nuestros Servidores. teniendo éxito, al encontrar la forma y registros de acceso del intruso que provocó este problema.


Usualmente este tipo de problemas, provocados por Ransomware, provocan estragos fatales en empresas de Hosting (y empresas de otros rubros), dejando multiplicidad de Servidores inutilizables, y mayores perdidas de información. Por suerte para nosotros y para nuestros clientes, hemos invertido mucho tiempo y recursos en tener una plataforma de respaldos bastante robusta, por lo que ningun cliente perdió información (hasta la publicación de este anuncio, al menos no tenemos reportes de ello).


Entre las 18:30 y las 19:00 (UTC-03:00), parchamos/tomamos las medidas de seguridad en todos nuestros Servidores para que en ninguno pudiera suceder lo que pasó en el Servidor 001 Lightning. Asi también, repasamos el proceso completo de restauración y uso de respaldos de emergencia.

Entre las 19:00 y las 21:30 (UTC-03:00), instalamos y configuramos un nuevo Servidor, totalmente funcional para comenzar la restauración.

^^RESUMEN FINAL DEL PROCESO COMPLETO^^



DATOS y HORAS

El proceso de restauración completo tuvo lugar desde las 21:30 (UTC-03:00) del dia Sabado 12 de Septiembre hasta las 10:00 (UTC-03:00) del dia Lunes 14 de Septiembre. Durante el proceso, encontramos varios contratiempos, y un bug/error del proveedor del sistema de respaldos (arreglado por ellos, una vez los notificamos, durante la tarde del Domingo 13).

Durante todo este proceso, entre el Sabado 12 y el Lunes 14, enviamos al menos 4 anuncios masivos por correo a nuestros 276 clientes en el Servidor Lightning.

Asi mismo, publicamos un total de 21 actualizaciones en nuestro Monitor de Uptime ( https://status.premiumhosting.cl/ ) y mantuvimos nuestra fanpage actualizada, respondiendo lo más rapido posible a los comentarios y mensajes ( https://www.facebook.com/Premiumhostingcl ).

Respondimos un total de 33 Tickets de consulta y 12 correos respecto a esto, en los tiempos en que la restauración estaba en progreso.

Asi mismo, arreglamos manualmente 7 cuentas Cpanel que no tuvieron una restauración 100% correcta, notificada por los mismos clientes.

^^DATOS y HORAS^^


Declaración Final

A lo largo de estos 9 años de funcionamiento, hemos ido mejorando y creciendo, tenemos una red de protección DDoS avanzada, un sistema AntiMalware de ultima generación, trabajando contra el SPAM dia a dia, pero tenemos que admitir, y hacer un mea culpa, de que nunca pensamos que un "Ransomware" podía llegar a afectarnos. Y lamentablemente así fue.

Afortunadamente, podemos decir que ahora todos nuestros Servidores están protegidos ante la forma en que este Servidor fue vulnerado. Y celebrar que nuestra red de respaldos, está sana y funcionando en perfectas condiciones. recibimos muchas consultas lamentando que no tenían respaldos, que nunca hicieron uno y que ahora habían perdido todo. Nos alegró en esos momentos darles a conocer que nosotros guardamos respaldos propios para emergencias (Aun que sea responsabilidad del cliente tener sus propios respaldos).

 

Personalmente, esto nos golpeó duro, hace mucho que no teníamos algun problema así, pero nos demostró que nuestros protocolos y planes de acción están funcionando correctamente y permitió tener los sitios y correos corporativos de nuestros clientes funcionando lo antes posible. Fue un fin de semana lleno de estrés y trabajo sin fin, sin descansar o dormir, pero lo hicimos por que sabemos que así como nos afectó a nosotros, también afectó a 276 clientes que confían en el Servicio de PremiumHosting.

No podemos asegurar o firmar que nunca habrá un problema. Pero si, que al haberlo, estaremos ahí, trabajando con todo lo que nuestro conocimiento y recursos nos permita.

Asi mismo, agradezco a todos los clientes afectados por su paciencia ante este incidente.

José Dieguez

PremiumHosting

Declaración Final



 



Lunes, Septiembre 14, 2020





« Atrás