AGGIORNAMENTI: incendio al datacenter di Strasburgo

ovh_incendio_2021-night

AGGIORNAMENTI DEL 14/03/2021 – ore 19

Incendio Datacenter OVH STRASBURGO
Gentili clienti, stiamo continuando a lavorare duro per il completo ripristino degli ambienti e backup a seguito della perdita TOTALE di tutte le infrastrutture presenti nella palazzina SBG2 dove erano allocati buona parte dei nostri software distribuiti in produzione.
OVH ha dichiarato che tutti i sistemi e dati che erano presenti in SBG2 sono andati completamente perduti. Hanno indicato che ogni azienda avrebbe dovuto avviare il proprio disaster recovery plan per riuscire a recuperare tutto quello che era presente in questa palazzina.
I danni causati nel mondo:
Sono server dove erano presenti 3.5 milioni di siti, portali del ministero dell’interno francese, comuni importanti italiani (come Pavia, Cattolica e Trapani) e tantissime medie imprese italiane.
Molte delle società tra le più importanti in Europa avevano su questo datacenter i propri sistemi, software, posta elettronica, siti, applicazioni e backup che risultano andati completamente perduti.
Attualmente diverse aziende hanno indicato di non disporre di una procedura di disaster recovery e backup dati e sono in attesa di conoscere da OVH se esiste una possibile procedura a loro supporto.
Parliamo di una circostanza unica, mai accaduta negli ultimi 20 anni che sta mettendo a dura prova molti colossi, società ed istituzioni pubbliche.
E‘ molto comune l’uso di questo datacenter per le aziende Italiane, primo perché è tra i più grandi in Europa e secondo perché è il più vicino all’Italia e quindi con una maggior velocità nella trasmissione dei dati.


Cosa abbiamo fatto noi di IOS:
Priorità 1: Attivare e seguire il piano di Disaster recovery per ricostruire gli ambienti server presenti in SBG2 andati
distrutti e non recuperabili da OVH.
Priorità 2: Iniziare la consegna dei software e servizi che erano in SBG2 nel minor tempo possibile
Priorità 3: Monitorare il riavvio dei server di posta e server dedicati ai clienti nelle palazzine SBG1 e SBG3 in carico ad
OVH, verificando le comunicazioni, ticketing e monitor dei sistemi presenti nel datacente.
Ci teniamo a farvi sapere che i nostri sistemi di sicurezza hanno retto e sono OPERATIVI, continuando a darci riscontri positivi sullo stato di avanzamento delle attività con l’obiettivo del ripristino dei sistemi.
In questi giorni festivi, abbiamo impiegato tutto lo staff disponibile, risorse dedicate alle operazioni previste dal piano operativo, a partite dal centro di controllo permanente per organizzare lo staff di sistemisti, sviluppatori e
specialisti in database. Una squadra di professionisti SENIOR a disposizione dei nostri clienti, per dare il massimo della tempestività al bisogno di tornare i produzione.
Lo staff è completamente dedicato a concludere la priorità 1, con l’obiettivo di riattivare la maggior parte dei software a partire da DOMANI 15/03/2021.
Stiamo facendo del nostro meglio sulla base delle risorse a nostra disposizione.

Stato lavori SBG2 dal 13/03 al 14/03:
13/03/2021

  • – Attivato secondo server di produzione nella datafarm OVH di Roubaix nord Francia potenziando la velocità di
    accesso alle piattaforme e bilanciamenti del carico di lavoro tra i server di produzione
  • – Iniziato ripristino degli ambienti sistemistici per ospitare i software di produzione
  • – Eseguita analisi approfondita dei file backup eseguiti nella notte del 09/03/2021

    14/03/2021
  • – Concluso ripristino ambiente sistemistico per ospitare i software in produzione
  • – Iniziato il setting dei sistemi operativi, di sicurezza e infrastruttura web
  • – Iniziato Deployment dei software di produzione con procedura ripristino backup dati
  • – Avviato lo screening dei servizi che rimarranno OFF LINE in questa fase di starting (banche dati – mail ecc.)
  • – Verificato stato degli aggiornamenti dei sistemi e disabilitato funzioni di automazione processi tramite mail
    (in attesa di riattivazione del server sito nella palazzina SGB3 non danneggiata ma in fase di riavvio elettrico e
    rete)
  • – Attivato nuovo server di Backup con una capienza di 20TB a supporto dell’attuale backup in corso
    (rafforzamento ulteriore delle misure di sicurezza per i backup dati)
  • – Avviato task di esecuzione notturna di backup presso nuova infrastruttura dedicata
  • – Avviato il sistema di ticketing a supporto dei clienti raggiungibile dal 15/03 dal sito iossrl.com
  • – Definita una squadra dedicata al supporto attraverso il sistema di ticketing a supporto del restart.

INFORMAZIONI IMPORTANTI:

1) RIPRISTINO BACKUP DATI:
Il sistema di backup prevede una copia notturno dei database ed allegati a partire dalle ore 00:00 di ogni notte, al fine di eseguire lo stesso in fasce orarie comunemente meno utilizzate.
In questo contesto, verificando le informazioni di OVH si è evidenziato che l’incendio ha avuto inizio alle 00:40 ed ha continuato a propagarsi senza sosta sino a distruggere la palazzina. Il nostro sistema, conclude normalmente l’operazione di backup complessivo intorno alle 2:00.
Il processo completo è risultato quindi interrotto durante le operazioni.
Dalle verifiche risultano i seguenti dati attendibili per il ripristino:
DATABASE: Il controllo dei backup ha dato esito positivo sino alla data del 09/03/2021 ore 23:59.
ALLEGATI: Il controllo dei backup ha dato esito positivo sino alla data del 08/03/2021 ore 23:59
Il backup dei file allegati si è interrotto durante le operazioni rendendo lo stesso “troncato” non congruo.
Per tale motivo al fine di ricostruire coerentemente il backup del database ed allegati, abbiamo predisposto il caricamento dei database al giorno 09/03 ore 23:59 e degli allegati al giorno 08/03 ore 23:59.
Pensiamo che in questo momento sia importante farvi tornare quanto prima a lavoro, fornendovi di software e dati coerenti al fine di ripartire con la consapevolezza di disporre di dati certi alle date sopra indicate

2) ASSISTENZA:
Attivazione del supporto tecnico tramite ticketing IOS a partire da domani mattina 15/03 per i soli clienti che riceveranno una PEC con la conferma di attivazione del proprio software / servizio e coloro che dispongono già di applicazioni in uso non intaccate dall’incidente.
Vi preghiamo di ridurre al minimo le richieste telefoniche perché i sistemisti potranno gestire le attività solo tramite supporti informatici al fine di tracciare tutte le operazioni e sopperire alle urgenze generali di ripristino e setting dei sistemi.
Il tutto favorisce una migliore evasione delle richieste e riduce i tempi di risposta alle risoluzioni.
Ci sarà un supervisore che si occuperà di distribuire le richieste validando le urgenze ed evadendo i problemi bloccanti e poi quelli meno impattanti.
Chiediamo in questa fase di fare attenzione ai moduli che indicheremo con NON FUNZIONANTI e non aprire richieste sugli stessi, sarà nostra premura di tenervi aggiornati sullo stato del recovery plan rispetto ai moduli aggiuntivi.
Il team sistemistico è impegnato in una dura prova, quindi chiediamo di avere comprensione per eventuali rallentamenti nell’evasione richieste.

PIANO START:

  • Confermiamo la previsione di rilascio dei software di base a partire dal 15/03/2021.
  • Nella giornata di domani 15/03/21, invieremo una PEC con la conferma di attivazione dei sistemi di base ed i moduli disattivati
  • Attivazione supporto tramite ticketing con staff dedicato alla risoluzione delle problematiche bloccanti come priorità di lavoro.

Breve stato sui server SBG 1-3:
OVH DICHIARA CHE I NOSTRI SERVER NON HANNO SUBITO DANNI ma sono in attesa di riattivazione dei servizi elettrici ed altre utenze
SBG1: (server dedicati di clienti con software e/o posta) –
SBG3: (server di posta elettronica in cloud con piattaforma ZIMBRA e clienti dedicati software e/o posta )
SU questi server, OVH non ci ha richiesto di avviare le procedure di disaster recovery perché gli stessi non risultano aver subito danni. La palazzina SBG1 ha subito danni parziali ma non ai server di nostra competenza, la palazzina SBG3 non ha subito alcun danno. Indicano di avere in corso il loro disaster recovery plan al fine di ripristinare con la massima celerità tutti i servizi nel complesso a partire come priorità proprio dalle palazzine SBG 1-3-4.
Ci aspettiamo che una struttura del genere, dia il massimo per ripristinare quanto prima tutti i servizi come da loro priorità, negli stessi sono presenti anche i nostri.
15/03 Ci siamo riservati di fare un nuovo tavolo tecnico interno a seguito delle novità che ci perverranno da OVH nelle prossime ore.
Ringraziamo sentitamente per il supporto e vogliamo farvi sapere che sarete la nostra priorità nei prossimi giorni,
con l’impegno di concludere quanto prima lo stato di emergenza.
Riccardo SCANNI / CO Italia on site SRL

PEC del 12/03/2021 delle ore 18:00

Incendio Datacenter OVH STRASBURGO

Gentili clienti, prima di tutto vi ringraziamo per la grande solidarietà che ci state dimostrando in questi durissimi giorni, tanto rispetto e pazienza nonostante questo evento eccezionale vi abbia creato un grande disservizio.

Siamo vittime di un duro colpo, i server di produzione IOS erano presenti in 3 delle 4 palazzine che sono state danneggiate o scollegate dalla rete elettrica per motivi di sicurezza o danneggiamento impianti.

Tutti i server presenti nella palazzina SBG2 sono andati completamente distrutti.

Nonostante tali blocchi nel cuore dei nostri sistemi, siamo riusciti a far avviare il piano di disaster recovery delle infrastrutture e recupero dei backup dati in altra sede come previsto dai nostri piani di sicurezza.

I nostri sistemi di sicurezza, nonostante questo evento eccezionale quasi imprevedibile hanno retto e sono OPERATIVI.

Le procedure di disaster recovery plan che sono state generate e tutto l’investimento fatto in procedure, consulenze e crash test di questi anni sta dando buone risposte.

Ci teniamo nuovamente a ribadire che questo è un EVENTO ECCEZIONALE, quasi mai accaduto in datacenter di questo livello in oltre 20 anni, mai nella storia della società OVH.

Alla conclusione dello stato di emergenza, valuteremo quanto accaduto, rifaremo analisi dei rischi integrando altre soluzioni di sicurezza dove/se necessario.

Dopo il duro colpo subito, abbiamo reagito tutti insieme, strutturando l’azienda ad eseguire i processi indicati dal documento, cessato tutte le attività ordinarie e commerciali, dedicando tutto lo staff al piano di emergenza.

Abbiamo richiesto il supporto di aziende partner e colleghi informatici che si sono resi disponibili ad aiutarci per velocizzare le procedure di messa in opera dei sistemi dei nostri clienti.

Lo staff di oltre 15 persone, sarà impegnato nella sua completezza, anche nei giorni festivi.
Abbiamo dato mandato di utilizzare tutte le ore di straordinari necessarie, chiedendo un impegno completo ai dipendenti sino alla fine di questa eccezionale emergenza.

Tutto lo staff è a lavoro per voi in maniera continuativa, stiamo lavorando a turni continui dandoci il cambio nella gestione delle attività tecniche ed organizzative.

Vogliamo dare il massimo per rendere il più possibile meno dolorosa questa situazione, dandovi riscontri puntuali e impegnando anima e cuore nel recupero di tutti i sistemi nel minor tempo possibile.

Lo stato dei server e piano lavori:

SBG2: ( server dedicati ai Software in cloud IOS, Act-Now ed altri gestionali o applicazioni in uso su CLOUD)

10/03/21 OVH dichiara che il datacenter è andato completamente distrutto

10/03/21 IOS acquista immediatamente nuovi server alternativi su OVH conforme alle nostre esigenze.

11/03/21 OVH dichiara di non essere in grado di offrire nuovi server idonei alle nostre esigenze nei tempi previsti dal nostro piano di disaster recovery plan.

11/03 IOS in virtù di tale scelta, procede come da protocollo ad attivare altro server in diverso fornitore da noi prescelto.

11/03/21 IOS avvia il processo di recovery presso il datacenter Hetzner Online GmbH nella sede di Park Falkenstein, Germany.

11/03/21 IOS avvia la procedura di migrazione dei dati dal server di backup (in altra sede geografica) verso il datacenter sito a Park Falkenstein, Germany.

12/03/21 Sono in corso tutte le indagini necessarie per la verifica della congruità dei backup disponibili. Si stimano circa 3 giorni per il completamento di tali operazioni.

12/03/21 IOS avvia la procedura di configurazione sistemistica al fine di predisporre un ambiente sicuro per deployment dei software.

Prossimi passi:

Nel corso delle prossime ore, impiegheremo tutte le risorse disponibili anche nei giorni festivi al fine di eseguire con la massima celerità tutte le operazioni sopra segnalate.

L’obbiettivo è di farvi ripartire il prima possibile, tutti i processi ed operazioni necessarie saranno eseguite nel minor tempo possibile.

TEMPISTICHE:

Stimiamo di poter rilasciare una base dei servizi software a partire dal 15 Marzo.

Il rilascio dei software sarà progressivo e schedulato con moduli di base per poi implementare nelle future settimane le altre funzionalità come l’alimentazione dati dalle compagnie.
Stimiamo di riuscire a distribuire tutte le basi del software presenti entro il 19 Marzo.

SBG3: (server di posta elettronica in cloud con ZIMBRA e server dedicati software e posta in cloud di singoli clienti)

La palazzina ed i server NON RISULTANO DANNEGGIATI, sono in attesa del ripristino della rete elettrica e servizi, si prevede un piano di accensione a partire dalla prossima settimana come indicato da OVH.

12/03 Stiamo monitorando in real-time lo stato di avanzamento dei lavori di OVH, al fine di essere immediatamente operativi rispetto alle informazioni da loro rilasciate.

Attualmente ribadiscono che SBG3 non ha subito alcun danno, che hanno avviato tutte le procedure di emergenza per il ripristino del cablaggio elettrico da 20KV per i successi tentativi di avvio parziale degli slot.

Prossimi passi:

15/03 Ci siamo riservati di fare un nuovo tavolo tecnico interno a seguito delle novità che ci perverranno da OVH nelle prossime ore.

Il 15/03 rilasceremo nuova comunicazione stampa sullo stato dei progressi lavorati.

Ringraziamo sentitamente per il supporto e vogliamo farvi sapere che sarete la nostra priorità nei prossimi giorni, con l’impegno di concludere quanto prima lo stato di emergenza.

Lo staff IOS

11/03/2021 – PEC delle ore 11:00


Gentili clienti,

abbiamo informazioni più aggiornate rispetto a ieri relative all’incendio che ha colpito il data center di OVH a Strasburgo, sede dei server su cui lavorano i nostri servizi.
Il Datacenter di Strasburgo è la sede più vicina all’Italia, pertanto la scelta di questa sede ha puramente carattere geografico e quindi è il più utilizzato in Europa Occidentale e Meridionale.
https://www.ovh.ie/news/press/cpl1786.fire-our-strasbourg-site

Per i datacenter distrutti abbiamo i seguenti responsi:

SGB2: risiedono qui tutti i nostri software gestionali, ed è il datacenter che è andato completamente distrutto, senza possibilità di recupero dei dati e/o ripristino dei servizi.
Abbiamo previdentemente alimentato un backup recente locato in un’altra sede e abbiamo attivato il piano di Disaster Recovery Plan suggerito come procedura da OVH per il recupero dei vostri dati.
L’intero staff IOS è al lavoro per questo progetto di recupero: contiamo, a partire dal 15/03/21, di cominciare a ripristinare i diversi software di ciascun cliente.
Si tratta di una attività a nostro carico complessa e dispendiosa in termini economici e di tempo.
Vi chiediamo la massima collaborazione in questa fase delicata.

SGB3: è il datacenter dove sono locati i servizi di posta elettronica Zimbra da noi distribuiti. OVH ha dichiarato espressamente che il datacenter è interamente integro.
Attualmente è offline per scelta di OVH per motivi di sicurezza.
OVH si sta impegnando con la massima celerità per rimettere i locali in sicurezza, la data stimata e dichiarata ENTRO CUI sarà possibile accedere nuovamente ai sistemi SBG3 è venerdì 19/03/21.
Confidiamo che OVH farà il possibile per anticipare tale data.
Ci rendiamo conto che specie in questo periodo sia un grosso impedimento all’operatività avere la posta elettronica non accessibile, Italia On Site è nella medesima situazione e capiamo benissimo il disagio.
Per questo motivo non riceviamo le vostre segnalazioni via mail dalla mattina di martedì 10/03/21 e stiamo utilizzando per le comunicazioni aziendali da casella gestione.italiaonsite@gmail.com
Occorre però attendere la riattivazione del datacenter SGB3 OVH in quanto attivare un Disaster Recovery Plan per la posta elettronica Zimbra rischierebbe di allungare ulteriormente i tempi.

NB: ai clienti che non rientrano tra i danneggiati dall’incidente e hanno ancora i gestionali attivi segnaliamo che non è disponibile la piattaforma dedicata all’assistenza ticket, per i problemi di cui sopra.
Vi invitiamo a consultare il manuale per eventuali difficoltà, in modo da permetterci di concentrare le energie nel Disaster Recovery Plan.

Staff IOS

10/03/2021 – PEC delle ore 19:00

Gentili clienti,

Ieri mattina abbiamo appreso che il datacenter di Strasburgo di OVH ha subito un gravissimo danno inaspettato causato da un incendio che ha distrutto completamente una delle palazzine e parzialmente intaccato le altre 4 strutture presenti ed adiacenti.

OVH, 3° fornitore mondiale di datacenter nel mondo con attestati e certificazioni di sicurezza non ha ancora dichiarato la causa di questo allargato incendio che risulta essere un rischio altamente ridotto in strutture del genere, soprattutto per leader di mercato come loro.
Aziende leader di mercato e istituzioni come il governo francese utilizzano questo provider internazionale.

Riportiamo le seguenti fonti:

Comunicato stampa OVH


Comunicazione ANSA


Alcuni dei nostri software e servizi in uso a noi e ai nostri clienti sono allocati in questo importante datacenter di OVH, fiore all’occhiello in Europa.
Siamo sbigottiti e diverse simulazioni di incident non potevano prevedere un così espanso incendio in una delle strutture più protette e monitorare rispetto alle certificazioni di sicurezza di cui dispongono.

Tutti i servizi, anche quelli funzionanti non sono raggiungibili perché scollegati da tutte le utenze al fine di verificare dei danni arrecati all’intera infrastruttura.
Attualmente ci aspettiamo che OVH attivi tutti i processi di sicurezza e rispristino immediato dei servizi per organizzare una strategia efficace dato questo evento catastrofico.

IOS non appena appreso di tale situazione ha attivato un processo di emergenza per il supporto ai clienti e la comunicazione repentina rispetto all’accaduto. Stiamo attentamente monitorando quanto riportato dalle fonti ufficiali di OVH per capire ora per ora il reale danno che è stato generato da tale incendio.

Attualmente il nostro impegno è di stare al fianco dei clienti, continuare a monitorare la situazione di OVH ed organizzare la miglior strategia per ripristinare i sistemi in uso a noi e nostri clienti.

E’ nostra premura di tenervi costantemente aggiornati trami la pubblicazione di informazioni su questo sito e di informarvi quanto su un piano di lavoro e time line.

Staff IOS