Qbmove: il nuovo sistema di migrazione caselle email sviluppato da Qboxmail

Migrare le caselle email non è mai stato così semplice

Passare a un nuovo provider email significa, prima di tutto, pianificare la migrazione delle caselle email in modo sicuro, ordinato e con il minor impatto possibile per l’utente finale. Questo include il trasferimento completo di tutte le cartelle e i messaggi da un’infrastruttura all’altra.

Durante la pianificazione della migrazione delle email è necessario considerare alcuni elementi:

• il numero delle caselle email da migrare
• lo spazio occupato in totale dalle caselle email
• la velocità del server sorgente (l’attuale fornitore)
• il numero di caselle migrabili in parallelo dal nuovo fornitore

Qboxmail ha sempre offerto uno strumento integrato per pianificare e automatizzare la migrazione IMAP da altri fornitori. Ma da ottobre 2023, abbiamo rilasciato una nuova versione radicalmente migliorata: Qbmove, il nostro sistema di migrazione di nuova generazione, sviluppato internamente dal team Ricerca & Sviluppo.

I limiti del vecchio sistema di migrazione

• non scalava se non aggiungendo RAM al singolo server dove girava il processo Perl
• l’aggiornamento di quel server comportava l’interruzione delle migrazione senza la possibilità di poterle far ripartire
• il numero di migrazioni parallele era definito a monte e non poteva essere impostato per cliente
• gli errori IMAP che arrivavano al processo Perl non erano differenziati e ai clienti veniva sempre mostrato un errore generico, che da parte nostra richiedeva di analizzare il file di log per capire la causa

Abbiamo quindi studiato un nuovo sistema di migrazione che potesse risolvere tutti i problemi riscontrati con il precedente e che ci desse anche più flessibilità per le implementazioni future.

Come funziona Qbmove

Il cuore del sistema è un orchestratore scritto in Node.js che, tramite SSH, configura, distribuisce e monitora i processi di migrazione su più server dedicati. Ogni processo è indipendente: se l’orchestratore si ferma o viene aggiornato, le migrazioni in corso continuano senza interruzioni.

In questo modo si possono aggiungere nuovi server sui quali eseguire le migrazioni, semplicemente indicando un nuovo indirizzo IP all’orchestrator.
E’ possibile anche dedicare intere batterie di server a determinati tipi di operazioni o clienti tramite un sistema di regole molto flessibile. 

Una volta avviato un processo, questo è totalmente indipendente dall’orchestratore. Se dovesse presentarsi un malfunzionamento, o se scegliessimo solo di aggiornarlo, nessun processo di migrazione in corso ne sarebbe condizionato. Questo è sempre stato un requisito molto importante per noi, visto che alcuni processi di migrazione possono durare anche giorni a causa della lentezza del server dal quale recuperiamo le email.

Una volta lanciati i processi, l’applicativo Node.js li monitora estraendo dati utili, come le risorse utilizzate, il dettaglio del progresso ed eventuali errori. Queste informazioni sono poi esposte tramite API interne al nostro pannello di controllo che le mostra all’utente.

Esempio di dettaglio messaggi di errore

I server che effettuano il vero e proprio trasferimento non richiedono molte dipendenze, ma semplicemente:

• sono accessibili dall’orchestratore
• contengono gli script Perl necessari al trasferimento dei messaggi

Le migrazioni possono essere avviate su un server e terminare su un altro, grazie alla condivisione degli stati e della cache dei dati.

Inoltre, possiamo assegnare un numero di migrazioni parallele più elevato per ogni cliente così da poter velocizzare le migrazioni.

Con Qbmove, siamo in grado di introdurre nuove funzionalità per offrire una maggior flessibilità nella gestone del processo di migrazione delle email dei clienti.