vCenter – “no healthy upstream” rigenerazione certificato

Diagnosi dell'errore "no healthy upstream" su vCenter Server Appliance, verifica della scadenza dei certificati e rigenerazione con certificate-manager

Quando si apre il client web del vCenter e al posto della pagina di accesso compare soltanto il messaggio "no healthy upstream", il proxy inverso dell'appliance è in funzione ma non riesce a raggiungere i servizi a cui dovrebbe inoltrare la richiesta: in pratica i servizi del vCenter non sono partiti o non rispondono. Una delle cause più frequenti, soprattutto dopo due anni dall'installazione, è la scadenza dei certificati interni. Questa guida mostra come escludere le altre cause, verificare le scadenze e rigenerare i certificati con lo strumento integrato certificate-manager.

Indice

• 1. Sintomo e cause
• 2. Prerequisiti e precauzioni
  • 2.1 Accesso alla VAMI
  • 2.2 Accesso alla shell
  • 2.3 Snapshot e credenziali
• 3. Controlli preliminari
• 4. Verifica della scadenza dei certificati
• 5. Rigenerazione con certificate-manager
  • 5.1 Le operazioni disponibili
  • 5.2 Opzione 3: rigenerare il Machine SSL con la VMCA
  • 5.3 Se l'operazione si interrompe
  • 5.4 Altri certificati scaduti
• 6. Riavvio dei servizi
• 7. Verifica finale e impatti
• 8. Riepilogo e risoluzione dei problemi

1. Sintomo e cause

Il messaggio no healthy upstream viene restituito dal proxy dell'appliance quando nessun servizio a valle risulta disponibile. Non indica quindi un problema del browser né della rete tra client e vCenter, ma un problema interno all'appliance. Le cause tipiche sono:

Per questo la procedura parte dai controlli di base e arriva ai certificati solo dopo averli superati.

2. Prerequisiti e precauzioni

2.1 Accesso alla VAMI

Anche quando il client web non funziona, di solito resta raggiungibile l'interfaccia di gestione dell'appliance (VAMI), sulla porta 5480: apri nel browser https://:5480.

Si accede con l'utente root dell'appliance. Dalla VAMI si controllano lo stato dei servizi, lo spazio disco, l'orario e la rete, e si abilita l'accesso SSH.

2.2 Accesso alla shell

Abilita SSH dalla VAMI (sezione Accesso) e collegati come root con un client SSH. Se l'appliance presenta il prompt Command> (appliance shell), passa alla shell Bash con:

shell

Tutti i comandi delle sezioni successive vanno eseguiti nella shell Bash come root.

2.3 Snapshot e credenziali

3. Controlli preliminari

Prima di intervenire sui certificati assicurati che:

1. la pagina di gestione https://:5480 sia accessibile (sezione 2.1);
2. i servizi siano in stato healthy (VAMI > Servizi, oppure service-control --status --all);
3. ci sia spazio disponibile sui dischi (VAMI > Monitoraggio, oppure df -h): una partizione piena, spesso quella dei log, impedisce l'avvio dei servizi;
4. l'orario sia corretto e il servizio NTP sincronizzato (VAMI > Ora): con un orario sbagliato i token SSO e i certificati risultano non validi;
5. DNS e impostazioni delle NIC siano corretti: l'FQDN del vCenter deve risolversi correttamente, anche con la risoluzione inversa.

service-control --status --all
df -h

Se tutti i punti sono a posto e il problema persiste, passa al controllo dei certificati.

4. Verifica della scadenza dei certificati

I certificati del vCenter sono conservati nel VECS (VMware Endpoint Certificate Store), suddiviso in store. Il comando seguente scorre tutti gli store (escluso quello delle liste di revoca) e per ogni certificato mostra l'alias e la data di scadenza (Not After):

for store in $(/usr/lib/vmware-vmafd/bin/vecs-cli store list | grep -v TRUSTED_ROOT_CRLS); do
    echo "[*] Store : $store"
    /usr/lib/vmware-vmafd/bin/vecs-cli entry list --store $store --text | grep -ie "Alias" -ie "Not After"
done

Come leggere l'output:

Puoi verificare il certificato Machine SSL anche dal browser: aprendo i dettagli del certificato della pagina del vCenter si vedono il nome comune, l'emittente (la VMCA, CA) e il periodo di validità.

5. Rigenerazione con certificate-manager

vSphere Certificate Manager è lo strumento a riga di comando incluso nell'appliance per sostituire o rigenerare i certificati. Si avvia con:

/usr/lib/vmware-vmca/bin/certificate-manager

5.1 Le operazioni disponibili

5.2 Opzione 3: rigenerare il Machine SSL con la VMCA

Nel caso dell'esempio è scaduto il certificato Machine SSL emesso dalla VMCA. Scegli l'opzione 3 e rispondi alle richieste:

1. Credenziali: inserisci l'utente amministratore SSO (predefinito [email protected]) e la relativa password.
2. Valori di certool.cfg: lo strumento chiede i dati del nuovo certificato. Premendo Invio si accetta il valore predefinito o si salta un parametro facoltativo. Country è il codice di due lettere del paese (es. IT); Name, Organization, OrgUnit, State, Locality ed Email sono informativi.
3. IPAddress: facoltativo; puoi indicare l'IP del vCenter.
4. Hostname: inserisci l'FQDN del vCenter, esattamente quello con cui è stato installato (il PNID) e con cui viene raggiunto. Un nome diverso genera un certificato non valido per i client.
5. VMCA Name: il nome della VMCA, normalmente l'FQDN del vCenter.
6. Conferma con Y l'operazione You are going to regenerate Machine SSL cert using VMCA.

Lo strumento sostituisce il certificato e riavvia tutti i servizi: l'avanzamento (Status: 85% Completed [starting services...]) può richiedere diversi minuti. Attendi il completamento senza interrompere la sessione.

5.3 Se l'operazione si interrompe

Se certificate-manager termina con un errore, rileggi il messaggio a video e verifica i controlli preliminari (in particolare orario e DNS). Puoi annullare l'operazione con l'opzione 7 oppure, se il vCenter non riparte, tornare allo snapshot fatto in precedenza.

5.4 Altri certificati scaduti

• Se sono scaduti anche i certificati Solution User (store machine, vpxd, vpxd-extension, vsphere-webclient), esegui anche l'opzione 6.
• Se è scaduta la root VMCA (store TRUSTED_ROOTS), usa l'opzione 4, che rigenera la root e tutti i certificati emessi da essa.
• Se il Machine SSL era emesso da una CA aziendale, usa l'opzione 1 con il nuovo certificato emesso da quella CA.

Al termine ripeti il controllo delle scadenze per assicurarti che non restino certificati scaduti.

6. Riavvio dei servizi

certificate-manager riavvia i servizi da solo. Se al termine il client web mostra ancora l'errore, oppure se hai risolto un problema di disco, orario o DNS, riavvia manualmente tutti i servizi:

service-control --stop --all
service-control --start --all

L'avvio completo può richiedere 10–15 minuti. Controlla poi lo stato con service-control --status --all: tutti i servizi necessari devono risultare in esecuzione.

7. Verifica finale e impatti

1. Apri https:///ui: deve comparire la pagina di accesso del vSphere Client.
2. Controlla il certificato nel browser: la data di scadenza deve essere quella nuova (vedi Figura 2).
3. Ripeti il comando di verifica e accertati che nessun certificato risulti scaduto.
4. Verifica che gli host ESXi risultino connessi e che non ci siano allarmi.

Dopo la sostituzione del Machine SSL il thumbprint del vCenter cambia. Le soluzioni esterne registrate sul vCenter tramite certificato o thumbprint (software di backup, plugin di terze parti, altri prodotti VMware) possono richiedere di accettare il nuovo certificato o di ripetere la registrazione. Per evitare l'avviso del browser, scarica e importa le CA radice dalla pagina iniziale del vCenter (Download trusted root CA certificates).

8. Riepilogo e risoluzione dei problemi