[Nutanix Cluster de 3 Nodos] – Capítulo 4: Redes y Configuración


Indice


Post Principal
Capítulo 0: Introducción
Capítulo 1: Hardware
Capítulo 2: AMT y BIOS
Capítulo 3: Instalación
Capítulo 4: Redes y Configuración (Estas aquí)


Capítulo 4 en YouTube


Capítulo 4: Redes y Configuración

¡Buenas a todos! Llegamos al final del camino. Vamos con la última entrada en la que daremos un repaso a las redes y OVS junto con la creación y configuración básica de nuestro clúster. ¡Al lío!


Esquema a alto nivel


Llegados a este punto ya tenemos los nodos instalados y el switch preparado. En la imagen de abajo podéis ver un esquema con las IP’s y las VLAN que hemos utilizado.

High Level Design

Esquema detallado


Si profundizamos un poco, podremos ver un esquema mucho más complejo en el que os mostramos el detalle interno de las redes de cada nodo. No os dejéis intimidar, realmente es más fácil de lo que parece.

Detailed OVS

Firewall y switch


Vamos a verlo parte por parte. El firewall PFSense está conectado a nuestro switch mediante un LACP y va a “enrutar” todas las VLAN.

PFSense with UniFi Enterprise 24 POE

Nodos y switch


Los nodos están conectados a los puertos 5,6 y 7 configurados tal y como hemos visto en el capítulo 2.

Nodes and UniFi Enterprise 24 POE

OVS


Para ver el detalle de las redes usaremos de ejemplo el nodo MINI 01, ya que los otros dos van a tener la misma configuración. Como bien sabéis sólo tienen un adaptador de red, así que el ancho de banda para la réplica de datos y la migración de máquinas será limitado.

OVS Nodes

La configuración por defecto después de la instalación y que vamos a usar para el clúster es active-backup. Esto es simbólico puesto que al tener sólo un adaptador de red no hay mucho dónde elegir.

OVS Details

Redes en detalle


En verde, está representada la red interna que utiliza la CVM para leer y escribir los datos de forma local además de comunicarse con el host de AHV. Las IP’s que se asignan siempre son las mismas; 192.168.5.1 para el host de AHV y 192.168.5.254 para la CVM.

Internal Network

En naranja tenemos la VLAN 106. La usaremos para comunicarnos con nuestra CVM, host de AHV y para replicar los datos al resto de nodos del clúster. En nuestro caso, al tratarse de una VLAN “tagueada”, va a ser necesario que lo configuremos a mano más adelante ya que por defecto se usa la VLAN nativa del switch.

AHV & CVM VLAN

En turquesa, tenemos la VLAN 100. Como hemos visto en capítulos anteriores, la vamos a usar para comunicarnos con la AMT. Hemos usado la VLAN nativa debido a que la AMT no permite asignarle un tag específico.

AMT VLAN

Por último, en azul y rojo tenemos las VLAN 110 y 112. Son las que usaremos para flas máquinas virtuales del clúster. Pertenecen al trunk y no requieren de configuración adicional.

UVM’s VLANs

Una vez aclarada la configuración de red, vamos a ver como “taguear” la VLAN para el host de AHV y la CVM.


Cambiar la VLAN de un host AHV


Nos conectamos a la AMT del nodo MINI 01 y hacemos login con los credenciales por defecto:

  • Usuario = root
  • Password = nutanix/4u
AHV login

Seguidamente ejecutamos el comando:

ovs-vsctl set port br0 tag=106
AHV VLAN Change

Y para comprobar que se ha ejecutado correctamente lanzamos:

ovs-vsctl list port br0

Veremos el campo “tag” con la VLAN que acabamos de configurar.

AHV VLAN Check

Tendremos que repetir los pasos en el resto de hosts de AHV, MINI 02 y MINI 03.


Cambio de VLAN en la CVM


De la misma forma que hemos cambiado la VLAN en los hosts, lo haremos en las CVM. Nos conectamos mediante la red interna a la CVM haciendo un ssh con el usuario nutanix a la IP 192.168.5.254 e introducimos la contraseña por defecto para el usuario nutanix, que será nutanix/4u.

ssh nutanix@192.168.5.254
Internal CVM Connection

Ejecutamos el comando detallado más abajo y esperamos a que termine.

change_cvm_vlan 106
Change CVM VLAN

Para comprobar que la configuración se ha aplicado correctamente ejecutamos el comando detallado más abajo, que nos mostrará en rojo la VLAN que acabamos de configurar.

virsh dumpxml 1 | grep "tag id" -C10 --color
Check CVM VLAN

Repetiremos el procedimiento con las otras dos CVM correspondientes a los nodos MINI 02 y MINI 03. Cuando hayamos terminado comprobaremos que llegamos tanto a los hosts de AHV como a las CVM mediante un PING.


Memoria recomendada para las CVM


La cantidad de memoria asignada a las CVM después de la instalación es de 16 GB. Para un uso general están recomendados 20 GB, pero es demasiado para unos nodos tan pequeños por lo que hemos decidido configurar las CVM con 12 GB.

CVM Requirements

Tened en cuenta que si queremos experimentar con la deduplicación será necesario ampliarla bastante y dejará los nodos casi impracticables, con toda la memoria asignada a la CVM.

Dedupe Memory Requirements

Reducir la memoria de una CVM


Para reducir la memoria de una CVM nos conectamos por ssh a uno de nuestros hosts de AHV e introducimos los credenciales por defecto.

ssh AHV Host

Ejecutamos el comando detallado más abajo y copiamos el nombre de la CVM.

virsh list --all
CVM Name

Para comprobar que la cantidad de memoria asignada a la CVM es de 16 GB lanzamos:

virsh dominfo CVM_name
Check CVM Memory

Para reducirla a 12 GB primero hemos de apagar la CVM con:

virsh shutdown CVM_name
Shutdown CVM

Para continuar ejecutando estos dos comandos que la establecerán a 12 GB:

virsh setmem CVM_name 12G --config
virsh setmaxmem CVM_name 12G --config
Set CVM Memory

Para comprobar que se han aplicado los cambios correctamente, lanzaremos de nuevo

virsh dominfo CVM_name

y veremos que efectivamente los campos Max Memory y Used Memory tienen configurados 12 GB.

CVM Memory 12G

El último paso será volver a arrancar la CVM con:

virsh start CVM_name
CVM Start

Tendremos que repetir este procedimiento con las otras dos CVM.


Creación del clúster


Con la conectividad y las CVM a punto, vamos a crear el clúster. Es tan sencillo como conectarnos por ssh a cualquiera de las CVM y lanzar el comando detallado mas abajo:

cluster -s [CVM01_IP,CVM02_IP,CVM03_IP] create
Cluster Create

Si todo va como es debido, los servicios arrancarán sin problema.

Cluster Created

Configuración de los servidores DNS


Con nuestro clúster vivo y coleando nos toca configurar los servidores DNS. Nos harán falta cuando hagamos el primer login en PRISM entre otras muchas cosas. Por defecto, al terminar la creación del clúster están configurados los DNS de Google:

  • 8.8.8.8
  • 8.8.4.4

Si bien es una opción válida, nosotros vamos a configurar los servidores de nuestros dominio para la resolución. Desde la CVM que hemos usado para crear el clúster vamos a entrar en el ncli

ncli

Después usamos el comando:

cluster get-name-servers

Para comprobar que efectivamente, están configurados los servidores DNS de Google.

Google DNS Servers

Los eliminamos uno a uno con:

cluster remove-from-name-servers servers=8.8.8.8
cluster remove-from-name-servers servers=8.8.4.4
Remove DNS Servers

Para terminar añadimos los servidores DNS de nuestro dominio con

cluster add-to-name-servers servers=172.18.0.6
cluster add-to-name-servers servers=172.18.0.7
Add DNS Servers

First Login


Con las DNS a punto ya podemos hacer login por primera vez en el clúster. Nos dirigimos por https y puerto 9440 a unos de las IP’s de las CVM de la siguiente forma:

https://CVM_IP_ADDRESS:9440

Hacemos login con los credenciales por defecto:

  • Usuario = admin
  • Password = nutanix/4u
Login Default Credentials

Automáticamente nos indicará que los modifiquemos por unos más seguros

Change Default Credentials

Cuando los hayamos modificado hacemos login de nuevo con el usuario admin y la contraseña modificada.

Prism Login

Ahora tendremos que introducir nuestros credenciales NEXT con los que hemos solicitado acceso a Nutanix Community Edition. Una vez que hayamos iniciado sesión nuestro clúster estará listo para usarse.

.NEXT Login

Cuando hayamos accedido a Prism nos iremos a la pestaña de Hardware para ver la información de nuestros nodos junto a los discos que tienen instalados.

Hardware Details

Como véis los NVMe los reconoce perfectamente pero los SSD aparecen como HDD

Disk Details

Podríamos activar el HA reservation, pero esto supondría no poder usar 31.35 GB de memoria y dada la escasa cantidad de la que disponemos, no lo haremos.

HA Reservation

Capacidad del clúster


En lo que a espacio se refiere, podemos ver que la capacidad física del clúster es de 1,89 TiB

Physical Space

Mientras que la lógica es de 968 GiB

Logical Space

Si nos fijamos en los detalles del clúster, tenemos una capacidad “resiliente” de 1,19 TiB. Este será el espacio que podremos utilizar sin riesgo aunque caiga uno de los nodos.

Full Capacity

Servidores NTP y Cluster VIP


Vamos con los servidores NTP. En Prism nos dirigimos hacia la rueda de opciones que hay en la parte superior derecha y seleccionamos NTP Servers.

Default NTP Servers

Eliminamos los que vienen por defecto e introducimos los que nos parezca.

Custom NTP Servers

Seguidamente pinchamos sobre “Unnamed” en la parte superior izquierda para modificar el nombre del clúster junto con la VIP y la IP de servicios para iSCSI. Cuando estén configuradas usaremos siempre la VIP para conectarnos.

Cluster VIP

Bonus Track – Problema con las tarjetas de red


Antes de despedirnos del todo vamos a ver una cosa curiosa que nos ha pasado con las tarjetas de red. Después de estar usando el clúster unos días hemos experimentado problemas de conectividad y caídas de los nodos, lo que nos dejaba la plataforma muy inestable. En las AMT hemos detectado que los hosts de AHV estaban reportando que la interfaz eth0 se estaba quedando colgada tal y como veis en la imagen de abajo.

eth0 Hang

Este se debe al tx y rx checksumming que por defecto está activado y ya sea por problemas con el driver o con el propio hardware provoca que la interfaz se cuelgue y seguidamente se resetee.

Tx Rx Checksumming

Para solucionarlo hemos de editar el fichero rc.local dentro de la carpeta etc con el comando

vi /etc/rc.local
Edit rc.local

Añadiremos la línea indicada más abajo poniendo especial cuidado entre las mayúsculas y las minúsculas. Con ello conseguiremos que la modificación sea persistente frente a los reinicios de los nodos.

ethtool -K eth0 rx off tx off
Ethtool -K

Guardamos los cambios y reiniciamos

reboot
Node Reboot

Cuando haya terminado el reinicio comprobamos los cambios con (ojo, esta vez la “k” va en minúscula):

ethtool -k eth0

Esto ha sido todo. Quizás mas largo de lo esperado, pero esperamos que os haya servido para afianzar conceptos, aprender nuevos y dar el paso a montar vuestro propio laboratorio. ¡Es toda una aventura!

Después de estas entradas nos tomaremos un merecido descanso con los vídeos, pero… We’ll be back!

¡Hasta la próxima!

Dejar un comentario

Tu dirección de correo electrónico no será publicada.