Publicado por Indice
Post Principal
Capítulo 0: Introducción
Capítulo 1: Hardware
Capítulo 2: AMT y BIOS
Capítulo 3: Instalación
Capítulo 4: Redes y Configuración (Estas aquí)
Capítulo 4 en YouTube
¡Buenas a todos! Llegamos al final del camino. Vamos con la última entrada en la que daremos un repaso a las redes y OVS junto con la creación y configuración básica de nuestro clúster. ¡Al lío!
Esquema a alto nivel
Llegados a este punto ya tenemos los nodos instalados y el switch preparado. En la imagen de abajo podéis ver un esquema con las IP’s y las VLAN que hemos utilizado.
Esquema detallado
Si profundizamos un poco, podremos ver un esquema mucho más complejo en el que os mostramos el detalle interno de las redes de cada nodo. No os dejéis intimidar, realmente es más fácil de lo que parece.
Firewall y switch
Vamos a verlo parte por parte. El firewall PFSense está conectado a nuestro switch mediante un LACP y va a “enrutar” todas las VLAN.
Nodos y switch
Los nodos están conectados a los puertos 5,6 y 7 configurados tal y como hemos visto en el capítulo 2.
OVS
Para ver el detalle de las redes usaremos de ejemplo el nodo MINI 01, ya que los otros dos van a tener la misma configuración. Como bien sabéis sólo tienen un adaptador de red, así que el ancho de banda para la réplica de datos y la migración de máquinas será limitado.
La configuración por defecto después de la instalación y que vamos a usar para el clúster es active-backup. Esto es simbólico puesto que al tener sólo un adaptador de red no hay mucho dónde elegir.
Redes en detalle
En verde, está representada la red interna que utiliza la CVM para leer y escribir los datos de forma local además de comunicarse con el host de AHV. Las IP’s que se asignan siempre son las mismas; 192.168.5.1 para el host de AHV y 192.168.5.254 para la CVM.
En naranja tenemos la VLAN 106. La usaremos para comunicarnos con nuestra CVM, host de AHV y para replicar los datos al resto de nodos del clúster. En nuestro caso, al tratarse de una VLAN “tagueada”, va a ser necesario que lo configuremos a mano más adelante ya que por defecto se usa la VLAN nativa del switch.
En turquesa, tenemos la VLAN 100. Como hemos visto en capítulos anteriores, la vamos a usar para comunicarnos con la AMT. Hemos usado la VLAN nativa debido a que la AMT no permite asignarle un tag específico.
Por último, en azul y rojo tenemos las VLAN 110 y 112. Son las que usaremos para flas máquinas virtuales del clúster. Pertenecen al trunk y no requieren de configuración adicional.
Una vez aclarada la configuración de red, vamos a ver como “taguear” la VLAN para el host de AHV y la CVM.
Cambiar la VLAN de un host AHV
Nos conectamos a la AMT del nodo MINI 01 y hacemos login con los credenciales por defecto:
- Usuario = root
- Password = nutanix/4u
Seguidamente ejecutamos el comando:
ovs-vsctl set port br0 tag=106
Y para comprobar que se ha ejecutado correctamente lanzamos:
ovs-vsctl list port br0Veremos el campo “tag” con la VLAN que acabamos de configurar.
Tendremos que repetir los pasos en el resto de hosts de AHV, MINI 02 y MINI 03.
Cambio de VLAN en la CVM
De la misma forma que hemos cambiado la VLAN en los hosts, lo haremos en las CVM. Nos conectamos mediante la red interna a la CVM haciendo un ssh con el usuario nutanix a la IP 192.168.5.254 e introducimos la contraseña por defecto para el usuario nutanix, que será nutanix/4u.
ssh nutanix@192.168.5.254
Ejecutamos el comando detallado más abajo y esperamos a que termine.
change_cvm_vlan 106
Para comprobar que la configuración se ha aplicado correctamente ejecutamos el comando detallado más abajo, que nos mostrará en rojo la VLAN que acabamos de configurar.
virsh dumpxml 1 | grep "tag id" -C10 --color
Repetiremos el procedimiento con las otras dos CVM correspondientes a los nodos MINI 02 y MINI 03. Cuando hayamos terminado comprobaremos que llegamos tanto a los hosts de AHV como a las CVM mediante un PING.
Memoria recomendada para las CVM
La cantidad de memoria asignada a las CVM después de la instalación es de 16 GB. Para un uso general están recomendados 20 GB, pero es demasiado para unos nodos tan pequeños por lo que hemos decidido configurar las CVM con 12 GB.
Tened en cuenta que si queremos experimentar con la deduplicación será necesario ampliarla bastante y dejará los nodos casi impracticables, con toda la memoria asignada a la CVM.
Reducir la memoria de una CVM
Para reducir la memoria de una CVM nos conectamos por ssh a uno de nuestros hosts de AHV e introducimos los credenciales por defecto.
Ejecutamos el comando detallado más abajo y copiamos el nombre de la CVM.
virsh list --all
Para comprobar que la cantidad de memoria asignada a la CVM es de 16 GB lanzamos:
virsh dominfo CVM_name
Para reducirla a 12 GB primero hemos de apagar la CVM con:
virsh shutdown CVM_name
Para continuar ejecutando estos dos comandos que la establecerán a 12 GB:
virsh setmem CVM_name 12G --config
virsh setmaxmem CVM_name 12G --config
Para comprobar que se han aplicado los cambios correctamente, lanzaremos de nuevo
virsh dominfo CVM_namey veremos que efectivamente los campos Max Memory y Used Memory tienen configurados 12 GB.
El último paso será volver a arrancar la CVM con:
virsh start CVM_name
Tendremos que repetir este procedimiento con las otras dos CVM.
Creación del clúster
Con la conectividad y las CVM a punto, vamos a crear el clúster. Es tan sencillo como conectarnos por ssh a cualquiera de las CVM y lanzar el comando detallado mas abajo:
cluster -s [CVM01_IP,CVM02_IP,CVM03_IP] create
Si todo va como es debido, los servicios arrancarán sin problema.
Configuración de los servidores DNS
Con nuestro clúster vivo y coleando nos toca configurar los servidores DNS. Nos harán falta cuando hagamos el primer login en PRISM entre otras muchas cosas. Por defecto, al terminar la creación del clúster están configurados los DNS de Google:
- 8.8.8.8
- 8.8.4.4
Si bien es una opción válida, nosotros vamos a configurar los servidores de nuestros dominio para la resolución. Desde la CVM que hemos usado para crear el clúster vamos a entrar en el ncli
Después usamos el comando:
cluster get-name-serversPara comprobar que efectivamente, están configurados los servidores DNS de Google.
Los eliminamos uno a uno con:
cluster remove-from-name-servers servers=8.8.8.8
cluster remove-from-name-servers servers=8.8.4.4
Para terminar añadimos los servidores DNS de nuestro dominio con
cluster add-to-name-servers servers=172.18.0.6
cluster add-to-name-servers servers=172.18.0.7
First Login
Con las DNS a punto ya podemos hacer login por primera vez en el clúster. Nos dirigimos por https y puerto 9440 a unos de las IP’s de las CVM de la siguiente forma:
https://CVM_IP_ADDRESS:9440Hacemos login con los credenciales por defecto:
- Usuario = admin
- Password = nutanix/4u
Automáticamente nos indicará que los modifiquemos por unos más seguros
Cuando los hayamos modificado hacemos login de nuevo con el usuario admin y la contraseña modificada.
Ahora tendremos que introducir nuestros credenciales NEXT con los que hemos solicitado acceso a Nutanix Community Edition. Una vez que hayamos iniciado sesión nuestro clúster estará listo para usarse.
Cuando hayamos accedido a Prism nos iremos a la pestaña de Hardware para ver la información de nuestros nodos junto a los discos que tienen instalados.
Como véis los NVMe los reconoce perfectamente pero los SSD aparecen como HDD
Podríamos activar el HA reservation, pero esto supondría no poder usar 31.35 GB de memoria y dada la escasa cantidad de la que disponemos, no lo haremos.
Capacidad del clúster
En lo que a espacio se refiere, podemos ver que la capacidad física del clúster es de 1,89 TiB
Mientras que la lógica es de 968 GiB
Si nos fijamos en los detalles del clúster, tenemos una capacidad “resiliente” de 1,19 TiB. Este será el espacio que podremos utilizar sin riesgo aunque caiga uno de los nodos.
Servidores NTP y Cluster VIP
Vamos con los servidores NTP. En Prism nos dirigimos hacia la rueda de opciones que hay en la parte superior derecha y seleccionamos NTP Servers.
Eliminamos los que vienen por defecto e introducimos los que nos parezca.
Seguidamente pinchamos sobre “Unnamed” en la parte superior izquierda para modificar el nombre del clúster junto con la VIP y la IP de servicios para iSCSI. Cuando estén configuradas usaremos siempre la VIP para conectarnos.
Bonus Track – Problema con las tarjetas de red
Antes de despedirnos del todo vamos a ver una cosa curiosa que nos ha pasado con las tarjetas de red. Después de estar usando el clúster unos días hemos experimentado problemas de conectividad y caídas de los nodos, lo que nos dejaba la plataforma muy inestable. En las AMT hemos detectado que los hosts de AHV estaban reportando que la interfaz eth0 se estaba quedando colgada tal y como veis en la imagen de abajo.
Este se debe al tx y rx checksumming que por defecto está activado y ya sea por problemas con el driver o con el propio hardware provoca que la interfaz se cuelgue y seguidamente se resetee.
Para solucionarlo hemos de editar el fichero rc.local dentro de la carpeta etc con el comando
vi /etc/rc.local
Añadiremos la línea indicada más abajo poniendo especial cuidado entre las mayúsculas y las minúsculas. Con ello conseguiremos que la modificación sea persistente frente a los reinicios de los nodos.
ethtool -K eth0 rx off tx off
Guardamos los cambios y reiniciamos
reboot
Cuando haya terminado el reinicio comprobamos los cambios con (ojo, esta vez la “k” va en minúscula):
ethtool -k eth0
Esto ha sido todo. Quizás mas largo de lo esperado, pero esperamos que os haya servido para afianzar conceptos, aprender nuevos y dar el paso a montar vuestro propio laboratorio. ¡Es toda una aventura!
Después de estas entradas nos tomaremos un merecido descanso con los vídeos, pero… We’ll be back!
¡Hasta la próxima!