¿Necesita una máquina que pueda entregar cientos de billones de cálculos de punto flotante por segundo? ¿O necesita una historia de bar sobre cómo la supercomputadora en su sótano abrió un interruptor? Construir su propio clúster de cómputo de alto rendimiento, también conocido como supercomputadora, es un desafío que cualquier experto en tecnología con un fin de semana de tiempo libre y algo de dinero para gastar puede enfrentar. Técnicamente hablando, una supercomputadora multiprocesador moderna es una red de computadoras que trabajan juntas en paralelo para resolver un problema. Este artículo describirá brevemente cada paso del proceso, centrándose en el hardware y el software.
Pasos
Paso 1. Primero determine los componentes de hardware y los recursos necesarios
Necesitará un nodo principal, al menos una docena de nodos informáticos idénticos, un conmutador Ethernet, una unidad de distribución de energía y un bastidor. Determine la demanda eléctrica, la refrigeración y el espacio necesarios. También decida qué dirección IP desea para sus redes privadas, cómo nombrar los nodos, qué paquetes de software desea instalar y qué tecnología desea proporcionar las capacidades de computación paralela (más sobre esto más adelante).
- Aunque el hardware es caro, todo el software enumerado en este instructivo es gratuito y la mayoría son de código abierto.
- Si desea ver qué tan rápido sería en teoría su superordenador, use esta herramienta:
Paso 2. Construya los nodos de cálculo
Deberá ensamblar los nodos de cómputo o adquirir servidores prediseñados.
- Elija un chasis de servidor de computadora que maximice el espacio, la refrigeración y la eficiencia energética.
- O puede utilizar una docena de servidores obsoletos y usados, cuyo conjunto superará la suma de sus partes y, sin embargo, le permitirá ahorrar una cantidad considerable de dinero en efectivo. Todos los procesadores, adaptadores de red y placas base deben ser idénticos para que todo el sistema funcione bien en conjunto. Por supuesto, no se olvide de la RAM y el almacenamiento para cada nodo y al menos una unidad óptica para el nodo principal.
Paso 3. Instale los servidores en el bastidor
Empiece desde abajo, de modo que la rejilla no sea pesada en la parte superior. Necesitará un amigo que lo ayude con esto: los servidores densos pueden ser muy pesados y es difícil guiarlos por los rieles que los sujetan al bastidor.
Paso 4. Instale el conmutador Ethernet sobre el chasis del servidor
Aproveche este momento para configurar el conmutador: permita tamaños de tramas gigantes de 9000 bytes, establezca la dirección IP en la dirección estática que decidió en el paso 1 y desactive los protocolos de enrutamiento innecesarios como SMTP Snooping.
Paso 5. Instale la PDU (unidad de distribución de energía)
Dependiendo de la cantidad de corriente que puedan necesitar sus nodos con la carga máxima, es posible que necesite 220 voltios para la computación de alto rendimiento.
Paso 6. Con todo instalado, puede comenzar el proceso de configuración
Linux es el sistema operativo de facto para los clústeres de HPC; no solo es el entorno ideal para la informática científica, sino que no cuesta nada instalarlo en cientos o incluso miles de nodos. ¡Imagínese cuánto costaría instalar Windows en todos esos nodos!
- Comience instalando la última versión del BIOS y el firmware de la placa base, que debería ser el mismo en todos los nodos.
- Instale su distribución de Linux preferida en cada nodo, con una interfaz de usuario gráfica para el nodo principal. Las opciones populares incluyen CentOS, OpenSuse, Scientific Linux, RedHat y SLES.
- Este autor recomienda encarecidamente utilizar la distribución de clúster de Rocks. Además de instalar todas las herramientas necesarias para que funcione un clúster de cómputo, Rocks utiliza un gran método para 'distribuir' muchas instancias de sí mismo a los nodos muy rápidamente mediante el arranque PXE y el procedimiento de 'Kick Start' de Red Hat.
Paso 7. Instale la interfaz de paso de mensajes, el administrador de recursos y otras bibliotecas necesarias
Si no instaló Rocks en el paso anterior, deberá configurar manualmente el software necesario para habilitar los mecanismos de computación en paralelo.
- Primero, necesitará un sistema de gestión de bash portátil, como Torque Resource Manager, que le permite dividir y distribuir tareas a varias máquinas.
- Empareje Torque con el Programador de Clúster de Maui para completar la configuración.
- A continuación, deberá instalar la interfaz de paso de mensajes, necesaria para que los procesos individuales en los nodos informáticos separados compartan los mismos datos. OpenMP es una obviedad.
- No olvide las bibliotecas y compiladores matemáticos de subprocesos múltiples para crear sus programas informáticos en paralelo. ¿Mencioné que deberías instalar Rocks?
Paso 8. Conecte en red los nodos de cómputo
El nodo principal envía las tareas de cómputo a los nodos de cómputo, que a su vez deben devolver el resultado, además de enviarse mensajes entre sí. Cuanto más rápido, mejor.
- Utilice una red Ethernet privada para conectar todos los nodos del clúster.
- El nodo principal también puede actuar como servidor NFS, PXE, DHCP, TFTP y NTP a través de la red Ethernet.
- Debe separar esta red de las redes públicas, lo que garantiza que los paquetes de transmisión no interfieran con otras redes en su LAN.
Paso 9. Pruebe el clúster
Lo último que puede querer hacer antes de liberar toda esta potencia informática a sus usuarios es probar su rendimiento. El benchmark HPL (High Performance Lynpack) es una opción popular para medir la velocidad computacional del clúster. Deberá compilarlo desde el código fuente con todas las optimizaciones posibles que ofrece su compilador para la arquitectura que elija.
- Por supuesto, debe compilar desde la fuente todas las opciones de optimización posibles para su plataforma. Por ejemplo, si usa CPU AMD, compile con Open64 con un nivel de optimización -0fast.
- Compare sus resultados en TOP500.org para comparar su clúster con las 500 supercomputadoras más rápidas del mundo.
Video: al utilizar este servicio, es posible que cierta información se comparta con YouTube
Consejos
- Para velocidades de red realmente altas, consulte las interfaces de red InfiniBand. Sin embargo, prepárate para pagar precios superiores.
- IPMI puede facilitar la administración de un clúster grande al proporcionar KVM sobre IP, ciclo de energía remoto y más.
- Utilice Ganglia para monitorear las cargas computacionales en los nodos.
