DeepLearning11 un Servidor con 10x NVIDIA GTX 1080Ti para Aprendizaje Profundo

En Julio del 2017 ServeTheHome mostró su Servidor DeepLearning10 con 8x GPU NVIDIA GTX 1080 orientado a aprendizaje profundo. Ahora presentan DeepLearning11 con 10x GPU NVIDIA GTX 1080Ti de 11GB de Memoria Gráfica, Mellanox Infiniband y que entra en un rack compacto de tamaño 4.5U. Hay una diferencia importante entre los dos modelos mencionados el DeepLearning10 y DeepLearning11. Este último tiene un diseño de “single-root” algo que se ha popularizado en el espacio del aprendizaje profundo.

10x NVIDIA GTX 1080 TI FE Plus Mellanox Top

ServeTheHome está creando máquinas de referencia para deep learning y no precisamente para teorizar, sino que estas máquinas están siendo usadas por sus equipos de investigación y sus clientes.

Los Componentes de DeepLearning11 en las Palabras de STH:

Si le preguntáramos a NVIDIA nos dirían que compráramos Tarjetas Gráficas Tesla o Quadro, ya que, NVIDIA dice específicamente que los servidores OEMs no pueden usar su línea GTX. Como un Sitio Editorial ServeTheHome tiene un presupuesto limitado por tanto compramos 10x NVIDIA GTX 1080Ti cada una equipada con 11GB de Memoria Gráfica (8GB en la GTX 1080) y 3584 CIUDA Cores (2560 en la GTX 1080). La diferencia en precio de este upgrade fue del orden de los $1.500 comprando a múltiples distribuidores.

DeepLearning11 GTX 1080 Ti Same CPU Opposite Ends

Nuestro sistema base es el Supermicro SYS-4028GR-TR2 el cual no solo es el adecuado para tantas GPU sino que también es single root chassis a diferencia del DeepLearning10 dual root.

Supermicro 4028GR TR Bump For GTX Power Cables

Tal como el armado del DeepLearning10, el DeepLearning11 ocupa el formato total de un rack 4.5U. Esto ayuda a que las Tarjeta Gráficas de NVIDIA queden con sus conectores de poder hacia el frente.

Mellanox ConnectX-3 MCX354A-FCBT

Componentes de Red:

Para la parte de red usamos un adaptador Mellanox ConnectX-3 Pro VPI que soporta 40GbE (Gigabit Ethernet) así como también una Infiniband (deep learning network) de 56Gbps. Tuvimos la tarjeta en nuestras manos pero usar la FDR Infiniband con RDMA es algo muy popular en estas maquinas para aprendizaje profundo. 1GbE/ 10GbE simplemente no es suficiente para alimentar estas rápidas máquinas. Instalamos un switch Intel Omni-Patch en nuestro laboratorio y será nuestra primera fábrica de 100Gbps.

CPU, RAM y PSU:

En términos de CPU y Memoria RAM hemos usado 2x Procesadores Intel Xeon E5-2628L V4 y 256GB de ECC DDR4 RAM. Es necesario saber que este tipo de procesadores son comunes en este tipo de sistemas dando 9.6GT/s (Giga Transfers per second) de velocidad de QPI (Quick Path Interconnect). Nuestro sistema utiliza 4 PSUs las cuales son necesarias para alimentar nuestra configuración de 10x NVIDIA GTX 1080Ti.

Pruebas realizadas:

Para testear esto se dejó el sistema procesando un modelo de datos gigante por unos días para comprobar que cantidad de poder usaba. El resultado fueron 2600Watt lo cual es muy bueno y notamos picos de 3000Watt a 3200Watt sin que las GPU tocaran el límite del Power Target.

Durante un modelo de “password cracking” van a ver que hubo un pico de 5278Watt. El pico durante unas pocas semanas usando diferentes problemas y espacios de trabajo de aprendizaje profundo fue de 4000Watt.

Como podrán imaginar DeepLearning10 y DeepLearning11 utilizan mucho poder. Tan solo esos dos servidores suman un total de 5kWatt con picos más grandes aún.

Fuente: servethehome

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión /  Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión /  Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión /  Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión /  Cambiar )

Conectando a %s