jueves, 2 de febrero de 2017

AMD 6990 CrossFireX. Dinámica de fluidos y disipación térmica – ProfessionalSAT

La semana pasada entregué uno de mis Sistemas de Altas Prestaciones especializado en proceso OpenCL mediante dos tarjetas AMD 6990 con 4 GPUs Cayman y 8 GB de GDDR5 a 5 GHz.

DSCF2305AMD 6990 CrossFireX.

Me ha llevado unas cuatro semanas todo el proceso, desde la elección de los componentes hasta el diseño de la refrigeración y la validación del sistema para asegurar su estabilidad total en cargas máximas sostenidas OpenCL.

DSCF2366

En este artículo detallaré el diseño de la exigente refrigeración del sistema y los resultados térmicos de su implementación, siendo una refrigeración por aire para un total de casi 1000W de consumo máximo.

Optimización del consumo eléctrico

El primer paso en la refrigeración de cada uno de mis Sistemas de Altas Prestaciones consiste en minimizar el consumo eléctrico de cada componente. Esto se consigue mediante la modulación independiente de los voltajes en BIOS.

DSCF2284La excelente Cooler Master Silent Pro Gold 80+ Gold alimenta el sistema.

Siempre empiezo marcando manualmente los voltajes mínimos estables (según los Data Sheets del fabricante, en este caso Intel) de cada parte del chipset. Hago lo mismo con la memoria, esta máquina se ha entregado con la DDR3 a 1.500 V.

Posteriormente entramos en la regulación de voltajes del procesador. Primero el voltaje en reposo en su estado de frecuencia mínima. En procesadores Sandy Bridge 2500K y 2600K escogidos he validado como estable los 0.712 V a 1.6 GHz.

Ahora llega la parte más dificultosa, el voltaje en carga máxima de CPU con los 4 cores al 100 %. En función del “sample que nos toque” estaremos sobre los 1.28 - 1.34 V a 4.4 GHz en un 2600K con 8 threads al 100% con absoluta estabilidad.

En las tarjetas AMD 6990 con dos GPUs Cayman cada una, los voltajes de core son 0.900 V en reposo a 250 MHz y 1.120 V en carga a 830 MHz (ajustes nominales).

DSCF2287

En los dos ejemplares utilizados a este voltaje es posible llegar a los 900 MHz fuera de especificación con absoluta precisión en las cargas de trabajo OpenCL en carga 100% con la refrigeración utilizada a unos 80 – 82º C pico tras 24 h de cálculo con usos de GPU mínimos del 98%.

En reposo en el escritorio de Windows 7 Ultimate X64 el consumo del sistema en el enchufe es de unos 145W.

DSCF2329

Debido a esta minimización del consumo eléctrico de cada componente he conseguido disminuir el consumo pico total desde los casi 1100W iniciales hasta los 939W finales en carga 100% sostenida.

DSCF2333Dual AMD 6990 CrossFireX: 939W en pico a 880 MHz, a velocidad de AMD 6790.

El consumo de la refrigeración.

Un dato a resaltar en un sistema de estas características dotado de muchos ventiladores y alguno de ellos de alto rendimiento es el consumo puro de la refrigeración.

Solamente variando del mínimo al máximo los 4 ventiladores regulables de este sistema y las dos turbinas de las dos tarjetas AMD 6990 arroja una diferencia de consumo de 40W debida al incremento de rpm de los motores de 12V. Nada despreciable.

Por otro lado recordar que los semiconductores incrementan su disipación térmica y consumo en función de la temperatura debido al incremento en el leakage de los transistores (pérdidas de corriente cuando está en off, en caso extremo degenera en electromigración). Por ello es conveniente controlar las temperaturas y no entrar en rangos peligrosos.

Diseño de la refrigeración del sistema AMD 6990 CrossFireX.

Desde el primer momento en que el cliente me encargó la máquina tuve claro que debía separar totalmente los flujos térmicos provenientes de la 4 GPUs del resto del sistema para evitar problemas en otras áreas.

DSCF2373

Además era crítico extraer inmediatamente los 850+ W disipados en las GPUs de la torre evitando crear realimentaciones de aire caliente a otras partes del sistema.

Para ello dividí la máquina en tres alturas o zonas térmicas independientes, cada una de ellas con sus flujos de aire separados y diferenciados y rutas independientes de entrada y salida de aire.

Las tres áreas de refrigeración.

En la zona superior y la intermedia (zonas 1 y 2) la salida de aire se efectúa por la parte frontal de la torre mediante ventiladores de 12 cm, en cambio en la zona inferior la salida es a través de la fuente de alimentación y del panel trasero de la torre.

DSCF2313Las tres zonas diferenciadas de refrigeración.

Zona 1. CPU, parte superior de placa base y memoria DDR3.

En esta zona se produce una disipación térmica estimada pico de unos 130 – 150 W.

La verdad es que refrigerar un Core i5 2500K a 4.2 GHz no es tarea difícil, un simple Arctic Cooling Freezer 7 PRO 2 modificado para socket 1155 basta.

DSCF2299

Esta CPU disipa unos 110W a la frecuencia objetivo de 4.2 GHz. Esta frecuencia ha sido seleccionada en función de la carga de trabajo OpenCL ejecutada en las 4 GPUs. La carga de CPU media es del 80% en los cuatro cores con el software elegido.

DSCF2302

He creado un diseño de refrigeración absolutamente desproporcionado para esta zona queriendo así crear un exceso neto de presión dentro de la torre pensado en refrigerar con este excedente la Zona 2, la más crítica.

DSCF2303La salida de aire de la Zona 1 antes de montar su ventilador de salida.

He situado tres ventiladores de entrada en esta zona, uno de 14 cm y dos de 12 cm, el refrigerador de CPU lo he montado en dirección inversa a la normal (hacia el frontal de la torre). El aire “caliente” (medido en salida frontal está a unos meros 28º C en carga máxima) de esta zona se evacúa por el frontal.

DSCF2317Durante varios días fui variando la colocación del divisor de flujo superior.

Zona 2. AMD 6990 CrossFireX.

En esta zona se produce una disipación térmica estimada continua en carga máxima de unos 800 – 850 W.

La inyección de aire frío del exterior se produce por dos entradas independientes, la primera es desde la parte superior, desde la Zona 1.

DSCF2321Entrada doble superior para aumentar la presión interna.

La segunda y más importante entrada se produce a alta presión mediante dos ventiladores Scythe de 12 cm de alto flujo colocados a 8 mm de las tarjetas AMD 6990, el aire viene del panel lateral perforado.

DSCF2305Los dos Scythe evitan los excesos térmicos en el sistema CrossFireX.

Su función es inyectar aire en el espacio inter GPUs y evitar el estancamiento de aire evitando los Hot Spots.

Sin estos ventiladores Scythe no comerciales la temperatura en tests OpenCL con carga 100% en las 4 GPUs alcanzaba los 92º C en sólo un minuto…

DSCF2388Gracias a “mis contactos” tengo acceso a componentes no comerciales.

Con ellos el pico máximo obtenido tras 24h en carga máxima OpenCL con relojes a 880 MHz (a frecuencias de AMD 6790) es de solamente 82ºC y con frecuencias nominales de 830 MHz nos quedamos en menos de 80ºC.

A modo de referencia en Furmark con carga 100% en las 4 GPUs en modo Extreme Burning alcanza 61ºC en la GPU más caliente tras 2h.

DSCF2304Estos ventiladores llevan reguladores de rpm montados en la parte trasera de la torre.

La salida del aire caliente procedente de las GPUs 1 y 3 (las GPUs a la izquierda de las tarjetas AMD 6990) sale de la torre a través del panel trasero y gracias al exceso de presión interno no vuelve a entrar (no hay reflujo) ya que en el canal entre las dos tarjetas soplan sendos ventiladores Scythe.

DSCF2379En la configuración final minimicé la turbulencia consolidando el cableado.

La evacuación de aire de las GPUs 2 y 4 es más complicada. Se  realiza por su diseño dentro de la torre amenazando a otros componentes con su potente chorro de aire a 60ºC.

DSCF2308Una de las pruebas que realicé. Tapar el final del espacio entre las tarjetas.

El objetivo en este caso consiste en crear mayor succión que la presión de salida de las turbinas de ambas tarjetas. Para ello monté otro Scythe de 12 cm justo delante de la salida de las GPUs 2 y 4 auxiliado por otro ventilador de 12 cm en la salida frontal.

DSCF2300El panel divisor de flujo en su posición final con los flujos de aire identificados.

El resultado es excelente pues no se aprecia incremento alguno (cero ºC) en ninguna temperatura interna (disco duro, placa base,…) cuando las cuatro GPUs con sus se ponen a trabajar al 100% indicando que todo el calor producido por ellas sale antes de calentar ningún componente o el chasis.

DSCF2377La configuración final.

De hecho, todos los paneles de la torre aparecen fríos al tacto en carga 100%, no así los dos chorros de aire que emergen de la parte trasera del sistema que con unos 60ºC hacen imposible mantener mucho tiempo la mano en ellos.

DSCF2318 (2)

Por el panel frontal se aprecia una clara diferencia de temperatura en la salida de la Zona 1 y la Zona 2. La Zona 1 evacúa por el ventilador superior a unos 28 – 30ºC, en cambio la Zona 2 evacúa por el central con un flujo mucho más potente a unos 42ºC.

Zona 3. Disco duro, fuente de alimentación y parte inferior de placa base.

En esta zona apenas se produce consumo eléctrico, quizás 100 W en pico entre el disco duro, el ventilador frontal y las pérdidas por efecto Joule en la excelente fuente Cooler Master PRO Gold 1200.

DSCF2322

La entrada de aire se produce por el frontal gracias al ventilador de 25 cm y sale por el panel trasero y la fuente de alimentación. La fuente recibe la mayoría del aire por el panel inferior.

DSCF2376Probé el ventilador en ambas configuraciones, entrada y salida.

Con el ventilador en entrada se consiguen mejores temperaturas, eso sí, tras aislar el frontal del caudal de salida de la Zona 2.

DSCF2313La Zona 3 al completo.

Echad un vistazo a la web de mi nueva empresa, un proyecto de gran envergadura que llevo preparando hace más de un año.

Os lo recomiendo para diseño de sistemas de altas prestaciones:

ip16_texto_300px_blanco[4][2][2][2]

Allí tenéis a vuestra disposición el formulario de contacto, para consultas sobre este artículo hacedlo más abajo en la sección de comentarios.

Y mi nuevo Blog de contenido muy técnico y actualizado donde encontraréis artículos míos sobre hardware, procesadores y sistemas y también otros posts de expertos programadores e informáticos sobre otros temas de actualidad:

infromaticapremium-blog[4][2][2][2]

Si consideras útil el contenido de este Blog, ayuda a mantenerlo ojeando algunas de las ofertas que consideres interesantes de nuestros anunciantes. Gracias de antemano.

El que tenga dudas o aportaciones tiene para ello la sección de comentarios, intentaré responder a todos y con la máxima claridad. Los Blogs deben de ser lugares de intercambio y agradezco vuestro feedback.

Carlos Yus Valero – informaticapremium      informaticapremium-logo-150px[3]

AMD 6990 CrossFire Parte 2. Sistemas de Altas Prestaciones – ProfessionalSAT

Entre ayer y hoy he completado el montaje de una máquina absolutamente excepcional, se trata de uno de mis Sistemas de Altas Prestaciones pero, en este caso, debo reconocer que he tenido que echar el resto en el diseño del sistema de refrigeración.

Está dirigida a un cliente que la va a dedicar a cálculos OpenCL acelerado por las 4 GPUs Cayman con 2 GB cada una. El procesador es un Core i5 2500K Sandy Bridge de 32 nm configurado a 4.2 GHz. Su uso, como de costumbre en mis Sistemas de Altas Prestaciones va a ser continuo e ininterrumpido, aunque en este caso creo que van a haber frecuentes paradas técnicas para limpiar las tarjetas AMD 6990.

DSCF2327El diseño de la refrigeración de esta máquina ha representado un reto extremo.

1100 W de consumo continuo

Ciertamente de un equipo que cuenta con dos AMD 6990 no puede esperarse una gran economía eléctrica en su utilización y menos si se va a utilizar para proceso OpenCL en carga 100% continua e ininterrumpida.

DSCF2287Más de 800 W de consumo y disipación térmica entre las dos AMD 6990.

He llegado a medir 1100 W de consumo en el enchufe a 220 V… lo realmente difícil es extraer todo este calor de la torre y no solo hacerlo sino hacerlo rápidamente y consiguiendo que el calor que genera un componente no afecte a los demás.

Y hay únicamente una manera, extraer ese aire caliente de cada componente por separado por rutas independientes directamente al exterior de la gigantesca torre NOX Hummer.

Para lograr refrigerar dos AMD 6990 en CrossFire he tenido que invertir el giro de los dos ventiladores que vienen de serie en la Hummer, el trasero ha quedado metiendo aire y el delantero de 25 cm extrayéndolo hacia el panel frontal.

Además he añadido cuatro ventiladores de 12 cm a unas 1300 rpm:

  • Dos en el panel frontal extrayendo el aire proveniente de las GPUs 2 y 4 directamente al exterior por el panel frontal.

DSCF2312Los dos ventiladores frontales de 12 cm extraen el aire proveniente de las GPUs 2 y 4.

  • Dos en la parte superior inyectando aire fresco sobre la zona del procesador y memoria DDR3.

DSCF2321Los ventiladores superiores introducen aire para crear exceso de presión interna.

Exclusivamente para refrigerar  las 4 GPUs Cayman he destinado además tres ventiladores Scythe Slip Stream de 12 cm de alto flujo de aire y regulables por el usuario. Sus rpm máximas rondan las 3000, se trata de una serie especial que no se haya a la venta:

  • Dos de ellos están sobre las AMD 6990 inyectando aire frío sobre ellas y en el espacio por el que toma aire la turbina de la primera tarjeta. Con esta adición he reducido en 25 ºC la temperatura de la primera tarjeta AMD 6990.

DSCF2298

  • El tercero se sitúa en la salida de aire frontal de ambas AMD 6990 y dirige el flujo de salida de las GPUs 2 y 4 hacia los dos ventiladores frontales superiores que rápidamente lo expulsan de la torre.

La torre, la enorme NOX Hummer:

Viendo como queda una placa base ATX en el interior de la Hummer nos hacemos una idea de su tamaño:

DSCF2288Parece que sobra espacio por todos lados, pero todavía no están las AMD 6990…

La verdad es que el diseño de la torre es excepcional pero no es en absoluto suficiente para poder diseñar con ella un sistema con dos AMD 6990 en CrossFire. Con la torre de serie más los dos ventiladores superiores adicionales de 12 cm las GPUs llegaban a 90ºC (concretamente la tarjeta superior que incluye las GPUs 1 y 2) en solamente un minuto de test OpenCL (!!) con el ventilador tarado la 100% y un nivel de ruido increíble.

DSCF2243Vista inferior.

Realmente alarmante… menos mal que tengo un extenso surtido de ventiladores de altas prestaciones y una de mis aficiones es la física y en concreto la dinámica turbulenta de fluidos…

DSCF2253Vista frontal, todo perforado para favorecer el flujo de aire.

DSCF2248Vista trasera antes de retirar las tapas perforadas.

DSCF2246Espacio, más espacio…

DSCF2251NOX Hummer: gigantesca, a su lado una torre ATX de tamaño medio.

DSCF2254El ventilador frontal de 25 cm, antes de darle la vuelta.

DSCF2259La parte superior contiene una tapa perforada que se puede retirar.

DSCF2260Con la tapa retirada.

DSCF2262Por esta zona se enrutan todos los cables para dejar libre la parte interior.

DSCF2263Las bahías de discos de 3.5” de color blanco. Para mejorar el flujo de aire la he retirado.

DSCF2267Perspectiva trasera.

DSCF2269Perspectiva frontal.

DSCF2271Vista interior.

DSCF2273La tapa lateral perforada.

Modificación de la torre:

En primer lugar procedí a la inversión del flujo de los dos ventiladores que trae de serie, estamos buscando un flujo de aire de atrás hacia adelante.

DSCF2300El gran ventilador de 25 cm frontal.

En segundo lugar, y contrariamente al sentido común, monté los dos ventiladores superiores de 12 cm metiendo aire sobre la zona de la CPU y hacia las AMD 6990. Interesa alejar el calor de las 4 GPUs del resto de componentes…

DSCF2299Flujo de entrada sobre CPU y memoria en dirección a las 4 GPUs Cayman.

DSCF2302Esta zona está realmente “fría” con temperaturas en carga máxima en la chapa blanca sobre los 30ºC.

En tercer lugar retiré todos los “accesorios” de la torre que pudiesen obstruir el flujo de aire, entre ellos las bahías de discos duros (excepto la inferior), las tapas traseras de los slots PCI y PCIex y los curiosos sistemas de sujeción de las tarjetas (que yo sustituyo por los clásicos y más robustos y fiables TORNILLOS).

DSCF2274Muy bonitos pero más prácticos y estables son los clásicos tornillos.

DSCF2276Vía libre al aire, y con él al polvo. La limpieza del sistema será crítica, avisado queda el cliente…

DSCF2279Por mí podían ahorrarse accesorios de este tipo…

También he eliminado todos los filtros anti polvo que incluía la torre y lo he hecho por dos razones:

  • En primer lugar para aumentar el flujo de aire y disminuir las temperaturas.
  • En segundo lugar porque solamente hay filtros en las bahías de 5.25” del panel frontal y en el ventilador inferior (al lado de la fuente de alimentación (no lo he utilizado), Por todos los demás huecos entra polvo libremente incluyendo toda la tapa lateral, el ventilador frontal de 25 cm, los ventiladores superiores y resto de ranuras de ventilación.

Para poner filtros de ese modo, es mejor no hacerlo pues son inútiles.

Continuará en la tercera entrega…

Si consideras útil el contenido de este Blog, ayuda a mantenerlo ojeando algunas de las ofertas que consideres interesantes de nuestros anunciantes.

Carlos Yus Valero – informaticapremium      informaticapremium-logo-150px[3]

AMD 6990 CrossFire. Sistemas de Altas Prestaciones – ProfessionalSAT

Aunque últimamente estoy muy ocupado con otra de mis pasiones, el motor, también tengo tiempo para mis Sistemas de Altas Prestaciones. Ahora mismo estoy enfrascado en el diseño de dos de ellos de características absolutamente divergentes y en la ampliación de una tercera máquina.

DSCF1968Dos AMD 6990 para un Sistema de Altas Prestaciones CrossFire. 1200€.

Todos ellos están basados de procesadores Core i7, los dos nuevos en CPUs Sandy Bridge de 32 nm, uno de ellos a 4.8 GHz y el tercero es un i7 950 configurado a 4 GHz.

DSCF1965Un portento en potencia bruta de cálculo: 6144 SPs.

El primer sistema está sistema diseñado sobre dos AMD Radeon 6990 biprocesador, va a ser utilizado en cálculo intensivo e ininterrumpido acelerado por las 4 GPUs disponibles. No es muy importante la potencia del procesador o la cantidad de memoria del sistema, sí lo es en cambio la potencia combinada de las GPUs.

Nos encontramos con una potencia de cálculo increíble, a frecuencias nominales obtenemos:

  • 1536 SPs por chip. 3072 SPs por tarjeta y 6144 SPs entre las dos AMD 6990.
  • 2 GB de GDDR5 @ 5 GHz por chip. 4 GB por tarjeta y 8 GB entre las dos 6990.
  • 5.10 GFlops @ 830 MHz por tarjeta (frecuencia nominal). Más de 10 GFlops para el conjunto CrossFire.

DSCF1966Resulta difícil imaginar el calor que pueden generar estos dos ejemplares…

Las AMD 6990 llegan a disipar más de 400W por unidad, al haber dos en este sistema nos encontramos con más de 800W solamente para las GPUs por ello en esta máquina ha habido que prestar especial atención a varios aspectos.

DSCF1981La turbina que impulsa aire sobre los dos radiadores de los dos chips Radeon.

Por un lado es crítica la elección de la torre y los sistemas de refrigeración y ventilación. Debe de ser muy espaciosa y contar con un óptimo flujo de aire.

DSCF1970Tras esta enigmática etiqueta se esconde el switch para activar la segunda BIOS.

Cambiando de posición el switch conseguimos  MHz extra en los cores permaneciendo el resto invariado, no es una mejora muy importante teniendo además en cuenta que aumenta el voltaje de alimentación de los cores y con ello MUCHO la disipación térmica.

DSCF1976A través de las aspas vemos la circuitería de alimentación de estos monstruos.

VRMLos VRM de la AMD 6990.

Las consideraciones acústicas, siento decirlo, pero en este sistema están de más. Ya hablé y acordé con el cliente que el nivel de ruido sería sencillamente insoportable. Simplemente es difícil extraer más de 1000 W de calor manteniendo temperaturas internas del aire sobre los 40 ºC en verano. Éste es el objetivo, temperaturas controladas y estabilidad total.

DSCF1978Toda la placa está cubierta por radiadores de aluminio negros.

En segundo lugar es necesaria una fuente de alimentación de calidad excepcional y alta potencia, 1.2 KW. En siguientes artículos hablaré sobre el resto de componentes.

DSCF1969La parte trasera igualmente está cubierta por placas de disipación de aluminio negro.

También es crítica la elección de la placa base. Es necesario que posea separación suficiente entre los dos slots PCIex donde se conectarán las dos AMD 6990. Con dos artefactos de 400W nos interesa que entre ellas haya un flujo adecuado de aire.

DSCF1971La salida de aire caliente hacia el interior del chasis a través del radiador de aluminio.

Estas GPUs cuentan con sistemas de refrigeración altamente especializados y realmente utilizan la tecnología disponible al límite. Ambos chips llevan intercambiadores de calor de tipo cámara de vapor, mucho más eficientes que los típicos heat pipes.

RadiadorLos dos Vapor Chambers con los restos de los thermal pads.

DSCF1983Se aprecia la base de cobre ya desde fuera.

DSCF1974Toda la parte trasera está cubierta a excepción de los propios procesadores.

DSCF19734 puertos mini Display Port.

DSCF1982Cuidado con los dedos…

En resumen, conforme vaya avanzando el montaje del sistema veré como evoluciona el diseño de todo el sistema de refrigeración, ya que va a ser un verdadero reto.

El objetivo es conseguir temperaturas bajas y expulsar lo antes posible todo el calor proveniente (estimado en algo más de 500W) de las salidas traseras de las dos AMD 6990. Los otros 300W (o algo más) salen directamente al exterior por la parte trasera de las GPUs.

Es muy importante que este calor no represente un peligro para otros componentes de la máquina y no acorte su vida. Por otro lado debo intentar limitar en lo posible la entrada de suciedad en el equipo para que no sea necesario limpiar las GPUs muy a menudo.

 Si consideras útil el contenido de este Blog, ayuda a mantenerlo ojeando algunas de las ofertas que consideres interesantes de nuestros anunciantes.

Carlos Yus Valero – informaticapremium      informaticapremium-logo-150px[3]