jueves, 2 de febrero de 2017

AMD 6990 CrossFireX. Dinámica de fluidos y disipación térmica – ProfessionalSAT

La semana pasada entregué uno de mis Sistemas de Altas Prestaciones especializado en proceso OpenCL mediante dos tarjetas AMD 6990 con 4 GPUs Cayman y 8 GB de GDDR5 a 5 GHz.

DSCF2305AMD 6990 CrossFireX.

Me ha llevado unas cuatro semanas todo el proceso, desde la elección de los componentes hasta el diseño de la refrigeración y la validación del sistema para asegurar su estabilidad total en cargas máximas sostenidas OpenCL.

DSCF2366

En este artículo detallaré el diseño de la exigente refrigeración del sistema y los resultados térmicos de su implementación, siendo una refrigeración por aire para un total de casi 1000W de consumo máximo.

Optimización del consumo eléctrico

El primer paso en la refrigeración de cada uno de mis Sistemas de Altas Prestaciones consiste en minimizar el consumo eléctrico de cada componente. Esto se consigue mediante la modulación independiente de los voltajes en BIOS.

DSCF2284La excelente Cooler Master Silent Pro Gold 80+ Gold alimenta el sistema.

Siempre empiezo marcando manualmente los voltajes mínimos estables (según los Data Sheets del fabricante, en este caso Intel) de cada parte del chipset. Hago lo mismo con la memoria, esta máquina se ha entregado con la DDR3 a 1.500 V.

Posteriormente entramos en la regulación de voltajes del procesador. Primero el voltaje en reposo en su estado de frecuencia mínima. En procesadores Sandy Bridge 2500K y 2600K escogidos he validado como estable los 0.712 V a 1.6 GHz.

Ahora llega la parte más dificultosa, el voltaje en carga máxima de CPU con los 4 cores al 100 %. En función del “sample que nos toque” estaremos sobre los 1.28 - 1.34 V a 4.4 GHz en un 2600K con 8 threads al 100% con absoluta estabilidad.

En las tarjetas AMD 6990 con dos GPUs Cayman cada una, los voltajes de core son 0.900 V en reposo a 250 MHz y 1.120 V en carga a 830 MHz (ajustes nominales).

DSCF2287

En los dos ejemplares utilizados a este voltaje es posible llegar a los 900 MHz fuera de especificación con absoluta precisión en las cargas de trabajo OpenCL en carga 100% con la refrigeración utilizada a unos 80 – 82º C pico tras 24 h de cálculo con usos de GPU mínimos del 98%.

En reposo en el escritorio de Windows 7 Ultimate X64 el consumo del sistema en el enchufe es de unos 145W.

DSCF2329

Debido a esta minimización del consumo eléctrico de cada componente he conseguido disminuir el consumo pico total desde los casi 1100W iniciales hasta los 939W finales en carga 100% sostenida.

DSCF2333Dual AMD 6990 CrossFireX: 939W en pico a 880 MHz, a velocidad de AMD 6790.

El consumo de la refrigeración.

Un dato a resaltar en un sistema de estas características dotado de muchos ventiladores y alguno de ellos de alto rendimiento es el consumo puro de la refrigeración.

Solamente variando del mínimo al máximo los 4 ventiladores regulables de este sistema y las dos turbinas de las dos tarjetas AMD 6990 arroja una diferencia de consumo de 40W debida al incremento de rpm de los motores de 12V. Nada despreciable.

Por otro lado recordar que los semiconductores incrementan su disipación térmica y consumo en función de la temperatura debido al incremento en el leakage de los transistores (pérdidas de corriente cuando está en off, en caso extremo degenera en electromigración). Por ello es conveniente controlar las temperaturas y no entrar en rangos peligrosos.

Diseño de la refrigeración del sistema AMD 6990 CrossFireX.

Desde el primer momento en que el cliente me encargó la máquina tuve claro que debía separar totalmente los flujos térmicos provenientes de la 4 GPUs del resto del sistema para evitar problemas en otras áreas.

DSCF2373

Además era crítico extraer inmediatamente los 850+ W disipados en las GPUs de la torre evitando crear realimentaciones de aire caliente a otras partes del sistema.

Para ello dividí la máquina en tres alturas o zonas térmicas independientes, cada una de ellas con sus flujos de aire separados y diferenciados y rutas independientes de entrada y salida de aire.

Las tres áreas de refrigeración.

En la zona superior y la intermedia (zonas 1 y 2) la salida de aire se efectúa por la parte frontal de la torre mediante ventiladores de 12 cm, en cambio en la zona inferior la salida es a través de la fuente de alimentación y del panel trasero de la torre.

DSCF2313Las tres zonas diferenciadas de refrigeración.

Zona 1. CPU, parte superior de placa base y memoria DDR3.

En esta zona se produce una disipación térmica estimada pico de unos 130 – 150 W.

La verdad es que refrigerar un Core i5 2500K a 4.2 GHz no es tarea difícil, un simple Arctic Cooling Freezer 7 PRO 2 modificado para socket 1155 basta.

DSCF2299

Esta CPU disipa unos 110W a la frecuencia objetivo de 4.2 GHz. Esta frecuencia ha sido seleccionada en función de la carga de trabajo OpenCL ejecutada en las 4 GPUs. La carga de CPU media es del 80% en los cuatro cores con el software elegido.

DSCF2302

He creado un diseño de refrigeración absolutamente desproporcionado para esta zona queriendo así crear un exceso neto de presión dentro de la torre pensado en refrigerar con este excedente la Zona 2, la más crítica.

DSCF2303La salida de aire de la Zona 1 antes de montar su ventilador de salida.

He situado tres ventiladores de entrada en esta zona, uno de 14 cm y dos de 12 cm, el refrigerador de CPU lo he montado en dirección inversa a la normal (hacia el frontal de la torre). El aire “caliente” (medido en salida frontal está a unos meros 28º C en carga máxima) de esta zona se evacúa por el frontal.

DSCF2317Durante varios días fui variando la colocación del divisor de flujo superior.

Zona 2. AMD 6990 CrossFireX.

En esta zona se produce una disipación térmica estimada continua en carga máxima de unos 800 – 850 W.

La inyección de aire frío del exterior se produce por dos entradas independientes, la primera es desde la parte superior, desde la Zona 1.

DSCF2321Entrada doble superior para aumentar la presión interna.

La segunda y más importante entrada se produce a alta presión mediante dos ventiladores Scythe de 12 cm de alto flujo colocados a 8 mm de las tarjetas AMD 6990, el aire viene del panel lateral perforado.

DSCF2305Los dos Scythe evitan los excesos térmicos en el sistema CrossFireX.

Su función es inyectar aire en el espacio inter GPUs y evitar el estancamiento de aire evitando los Hot Spots.

Sin estos ventiladores Scythe no comerciales la temperatura en tests OpenCL con carga 100% en las 4 GPUs alcanzaba los 92º C en sólo un minuto…

DSCF2388Gracias a “mis contactos” tengo acceso a componentes no comerciales.

Con ellos el pico máximo obtenido tras 24h en carga máxima OpenCL con relojes a 880 MHz (a frecuencias de AMD 6790) es de solamente 82ºC y con frecuencias nominales de 830 MHz nos quedamos en menos de 80ºC.

A modo de referencia en Furmark con carga 100% en las 4 GPUs en modo Extreme Burning alcanza 61ºC en la GPU más caliente tras 2h.

DSCF2304Estos ventiladores llevan reguladores de rpm montados en la parte trasera de la torre.

La salida del aire caliente procedente de las GPUs 1 y 3 (las GPUs a la izquierda de las tarjetas AMD 6990) sale de la torre a través del panel trasero y gracias al exceso de presión interno no vuelve a entrar (no hay reflujo) ya que en el canal entre las dos tarjetas soplan sendos ventiladores Scythe.

DSCF2379En la configuración final minimicé la turbulencia consolidando el cableado.

La evacuación de aire de las GPUs 2 y 4 es más complicada. Se  realiza por su diseño dentro de la torre amenazando a otros componentes con su potente chorro de aire a 60ºC.

DSCF2308Una de las pruebas que realicé. Tapar el final del espacio entre las tarjetas.

El objetivo en este caso consiste en crear mayor succión que la presión de salida de las turbinas de ambas tarjetas. Para ello monté otro Scythe de 12 cm justo delante de la salida de las GPUs 2 y 4 auxiliado por otro ventilador de 12 cm en la salida frontal.

DSCF2300El panel divisor de flujo en su posición final con los flujos de aire identificados.

El resultado es excelente pues no se aprecia incremento alguno (cero ºC) en ninguna temperatura interna (disco duro, placa base,…) cuando las cuatro GPUs con sus se ponen a trabajar al 100% indicando que todo el calor producido por ellas sale antes de calentar ningún componente o el chasis.

DSCF2377La configuración final.

De hecho, todos los paneles de la torre aparecen fríos al tacto en carga 100%, no así los dos chorros de aire que emergen de la parte trasera del sistema que con unos 60ºC hacen imposible mantener mucho tiempo la mano en ellos.

DSCF2318 (2)

Por el panel frontal se aprecia una clara diferencia de temperatura en la salida de la Zona 1 y la Zona 2. La Zona 1 evacúa por el ventilador superior a unos 28 – 30ºC, en cambio la Zona 2 evacúa por el central con un flujo mucho más potente a unos 42ºC.

Zona 3. Disco duro, fuente de alimentación y parte inferior de placa base.

En esta zona apenas se produce consumo eléctrico, quizás 100 W en pico entre el disco duro, el ventilador frontal y las pérdidas por efecto Joule en la excelente fuente Cooler Master PRO Gold 1200.

DSCF2322

La entrada de aire se produce por el frontal gracias al ventilador de 25 cm y sale por el panel trasero y la fuente de alimentación. La fuente recibe la mayoría del aire por el panel inferior.

DSCF2376Probé el ventilador en ambas configuraciones, entrada y salida.

Con el ventilador en entrada se consiguen mejores temperaturas, eso sí, tras aislar el frontal del caudal de salida de la Zona 2.

DSCF2313La Zona 3 al completo.

Echad un vistazo a la web de mi nueva empresa, un proyecto de gran envergadura que llevo preparando hace más de un año.

Os lo recomiendo para diseño de sistemas de altas prestaciones:

ip16_texto_300px_blanco[4][2][2][2]

Allí tenéis a vuestra disposición el formulario de contacto, para consultas sobre este artículo hacedlo más abajo en la sección de comentarios.

Y mi nuevo Blog de contenido muy técnico y actualizado donde encontraréis artículos míos sobre hardware, procesadores y sistemas y también otros posts de expertos programadores e informáticos sobre otros temas de actualidad:

infromaticapremium-blog[4][2][2][2]

Si consideras útil el contenido de este Blog, ayuda a mantenerlo ojeando algunas de las ofertas que consideres interesantes de nuestros anunciantes. Gracias de antemano.

El que tenga dudas o aportaciones tiene para ello la sección de comentarios, intentaré responder a todos y con la máxima claridad. Los Blogs deben de ser lugares de intercambio y agradezco vuestro feedback.

Carlos Yus Valero – informaticapremium      informaticapremium-logo-150px[3]

18 comentarios:

  1. Solo decirte una cosa: BRAVO por tu explicación y por el PC que has conseguido, todo un reto disipar tantísimo calor.

    Solo una duda: ¿los ventiladores superiores son unos Xilence verdad? Creo que hay modelos que mueven más aire, y teniendo en cuenta la sonoridad de las 6990 no creo que moleste mucho más unos Scythe GT a 4200rpm por poner un ejemplo

    Un saludo y sigue con el blog!

    ResponderEliminar
  2. Hola Carlos,

    Muy interesante la disposición de los ventiladores. Está todo al revés por así decirlo, no sé, tener esas mediciones en las temp... No lo esperaba. Se aprecia que no sólo es cuestión de colocar ventiladores, esto es todo un trabajo de mecánica de fluidos.

    Me retracto de mis palabras en tu artículo anterior.

    En fin, un saludo y esperamos más proyectos tuyos.


    Un saludo.

    ResponderEliminar
  3. Álvaro,

    Sí, efectivamente son Xilence de 12 cm. Con unos Scythe GT como comentas habría todavía más flujo de aire, pero en el lugar en el que interesaya están los 3 Scythe.

    En el resto de la torre no son necesarios realmente y por eso opté por los Xilence.

    Por otro lado comentar que el sistema en reposo es bastante silencioso:

    Los 3 Scythe y el Xilence superior del frontal van regulados por potenciómetros y las turbinas de las AMD 6990 giran lentamente en reposo con un perfil creado al efecto.

    Eso sí, en carga máxima de GPUs domina claramente el ruido de las turbinas sobre el resto de ventiladores.

    Un saludo,

    Carlos Yus.

    ResponderEliminar
  4. Daniel,

    Ciretamente diseñar estos sistemas extremos no es tarea fácil.

    Hay que tener en cuenta muchos factores y contar con todas las posibles eventualidades, además, es necesario muchas veces "formar" al cliente en el uso cotidiano de su sistema (léase limpieza...)

    El cliente pide, y tras un estudio preliminar veo si es posible llevar a la realiadad su idea y de ahí en adelante empieza mi trabajo.

    Sobre esta máquina en concreto, ya comenté que sin los Scythe la temperatura en test OpenCL llegaba a más de 90ºC en 1 minuto en la tarjeta superior. Literalmente daba miedo.

    Hay que inyectar aire con gran presión y por otro lado evacuar inmediatamente el calor saliente.

    O eso o una refrigeración líquida de calidad, con su coste y mantenimiento asociados, no hay más opciones.

    Un saludo,

    Carlos Yus.

    ResponderEliminar
  5. Está guay tu artículo! Pero veo mucha "potancia" ahí... que si fuentes de 1200W que si 6990s...

    Molaría que hicieras una entrada intentando colocar un Fusion A8-3500M en una caja mini-ITX como la A+case Cupid 1 o la Compucase 8K01

    ResponderEliminar
  6. Buenas Tardes

    He comprado un equipo en el que quiero montar 4 GPU Saphire, pero me he encontrado con el problema de la placa base, que a partir de 2 GPU (4 cores), solo me reconoce 1 core por cada GPU, con lo que cada tarjeta funciona al 50%. Además, con windows pasa algo parecido y es que creo que solo reconoce hasta 4 cores, poniendo los dummies correspondientes. ¿Sabrías decirme de alguna placa base que pueda albergar las 4 GPU(8 cores)y puedan funcionar al 100%?

    Gracias

    Saludos cordiales
    Jose Vicente

    ResponderEliminar
  7. Carlos excelente trabajo realizado y magnífico post.

    Podrías explicar a veces algunos detalles que aparentemente son menos relevantes pero que a su vez son importantes:

    1) ¿Qué utilizas como divisores del flujo? Veo que aprovechas las espumas que vienen en las cajas de algunos componentes. ¿Es esto lo más óptimo? ¿Resistirá bien con el paso del tiempo las altas temperaturas?

    2) ¿Cómo sujetas los ventiladores colocados fuera de posiciones preestablecidas? A veces montando sistemas extremos me encuentro con este tipo de problemas, usando el ingenio se resuelve, pero tú que los montas frecuentemente seguro que tienes algunos trucos o consejos interesantes que suelen repetirse.

    Un saludo y sigue con tu blog. Ya valoraba tu trabajo pero desde que soy bloguero activo sé de primera mano el tiempo que lleva realizar una entrada de blog trabajada.

    ResponderEliminar
  8. Anónimo,

    No dudes que publicaré pruebas de sistemas basados en APUs AMD de las series E y A. De echo ya he montado varios modelos, el problema es el tiempo.

    Más que nada me interesa la micro arquitectura de estos procesadores por lo que seguramente los artículos irán a otro de mis Blogs, LowlevelHardware.

    José Vicente,

    El problema, más que de placa base, es de sistema operativo y drivers. Simplemnete AMD no contempla un "octal - CrossFire" y de ahí tus problemas.

    Sin duda debe de haner algún modo de solucionarlo, pero no me he encontrado en esa situación...

    dPunish3R,

    Sobre los dicisores de flujo, depende del ssitema utilizo un material u otro.

    En el pasado he usado planchas transparentes de plástico duro, su problema es que a veces vibran si no están perfectamente sujetos. Aún así otras veces entran en resonancia con algún componente.

    lo óptimo son las espumas que comentan, son silenciosas (no vibran nunca9 y permanecen fácilmente en su posición.

    Sobre temperaturas, en estos ssitemas nunca se alcanzan más de 35ºC en torre...

    Los ventiladores los sujeto con cuatro bridas elásticas tensas. No producen vibraciones ni ruidos de acoplamiento y quedan perfectamente sujetos.

    Un saludo y gracias por tus felicitaciones.

    Carlos Yus.

    ResponderEliminar
  9. Este comentario ha sido eliminado por el autor.

    ResponderEliminar
  10. ¿Como puedo contactar con el creador del Blog para la compra de un PC?

    ResponderEliminar
  11. Déjame una dirección de email y me pondré en contacto contigo.

    Un saludo,

    Carlos Yus.

    ResponderEliminar
  12. calvo023@gmail.com

    Ahora mismo no tenia pensado pillarme un pc, pero si para dentro de un mes y pico. Thankz

    ResponderEliminar
  13. Hola

    hace rato habia visto tus blogs enteros, pero nunca comenté nada creo :/

    Yo queria saber como conseguir el medidor de wattage que utilizas.

    Soy de argentina.. y acá las cosas funcionan a 220v.

    Desde ya muchas gracias y mucha suerte con todo :)

    ResponderEliminar
  14. fede007_29,

    Los medidores de consumo eléctrico son muy baratos, al menos aquí en España. En cualquier hi`permercado tipo Carrefur o similar los hay y cuestan de 20 a 40 € los modelos sencillos que son los adecuados para este tipo de medidas.

    Si lo que te interesa es controlar tensiones y amperajes de salidas individuales de la fuente (12V, 5V, 3.3V, ATX 12V CPU,...) ya tienes que adquirir un buen polímetro (tester), los hay de calidad por unos 50 - 80 €.

    Un saludo,

    Carlos Yus.

    ResponderEliminar
  15. Ven una pregunta si yo compro un pc de estos y lo pongo en mi cuarto, la salida trasera me va a calentar el cuarto a 60º? Me muero!
    pd: en mi cuarto actualmente tengo un pc a 3.2 GHZ con 8GB (2 de 4GB) en una torre común pero no me aguanto ni la bulla de ventiladores 90mm x3 + uno de cpu en la entrada de la torre (sin tapas) como hago para enfriarlo y reducir el ruido con poco presupuesto?

    ResponderEliminar
  16. Samuel,

    Podemos decir que uno de estos sistemas es equivalente a un calefactor de unos 1000 W, cada watt de consumo es 1 watt de calor.

    Obviamente exigen ventilaciones o refrigeraciones adecuadas de las estancias donde se alojan.

    Uno de mis clientes posee 12 máquinas Core i7 a 4 GHz efectuando cálculos continuos ininterrumpidamente (nunca se apagan) y tiene 2 aparatos de aire acondicionado dedicados a ellas.

    Calculo que disipan en conjunto unos 4000 W en cálculo intensivo.

    Sobre tu equipo, es mucho mejor cambiar si es posible a ventilacdores de 12 cm por su mucho mejor rendimiento acústico - temperatura. Menor rpm, mismo flujo.

    Un saludo,

    Carlos Yus.

    ResponderEliminar
  17. Impresionante artículo, se que vengo a comentar algo tarde pero no me quiero quedar sin decirte lo interesante y excelente que esta tu artículo. Yo soy muy aficionado del hardware y del modding pero no tengo preparación en todas estas ramas como mecánica de fluidos ni nada de eso. Así que tu explicación me hace conocer mucho más de este tema.

    Saludos.

    ResponderEliminar
    Respuestas
    1. Me alegra ver que despierto la curiosidad sobre temas más "científicos" que el rendimiento puro del hardware.

      Ciertamente, es muy útil tener conocimientos de física por su fácil aplicación en muchas áreas, entre ellas el diseño de sistemas de altas prestaciones.

      lo que también es muy satisfactorio es ver que puedes diseñar una máquina de un modo que todos decían que era imposible, sin recurrir a costosos y mastodónticos radiadores con refrigeración líquida para las 4 GPUs AMD.

      Por cierto, señalar que a fecha de hoy, en Febrero de 2013, la máquina sigue calculando sin parar y sin errores. Cada mes se limpia estrictamente con aire comprimido, y nada más.

      Saludos,

      Carlos Yus.

      Eliminar

Nota: solo los miembros de este blog pueden publicar comentarios.