INCARMEDIA.RU

Технологии, мультимедиа, дизайн

  • Увеличить размер шрифта
  • Размер шрифта по умолчанию
  • Уменьшить размер шрифта
Home Ферма на 12 видеокарт - разработка и изготовление
E-mail Печать

Ферма на 12 видеокарт - разработка и изготовление.

Для уплотнения и более эффективного использования оборудования и места размещения у клиента, встала задача по изготовлению и внедрению фермы на 12 видеокарт.
Задача выполнена успешно. Фото готовой рабочей системы.

farm-12gpu-01

Цели и задачи:
- Оптимизировать затраты на оборудование.
- Оптимизировать затраты на сборку и настройку.
- Оптимизировать размещение на месте.
- Тестирование возможности использования системы с 12-ю видеокартами.
- Тестирование стабильности работы системы.


Оборудование:
- Мат плата Asrok H110 PRO BTC+ с более 12шт pci-e слотов.

asrock-mb-12

- 6 красных карт ASUS Strix RX580 8Gb.
- 6 зеленых карт ASUS Strix GTX1070 8Gb.

asus-strix-gpu

- Cерверные БП DPS-2000bb и DPS-1300 распаянные и подготовленные.

delta-dps-2500bb

delta-dps-1500

- Новый 3-х ярусный каркас на 12 видеокарт.

karkas-12gpu-parts

- Райзера 6Pin Ver006 - 12шт.

riser-6pin

- Sonoff Pow WiFi реле на 3,5кВт коммутации и встроенный Ваттметр.
Устройство показывает текущее энергопотребление и статистику использования за месяц.
Позволяет удаленно перезапустить систему через интернет с мобильного телефона.

sonoff-16a

- Регулятор напряжения для регулятора вращения кулеров с вольтметром.
Показывает напряжение питания на входе или на выходе.

lm-2596

Разработка и изготовление:
- Разработан и изготовлен новый каркас на 12 карт, совместимый по габаритам с каркасом на 6 карт.

3d-maket-rig

- Разработан и изготовлен новый крепеж 12-ти pci-e платок от райзеров.

pcie-fixator

- Разработаны и изготовлены новые крепежи для стандартных БП ATX.

krepezh-atx

- Разработаны и изготовлены новые крепежи для кулеров.

krepezh-120mm-cooler

- Изготовлены методом распайки серверные БП для организации питания 12 видеокарт.
Очень важным является правильная организация питания системы. Всем известны проблемы нехватки мощности БП.
Оптимальным вариантом по цене за Ватт является использование серверных блоков питания.
Важно также осуществить распайку БП только качественными комплектующими.

cable-8pin-6pin

На фото подготовленные кабели питания. Длинна кабелей от 90см до 1,2м.
Провода питания должны быть сечением соответствующим потребляемой мощности.

cable-izgotovlenie-01

Сечение главного кабеля 2,5мм.кв. ГОСТ
Сечение проводников под обжим 0,75мм.кв. ГОСТ
Линия питания имеет вид (6пин+2пин)+(6пин+2пин)+6пин, всего 6 линий.
Дополнительная линия 4пин на питание PicoPSU + 2шт molex 4пин на питание синхронизатора и 4шт кулеров.

cable-izgotovlenie-02

cable-izgotovlenie-03

А провода в разъемах должны быть качественно обжаты бронзовыми пинами не китайского производства.
Вряд ли я бы доверил эту работу кому-то другому.

cable-izgotovlenie-04

На фото крышки от блоков питания DPS-200bb с прорезанными лазером отверстиями для 2-х кулеров 90мм.
Другие 4 отверстия для регулятора вращения кулеров с вольтметром.

delta-dps-case-01

На фото крышка от блока питания с установленными кулерами.

delta-dps-cooler

- Изготовлены регуляторы оборотов для 4-х кулеров.

test-lm-for-cooler

Это Важно использовать с серверными кулерами, где скорость их вращения может достигать 4 тыс.об/мин
Тем самым мы можем оптимизировать воздушный поток и уровень шума.


Сборка:
- Сборка рига начинается со сборки каркаса. Детали каркаса монтируются в пазы и закрепляются саморезами.

case-rig-maket

- Далее устанавливается материнская плата на каркас.
До установки платы на нее приклеиваются стоечки из оргстекла с двухсторонним скотчем.

stoyka-for-mb

Затем мамка устанавливается и прикручивается саморезами в специально прорезанные отверстия на основание.
Подключать разъемы 4пин молексы на плате не обязательно, если видеокарты не будут установлены в мамку, и совсем неправильно их подключать с 2-х разных БП АТХ.
Это может привести к выгоранию питающих кабелей (такой случай был у знакомых).
В биосе можно отключить проверку подключения питания к этим разъемам на материнской плате.

sborka-riga-01

- Далее идет установка блоков питания, в данном риге используются серверные БП.

sborka-riga-02

Первый БП и главный - это DPS-2000bb на 2кВт в паре с тем самым американским оригинальным PicoPSU на 160Вт.

sborka-riga-03

На фото американский блок питания PicoPSU 160Вт фирмы minibox.com, установленный в 24-х контактный разъем на материнской плате.
По качеству исполнения сразу видно, что не китайская под(д)елка.

pico-psu-160-minibox

DPS-200bb будет питать 6 карт ASUS Strix RX580 8Gb, материнскую плату+HDD через PicoPSU, 4 серверных кулера, а также будет управлять включением второго БП через синхронизатор (реле).
Энергопотребление может достигать около 1820 Ват в дуале ETH+SIA.

sborka-riga-04

На фото синхронизатор в виде реле с защитным диодом и БП DPS-1300.
Второй БП это DPS-1300 на 1,3 кВт.
Будет питать 6 карт ASUS Strix GTX1070 8Gb, 4 серверных кулера.
Энергопотребление может достигать около 1200 Ват на ZCASH.

sborka-riga-05

- Райзера монтируются на подложки из оргстекла со стоечками. Подложки для райзеров со стоечками позволяют более четко закрепить видеокарту.
Имеется возможность регулирования подложки по высоте винтами М4.

podlozhka-for-riser-x6

- Платы от райзеров монтируются в специальном крепеже для исключения их выпадения и короткого замыкания друг об друга.
Основной проблемой является дребезг контактов - это может привести к зависанию системы.
Подложка для райзеров, планка с отверстиями под ЮСБ кабель и крепеж для платок pci-e призваны исключить дребезг контактов и улучшить стабильность системы.

pcie-krepezh-02

Спецкрепеж позволяет также зафиксировать и закрепить жесткие USB кабели вставленные в pci-e платы-переходники.

pcie-krepezh-03

pcie-krepezh-04

Каркас разработан таким образом, что по длинне хватает стандартных 60см USB кабелей, идущих в комплекте с райзерами.

sborka-riga-07

- Жесткий диск устанавливается вертикально, что позволяет сэкономить место. Возможно установить 2,5" или 3,5" жесткие диски.

hdd-parts-mount

sborka-riga-09

- Далее подключаются питающие кабели и USB провода к райзерам, устанавливаются видеокарты в райзера и подключаются питающие кабели к картам.
Видеокарты закрепляются саморезом в отверстие на перекладине.

sborka-riga-08

sborka-riga-09

- Сёдла для стяжек STM-1 позволяет закрепить все кабели удобным образом.
- В самый последний момент на риг устанавливаются кулера на крепеже с защитой.

delta-cooler-120mm

8шт 120мм кулеров подключаются к 2-м регуляторам напряжения для регулирования скорости их вращения.
Т.к. фермы могут и монтируются друг на друга в стойку друг на друга - кулера просто необходимы для отвода тепла, выделяемого видеокартами.
Вентиляторы продувают видеокарты сбоку и теплый воздух отводится вбок.
Мощность серверных 120 мм вентиляторов достаточна, чтобы создавать сильный воздушный поток.
Такую организацию охлаждения кулерами можно увидеть на больших китайских фермах, где все асики расположенные на стеллажах имеют кулера и направлены строго в одну сторону.

Настройка:
- В качестве операционной системы используется Windows 10 Pro, релиз 1703.
Именно поэтому используется 6 красных и 6 зеленых карт, т.к. более 8 одинаковых видеокарт не поддерживаются Windows. (необходимо уточнить это в релизе 1709)
Windows выбран по причине отсутствия опыта работы с Linux где возможно использовать более 8 одинаковых видеокарт.
Также хочу отметить, что в новом релизе Windows 1703 (1709) опять изменено ядро системы и применены оптимизации, что заметно на установке 12 видеокарт в систему.
Инициализация видеокарт и установка драйверов происходят гораздо быстрее.


devices

- Видеокарты ASUS RX580 прошиты таймингами частот 1750 на 2000 МГц. Последнее значение изменено на предпоследнее.
Это позволит использовать их с правильным драйвером AMD на 28,5 Mh/s на Eth без дополнительного разгона по частоте, что обеспечит приемлемую стабильность. С небольшим разгоном удалось добиться стабильных 30,5 Mh/s на Eth с аптаймом более 2-х месяцев.
Патчер драйверов после перепрошивки не понадобился.

mining-claymore

- Сколько тут на форуме не писали про MSI Afterburner, но он без проблем увидел все 12 видеокарт.
В Afterburner произвел настройку скорости вращения вентиляторов в зависимости от температуры т.к. в авторежиме по умолчанию скорости вращения недостаточно и карты греются до 70С.
Скорость вращения кулеров на картах подобрана до поддержании температуры не более 65С.
- Для майнинга используется стандартный майнер Claymore 10 версии и Zecminer.

rig-12gpu-06

На фото установленные каркасы с наращиванием вверх. Возможно установить 4 каркаса друг на друга.

rig-stoyka-5st

Выводы:
Удалось получить стабильную и оптимальную систему по затратам и удобству эксплуатации.
Плюсом данной конструкции выделю снижение затрат на оборудование и размещение.
Минусом выделю большой вес и немного больше издержек при сбоях и простоях.

Ответы на вопросы подписчиков:

- Можно подробнее, какое именно реле используется для синхронного запуска двух серверных БП?
- Реле обычное автомобильное на 12 Вольт. Желательно поставить диод для гашения скачка напряжения при размыкании реле согласно типовой схемы включения реле. Логика работы синхронизатора на реле проста: первый блок питания стартует и подает +12В - включая реле, замкнутые контакты реле включают второй БП.

- Можно ли обжать пины без специального инструмента?
- Нельзя, вернее можно, но ненужно, и пропаивать их нельзя ИМХО. Работать и пружинить пины не будут должным образом - это большой риск, особенно на токе от 2 Ампер и выше. Если пины некачественно обжать - то может возникнуть сопротивление в месте контакта, на большом токе это приведет к выгоранию пина, а также некачественным инструментом можно повредить сам пин.

- Где покупали пины и разъёмы для проводов?
- Разъемы на Алиэкспресс, пины в Бурый Медведь.

- Заказал не золотые, не дешевые на али, но вот не знаю, что там придет, какого качества.
- Качество там одинаковое, хреновое, неважно - золоченый он или нет, сам металл тонкий на китайских пинах, на тайваньских хорошее качество, их можно купить здесь, на американских еще лучше, но американские стоят от 1$ за 1 пин без разъема.

- А фанеру где резал?
- В фирме занимающейся лазерной резкой материалов, если Вам необходима лазерная резка - обращайтесь.

- А обжимку где тогда брали? Почему их нельзя паять, можно подробнее? Как раз хотел все пропаять.
- Всевозможные обжимки продаются на Алиэкспресс, наконец-то китайцам удалось изготовить более менее приличный инструмент, фирменная американская обжимка Molex MiniFit стоит космических денег. Хорошо обжатый контакт Mini Fit не требует пайки, хоть пайка и обеспечит 100% контакт пина с проводом, высокая температура может изменить структуру металла и изменятся его свойства, а также изменятся свойства специального оловянного покрытия бронзового контакта. Припой затекший в контакт может попрепятствовать правильно пружинить и прижиматься контакту при подключении. Это может привести к увеличению сопротивлению и выгоранию контакта.

- Отчёт очень хороший. Если здесь говорится про оптимизацию - то она больше в сторону качества, в ущерб стоимости, как денег так и времени. Как разрабатывали систему охлаждения? Бралась ли при симуляции полная модель карты или вместо неё был просто прямоугольник?
- Спасибо! Изделие нацелено на долгосрочную работу. Все комплектующие имеют крепеж, что исключает возникновение случайных проблем человеческого характера и кривых рук. В долгосрочной перспективе затраты на комплектующие окупятся, а качество изделия и качественные комплектующие обеспечат этот долгосрок. Система охлаждения разрабатывалась максимально просто, необходимо было найти компромис между габаритами изделия и количеством используемых вентиляторов. Никакой симуляции не было и она не требовалась, т.к. бесполезна. Ввиду того, что видеокарта не рассчитана изначально на дополнительное охлаждение вдоль платы, в отличии, например, от серверного оборудования, видеокарты Nvidia Titan, построенного таким образом, что вентиляторы прогоняют воздух через специально расположенные радиаторы кулера процессора GPU и другие компоненты. В данном случае идея проста, задача дополнительных 120 мм кулеров, подавать свежий воздух к картам с одной стороны и убирать горячий воздух дальше в бок, исключая, таким образом, перегрева верхних ярусов карт или ригов, горячим воздухом от нижних карт или ригов.

- Очень круто, и очень красиво. Не уверен что с точки зрения охлаждения оптимально. Я делал из дерева стеллажи горизонтальные, а риги из алюминия ставил на них. Мне алюминий нравится больше тем, что не создаёт препятствия для воздуха, крепкий, прочный, можно заземлить от наводок, не горит и не плавится, перераспределяет тепло. Риги можно двигать по стелажам, вставляя вентиляторы и прочее.
- Спасибо! С точки зрения охлаждения, оптимальность достигается когда каркасы установлены друг на друга в количестве 4-х штук, такая стойка имеет 16 вентиляторов и они создают движение воздуха, расположив рядом еще одну стойку, воздух будет двигаться еще сильнее, это проверено опытным путем. Даже 16 вентиляторов 120 мм заставляют двигаться воздух. Если вентиляторы не использовать, то в любом риге, неважно из алюминия или стали, горячий воздух пойдет вверх и приведет к перегреву вышестоящих ригов. Про заземление скажу лишь то, что заземлять надо розетку, точнее 3ий контакт, чтобы "наводки" и "помехи", а именно скачки напряжения фильтровались LC-фильтром в блоке питания.

- У меня 5 strix 570 и 5 red devil 580 в сумме вместе с обвязкой потребляют 1.8 квт. В дуале. 290MH/5500dcr.
- Все верно, если применить оптимизации по питанию ядра GPU и питанию памяти, можно добиться существенного снижения потребляемой мощности системой, но в данной статье речь идет о тестировании. В данном случае проводилось тестирование стабильности системы, максимального потребления, максимальной нагрузки на блок питания, проверка качества системы охлаждения видеокарт и все тесты пройдены, видеокарты справляются с повышеной нагрузкой и тепловыделением. После тестирования система работает с оптимизацией по питанию.

- Мне очень понравился крепеж райзеров в маму. Он продается отдельно? И кстати, сколько стоит корпус?
- Спасибо за отзыв! Крепеж райзеров не просто нравится, а он выполняет свою задачу. Стоимость крепежа и каркаса можно узнать посетив мой каталог или позвонив по телефону.

Обновлено 15.05.2020 01:10  

Отблагодарить автора - Cбербанк: 4276380082843249
LTC: MStVor3WZFJv4H8W5t4CK2cQpL7vxVCBLF
BTC: bc1qecnydt9q3vcqm478h23ardm0arr7hhqyu2wxxt
ETH: 0x509c4AFCB31D2949d68cccd5A1FB24F32eC37D05

© INCARMEDIA.RU, 2007-2020 - Все права защищены. Использование материалов сайта возможно с указанием ссылки на оригинал материала.

Top.Mail.Ru