Списанные GPU объединили в кластер за $22 тыс. и запустили на нём LLaMA-70B
Группа исследователей представила проект DumpsterCluster, в рамках которого из полностью бывших в употреблении компонентов был собран кластер на 128 графических ускорителей. Система проработала год и использовалась для инференса языковой модели LLaMA-70B. По заявлению авторов, производительность оказалась конкурентоспособной благодаря оптимизации параллелизма по конвейеру.
Экономический эффект впечатляет: собранный кластер обошёлся в $22 тыс., тогда как современная система на базе восьми ускорителей B200 стоит около $600 тыс. Таким образом, вторичное оборудование может стать крайне доступной альтернативой для организаций с ограниченным бюджетом.
Однако исследователи подчёркивают, что дешевизна оборудования не означает автоматической выгоды. Старые ускорители V100 потребляют значительно больше энергии на каждый обработанный токен, поэтому совокупная стоимость владения оказывается приемлемой только в регионах с недорогой электроэнергией.
Не менее важным оказался экологический аспект. При средней углеродоёмкости энергосистемы использование вторичных GPU приводит к примерно четырёхкратному росту выбросов CO2 на токен для моделей размером 8B и более чем 40-кратному для 70B-моделей по сравнению с актуальным оборудованием.
Это означает, что вторая жизнь GPU не является универсально устойчивым решением. Перепрофилирование старых ускорителей должно сочетаться с использованием низкоуглеродных источников энергии. Только в регионах с благоприятной энергетикой и чистой генерацией такие кластеры могут стать viable путём расширения мощностей ИИ.
Практическая ценность работы в том, что она даёт количественные ориентиры для организаций, рассматривающих закупку списанного оборудования. Авторы не призывают отказываться от современных систем, но показывают, при каких условиях вторичный рынок может быть разумным выбором.
