OpenAI опубликовала новый патент, в котором раскрывает архитектуру будущего ИИ-чипа.
Документ описывает решение с несколькими вычислительными чиплетами, окружёнными большим количеством стеков HBM-памяти, соединённых через встроенные логические мосты. Подобная конструкция способна кардинально расширить возможности по интеграции памяти на одной подложке.
Патент носит название «Non-Adjacent Connection of High-Bandwidth Memory Chiplets, I/O Chiplets, And Compute Chiplets Through Embedded Logic Bridges» и описывает планы OpenAI по созданию чипа с HBM- и вычислительными чиплетами, объединёнными с помощью Embedded Logic Bridges.
Идея заключается в использовании таких мостов для высокоскоростных соединений на бОльших дистанциях, что позволит подключать к одному пакету больше чиплетов под нагрузки ИИ и HPC-задачи, требующие огромных объёмов памяти.
Современные решения по упаковке имеют ограничения при интеграции HBM-памяти. Связь между стеками и чиплетами осуществляется через металлические линии на базовом слое, а стандарт JEDEC предписывает размещать HBM-модули строго рядом с вычислительным чиплетом. Физика накладывает жёсткое ограничение – длина таких линий от PHY-контроллера на основном чиплете не должна превышать 6 мм.
Для обхода этого барьера OpenAI предлагает встроенные логические мосты, которые увеличивают допустимое расстояние с 6 до 16 мм. У такого подхода сразу два преимущества. Мосты не только позволяют передавать данные на бОльших дистанциях, но и способны брать на себя функции контроллера HBM-стека или высокоскоростного PHY для межчиплетной коммуникации внутри пакета.
В качестве примера OpenAI показала вычислительный чиплет, окружённый 20 стеками HBM-памяти через Embedded Logic Bridges. Традиционные подходы позволяют подключать лишь четыре, шесть или восемь стеков к одному чиплету.
Масштабирование до 20 модулей кардинально увеличивает объём доступной памяти и открывает дорогу к созданию чипов, способных эффективно работать с гораздо более крупными ИИ-моделями.
Идея OpenAI пересекается с разработкой, над которой уже активно трудится Intel. Речь идёт о технологии EMIB (Embedded Multi-Interconnect Bridge) – продвинутом решении по упаковке, выполняющем роль моста между чиплетами. EMIB изначально создавалась как альтернатива классической 2.5D-упаковке, используя крошечные мосты для расширения возможностей высокопроизводительных чипов.
У EMIB и её преемника EMIB-T есть ряд сильных сторон. Мосты простые и компактные, они выходят за рамки ретикулярных ограничений современных интерпозеров и остаются экономически выгодным решением. Именно сочетание этих качеств делает технологию Intel одним из очевидных кандидатов на роль производственной базы для описанной в патенте OpenAI архитектуры.
Патент фактически оставляет открытым вопрос о возможном сотрудничестве – будет ли технология Intel EMIB применена при создании кастомных ИИ-чипов OpenAI с множеством чиплетов и большими объёмами HBM-памяти. Документ прямо в эту сторону не указывает, однако архитектурная совместимость между предложенным подходом и EMIB бросается в глаза.
