Екипът на Doubao Large Model на ByteDance вчера представи UltraMem, нова архитектура, предназначена да се справи с проблемите с висок достъп до паметта, открити по време на изводи в модели Mixture of Experts (MoE). UltraMem увеличава скоростта на извод от два до шест пъти и може да намали разходите за изводи с до 83%, според екипа. Тъй като размерите на големите модели се увеличават, разходите за изводи и ефективността на паметта се превърнаха в критични тесни места. UltraMem, разреден модел, който отделя изчисленията от параметрите, има за цел да се справи с тези предизвикателства, като същевременно поддържа производителността на модела. Пробивът беше приет за представяне на ICLR 2025 (Международна конференция за представяне на обучение, голямо събитие в AI индустрията), като ByteDance казва, че предлага нов подход за подобряване на ефективността и скалируемостта на големи модели. [Doubao Large Model team WeChat account]
Свързани
Нашия източник е Българо-Китайска Търговско-промишлена палaта
