Mamba против трансформеров: кто кого?
🤖 Mamba против трансформеров: кто кого?
В декабре 2023 года мир машинного обучения взбудоражила новость: архитектура Mamba бросила вызов трансформерам. Разработчики Альберт Гу и Три Дао представили её как способ обработки длинных текстов быстрее и экономичнее по памяти, чем классические трансформеры. Хотя трансформеры удержали свои позиции, история Mamba весьма увлекательна. Эта архитектура отказалась от механизма внимания, который был краеугольным камнем трансформеров, и предложила альтернативный подход, основанный на модели пространства состояний (SSM).
Чтобы понять, в чём заключалась инновация Mamba, нужно разобраться с проблемами трансформеров. Они обрабатывают текст, разбивая его на токены, и оценивают связи между ними, что приводит к квадратичному росту вычислений и расхода памяти. Mamba же предложила использовать бегущее состояние, обновляемое с каждым новым токеном, что решило проблемы старых рекуррентных нейросетей и позволило эффективно обрабатывать длинные тексты.
◾️ Модель: State Space Model (SSM)
◾️ Обработка: без механизма внимания
◾️ Проблема трансформеров: квадратичный рост вычислений (N²)
◾️ Решение Mamba: бегущее состояние
> «Мы показали, что внимание не всегда обязательно для обработки длинных текстов», — уверяют разработчики Mamba.
Так что, может, в следующем году трансформеры и не потеряют трон, но конкуренция станет ещё острее. Как думаете, кто победит в этой гонке?
Подписаться на «Нейро Пульс»
Первоисточник ↗
В декабре 2023 года мир машинного обучения взбудоражила новость: архитектура Mamba бросила вызов трансформерам. Разработчики Альберт Гу и Три Дао представили её как способ обработки длинных текстов быстрее и экономичнее по памяти, чем классические трансформеры. Хотя трансформеры удержали свои позиции, история Mamba весьма увлекательна. Эта архитектура отказалась от механизма внимания, который был краеугольным камнем трансформеров, и предложила альтернативный подход, основанный на модели пространства состояний (SSM).
Чтобы понять, в чём заключалась инновация Mamba, нужно разобраться с проблемами трансформеров. Они обрабатывают текст, разбивая его на токены, и оценивают связи между ними, что приводит к квадратичному росту вычислений и расхода памяти. Mamba же предложила использовать бегущее состояние, обновляемое с каждым новым токеном, что решило проблемы старых рекуррентных нейросетей и позволило эффективно обрабатывать длинные тексты.
◾️ Модель: State Space Model (SSM)
◾️ Обработка: без механизма внимания
◾️ Проблема трансформеров: квадратичный рост вычислений (N²)
◾️ Решение Mamba: бегущее состояние
> «Мы показали, что внимание не всегда обязательно для обработки длинных текстов», — уверяют разработчики Mamba.
Так что, может, в следующем году трансформеры и не потеряют трон, но конкуренция станет ещё острее. Как думаете, кто победит в этой гонке?
Пока нет комментариев — будьте первым.