Out of memory при composer update возникает с завидной регулярностью и лечится также каждый раз разными способами. Опишу несколько вариантов, которые мне помогали.

Ниже два варианта, которые должны помочь Вам.
Указываем лимит -1, чтобы снять ограничения для процесса.

1) Вариант 1

php -d memory_limit=-1 which composer update

2) Вариант 2

COMPOSER_MEMORY_LIMIT=-1 composer update

Если ничего не помогло — можно более поступить более радикально и удалить (а лучше переименовать) папку vendor и файл composer.lock. После этого штатно вызвать

COMPOSER_MEMORY_LIMIT=-1 composer update

У меня регулярно появляется эта ошибка — последние разы выручал Вариант №2.

Надеюсь Вам тоже поможет один из вариантов.