Out of memory при composer update возникает с завидной регулярностью и лечится также каждый раз разными способами. Опишу несколько вариантов, которые мне помогали.

Ниже два варианта, которые должны помочь Вам.
Указываем лимит -1, чтобы снять ограничения для процесса.

1) Вариант 1

2) Вариант 2

Если ничего не помогло — можно более поступить более радикально и удалить (а лучше переименовать) папку vendor и файл composer.lock. После этого штатно вызвать

У меня регулярно появляется эта ошибка — последние разы выручал Вариант №2.

Надеюсь Вам тоже поможет один из вариантов.