composer install não executa

para entrar eu o uso: sudo docker-compose exec app bash, mas já dentro do containe eu acho que os comandos não são executados como root

Olá, Rafael!
Tudo bem?

Possivelmente é problemas de permissão.

Embora não recomendo, tente rodar algum comando do composer acessando com um usuário sudo:
docker-compose exec --user=root app bash

Bom dia, Carlos, deu certo com esse comando e baixou todas as dependências, mas após executar as migrações e tentar acessar o sistema eu vejo que a url é redirecionada para a rota de login que é o certo, mas a página não abri e retona HTTP ERROR 500   procurei e não achei nada esclarecedor o que será?

Carlos o log do Container está assim:

[11-May-2022 15:15:43] NOTICE: [pool www] 'user' directive is ignored when FPM is not running as root

[11-May-2022 15:15:43] NOTICE: [pool www] 'user' directive is ignored when FPM is not running as root

[11-May-2022 15:15:43] NOTICE: [pool www] 'group' directive is ignored when FPM is not running as root

[11-May-2022 15:15:43] NOTICE: [pool www] 'group' directive is ignored when FPM is not running as root

[11-May-2022 15:15:43] NOTICE: fpm is running, pid 1

[11-May-2022 15:15:43] NOTICE: ready to handle connections

172.26.0.5 -  11/May/2022:15:18:25 +0000 "GET /index.php" 500

172.26.0.5 -  11/May/2022:15:18:32 +0000 "GET /index.php" 302

172.26.0.5 -  11/May/2022:15:18:32 +0000 "GET /index.php" 500

172.26.0.5 -  11/May/2022:15:19:45 +0000 "GET /index.php" 302

172.26.0.5 -  11/May/2022:15:19:45 +0000 "GET /index.php" 500

Erro 500 é erro na aplicação, é uma aplicação Laravel?
Confere nos logs: storage/logs/

sim é laravel, mas esse erro só apareceu no servidor

Segundo esse log aqui, a aplicação está gerando o erro 500:
172.26.0.5 -  11/May/2022:15:19:45 +0000 "GET /index.php" 500

Nos logs, não tem nenhuma informação?
ls storage/logs/

Porque pode ter problemas de permissão, ou algo parecido.

o storage está limpo, é estranho por que a aplicação roda na minha máquina mas não roda no data center, há possibilidade de ser problema da VM do data center? os comandos só rodam aqui com usuário root até dentro do container.

É problema no setup em produção;

Você está usando o mesmo setup tanto local quanto em produção?

sim o setup é o mesmo, alterei somente o .env

Boa noite, Carlos, na digital ocean funcionou, você acha que é algum problema de configuração da VM tem alguma dica para eu corrigir ou fazer alguma solicitação para o setor de suporte?

Então na D.O., tudo certo?

Só pode ser questões de privilégios do usuário, talvez por não ter permissão de sudo, ou mesmo o Docker só rodar como sudo, isso pode ser um dos motivos do problema.