第一步，先安装离线软件，这里用ollama演示

第二步，先暂停相关容器，然后进入安装目录

第三步，在安装目录中找到docker compose.yml文件打开并修改

        deploy:
            resources:
                limits:
                    cpus: ${CPUS}
                    memory: ${MEMORY_LIMIT}
                reservations:
                    devices:
                        - driver: nvidia
                          count: all
                          capabilities: [gpu]

第四步，保存后退出重建

验证一下：