检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
将权重文件上传到DevServer机器中。权重文件的格式要求为Huggingface格式。开源权重文件获取地址请参见表3。 如果使用模型训练后的权重文件进行推理，模型训练及训练后的权重文件转换操作可以参考相关文档章节中提供的模型训练文档。 权重要求放在磁盘的指定目录，并做目录大小检查，参考命令如下： df -h
py --port 8443 --force-fp16 --listen --port 端口号与启动容器时映射到宿主机的端口号保持一致。 发送服务请求。 从浏览器访问ComfyUI服务。在浏览器中输入 http://{ip}:{port} 这里的ip为宿主机节点ip，port为启动ComfyUI使用的端口号。
容器调用接口：指定模型启动的协议和端口号。请确保协议和端口号与自定义镜像中提供的协议和端口号保持一致。 镜像复制：选填，选择是否将容器镜像中的模型镜像复制到ModelArts中。 健康检查：选填，用于指定模型的健康检查。仅当自定义镜像中配置了健康检查接口，才能配置“健康检查”，否则会导致模型创建失败。
容器调用接口：指定模型启动的协议和端口号。请确保协议和端口号与自定义镜像中提供的协议和端口号保持一致。 镜像复制：选填，选择是否将容器镜像中的模型镜像复制到ModelArts中。 健康检查：选填，用于指定模型的健康检查。仅当自定义镜像中配置了健康检查接口，才能配置“健康检查”，否则会导致模型创建失败。
操作步骤： 打开Terminal，用命令行进行操作。 方法一：执行cd checkpoints命令打开checkpoints文件夹。 方法二：新建一个文件夹，移动checkpoints文件夹的数据到新建的文件夹下。 执行mkdir xxx命令，新建一个文件夹，例如“xxx”（不要用checkpoints关键字命名）
my_deeplearning_image:v1 上述命令表示把宿主机的"/mnt/sfs_turbo"目录挂载到容器的"/sfs"目录，在宿主机和容器对应目录的所有改动都是实时同步的。 分析错误时：训练镜像先看日志，推理镜像先看API的返回。 可以通过命令查看容器输出到stdout的所有日志： docker
配置IP转发，用于容器内的网络访问。执行以下命令查看net.ipv4.ip_forward配置项的值，如果为1，可跳过此步骤。 sysctl -p | grep net.ipv4.ip_forward 如果net.ipv4.ip_forward配置项的值不为1，执行以下命令配置IP转发。 sed
关，--port表示服务部署的端口。每个全量/增量推理实例基于配置的端口号(--port)启动服务，并按照global rank_table中的全量实例、增量实例的顺序，对全量推理实例、增量推理实例启动的端口号进行排序，端口之间用`,`分隔开作为该环境变量的输入。当前端口9000
根据报错提示，需要排查是否将大量数据被保存在“/tmp”中。 处理方法 进入到“Terminal”界面。在“/tmp”目录下，执行命令du -sh *，查看该目录下的空间占用情况。 sh-4.3$cd /tmp sh-4.3$du -sh * 4.0K core-js-banners
关，--port表示服务部署的端口。每个全量/增量推理实例基于配置的端口号(--port)启动服务，并按照global rank_table中的全量实例、增量实例的顺序，对全量推理实例、增量推理实例启动的端口号进行排序，端口之间用`,`分隔开作为该环境变量的输入。当前端口9000
自定义设置的云上开发环境名称。 HostName: 云上开发环境的访问地址，即在开发环境实例页面远程访问模块获取的访问地址。例如：dev-modelarts-cnnorth4.huaweicloud.com Port: 云上开发环境的端口，即在开发环境实例页面远程访问模块获取的端口号。
$MY_SSHD_PORT -h /home/ma-user/etc/ssh_host_rsa_key0 将准备好的sshd启动脚本文件上传至OBS的训练代码目录下。 创建自定义镜像训练作业。 “代码目录”选择存有sshd启动脚本文件的OBS地址。 “启动命令”需要适配sshd启动脚本，如下所示：
本章节介绍SDXL&SD 1.5模型的Finetune训练过程。Finetune是指在已经训练好的模型基础上，使用新的数据集进行微调（fine-tuning）以优化模型性能。 启动SD1.5 Finetune训练服务 使用ma-user用户执行如下命令运行训练脚本。 sh diffusers_finetune_train
dir_models/text_encoder.mindir --device=Ascend 上述命令中：modelFile指定生成的mindir模型文件；device指定运行推理的设备。其他用法请参考benchmark文档。 测试结果如下所示： 图1 测试结果 父主题： 性能调优
not found 原因分析 复制的文件需要放在Dockerfile同级文件夹或者子目录中，不能放在Dockerfile上层目录。 图2 Dockerfile复制文件路径错误 解决方案 查看用户Dockerfile中的COPY命令中的文件的路径。将要复制的文件放到Dockerfile同
图1 报错Server Connection Error截图 图2 选不到Kernel 原因分析 用户误操作引起的。 解决方案 打开Terminal窗口，执行以下命令启动kernelgateway服务。 API_TYPE=kernel_gateway.jupyter_websocket
用户自定义镜像或者通过基础镜像导入的模型时，用户自己编写了很多自定义的业务逻辑，这些逻辑有问题将会导致服务部署或者预测失败，需要能够排查出哪里有问题。 处理方法 服务部署失败后，进入服务详情界面，查看服务部署日志，明确服务部署失败原因（用户代码输出需要使用标准输入输出函数，否则输出的内容不会呈现到前
_pip_str设置对应的代理和pip源，来确保当前代理和pip源可用。 精度评测新建一个conda环境，确保之前启动服务为vllm接口，进入到benchmark_eval目录下，执行如下命令。命令中的$work_dir 是benchmark_eval的绝对路径。 conda activate
_pip_str设置对应的代理和pip源，来确保当前代理和pip源可用。 精度评测新建一个conda环境，确保之前启动服务为vllm接口，进入到benchmark_eval目录下，执行如下命令。命令中的$work_dir 是benchmark_eval的绝对路径。 conda activate
如果使用预置的AI引擎，如果启动命令没有填写，会使用默认的启动命令，默认的启动命令见表1。如果填写了启动命令，新填写的启动命令覆盖默认启动命令。 说明： 包含字符$，|，>，<，`，!，\n，\，?，-v，--volume，--mount，--tmpfs，--privileged，
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
