检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
像地址获取。 docker pull {image_url} Step3 启动容器镜像 启动容器镜像前请先按照参数说明修改${}中的参数。可以根据实际需要增加修改参数。启动容器命令如下。 export work_dir="自定义挂载的工作目录" #容器内挂载的目录，例如/home/ma-user/ws
tensorflow包含所有的接口，对TensorFlow做了优化，里面的实际接口还是TensorFlow的原生接口。 当非MoXing代码中没有Adam名称范围时，需要修改非MoXing代码，在其中增加如下内容： with tf.variable_scope("Adam"): 在增加代码时不建议使用自定义“global_step”，推荐使用tf
当使用推理的镜像并且出现MR.XXXX类型的错误时，表示已进入模型服务，一般是模型推理代码编写有问题。 请根据构建日志报错信息，定位服务预测失败原因，修改模型推理代码后，重新导入模型进行预测。 经典案例：在线服务预测报错MR.0105 出现其他情况，优先检查客户端和外部网络是否有问题。 以上方法均未解决问题，请联系系统管理员。
标注成员登出labelConsole标注平台 labelConsoleWorker workerLogOutLabelConsole 标注成员修改labelConsole平台密码 labelConsoleWorker workerChangePassword 标注成员忘记labelConsole平台密码
标注成员登出labelConsole标注平台 labelConsoleWorker workerLogOutLabelConsole 标注成员修改labelConsole平台密码 labelConsoleWorker workerChangePassword 标注成员忘记labelConsole平台密码
status 否 String 服务状态，可设置状态为running或stopped来启动、停止服务，不设置此参数则不修改状态。status不可跟configs同时修改，同时存在则只修改status。 configs 否 包括predictor configs结构和transformer configs
equal”时，按照堆栈信息，将对应的行数的数据类型修改为匹配的类型。 图1 报错信息 处理该问题时，pipeline_onnx_stable_diffusion_img2img_mslite.py文件的第454行修改如下： 图2 修改内容 父主题： 基于AIGC模型的GPU推理业务迁移至昇腾指导
见镜像地址获取。 docker pull {image_url} 步骤3 启动容器镜像 启动容器镜像前请先按照参数说明修改${}中的参数。可以根据实际需要增加修改参数。启动容器命令如下。 export work_dir="自定义挂载的工作目录" #容器内挂载的目录，例如/home/ma-user/ws
用户代码问题，出现了内存越界、非法访问内存空间的情况。 未知系统问题导致，建议先尝试重建作业，重建后仍然失败，建议提工单定位。 处理方法 如果存在之前能跑通，什么都没修改，过了一阵跑不通的情况，先去排查跑通和跑不通的日志是否存在pip源更新了依赖包，如下图，安装之前跑通的老版本即可。 图1 PIP安装对比图
进入容器。默认使用ma-user用户，后续所有操作步骤都在ma-user用户下执行。 docker exec -it sdxl-train bash Step5 修改算法脚本 进入容器后，修改启动脚本文件。 vi /home/ma-user/sdxl-train/user-job-dir/code/diffusers_finetune_train
hmark的请求频率（request-rate参数）较高，会触发推理平台的流控，请在ModelArts Standard“在线服务”详情页修改服务流量限制。 同步请求时，平台每次请求预测的时间不能超过60秒。例如输出数据比较大的调用请求（例如输出大于1k），请求预测会超过60秒导
Running：运行中 Abnormal：资源池不正常 Deleting：删除中 Error：资源池错误 message String 资源池处于当前状态的提示信息。 resources resources object 资源池中不同状态的资源量。 scope Array of scope objects
on ModelArts console.” 原因分析 文件夹“.ssh”的权限不仅是Windows当前用户拥有，或者当前用户权限不足，故修改权限即可。 解决方案 找到.ssh文件夹。一般位于“C:\Users”，例如“C:\Users\xxx”。 “C:\Users”目录下的文
e_url}参见获取软件和镜像。 docker pull {image_url} 启动容器镜像。启动前请先按照参数说明修改${}中的参数。可以根据实际需要增加修改参数。训练默认使用单机8卡。 docker run -itd --net=host \ --device=/dev/davinci0
json文件，里面是提取的per-tensor的scale值。内容示例如下： 注意： 抽取完成后，可能提取不到model_type信息，需要手动将model_type修改为指定模型，如"llama"。 当前社区vllm只支持float8的kv_cache量化，抽取脚本中dtype类型是"float8_e4m
hmark的请求频率（request-rate参数）较高，会触发推理平台的流控，请在ModelArts Standard“在线服务”详情页修改服务流量限制。 同步请求时，平台每次请求预测的时间不能超过60秒。例如输出数据比较大的调用请求（例如输出大于1k），请求预测会超过60秒导
hmark的请求频率（request-rate参数）较高，会触发推理平台的流控，请在ModelArts Standard“在线服务”详情页修改服务流量限制。 同步请求时，平台每次请求预测的时间不能超过60秒。例如输出数据比较大的调用请求（例如输出大于1k），请求预测会超过60秒导
requirements.txt 运行静态benchmark验证脚本benchmark_parallel.py，具体操作命令如下，可以根据参数说明修改参数。 cd benchmark_tools python benchmark_parallel.py --backend vllm --host
requirements.txt 运行静态benchmark验证脚本benchmark_parallel.py，具体操作命令如下，可以根据参数说明修改参数。 cd benchmark_tools python benchmark_parallel.py --backend vllm --host
像地址获取。 docker pull {image_url} Step3 启动容器镜像 启动容器镜像前请先按照参数说明修改${}中的参数。可以根据实际需要增加修改参数。启动容器命令如下。 export work_dir="自定义挂载的工作目录" #容器内挂载的目录，例如/home/ma-user/ws
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
