检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在控制台页面操作删除专属资源池后,后端服务需要进行资源实例释放。在资源实例释放过程中,用户依然可以查询到资源池。如果需要创建专属资源池,建议等待5min后再创建,且不要使用已创建过的专属资源池名称来命名新建的专属资源池。如果做UI自动化测试,建议用例用随机串替代。
service_id 是 String 服务ID。 api_id 是 String API编号。 表2 Query参数 参数 是否必选 参数类型 描述 limit 否 String 分页展示时,一页展示多少项。默认为1000。
若buildkitd的服务运行状态如下图所示,则表示服务运行成功。
--num-scheduler-steps: 服务启动如果配置了--num-scheduler-steps和--multi-step-stream-outputs=false,则需配置此参数与服务启动时--num-scheduler-steps一致。
启动smoothQuant量化服务。 参考部署推理服务,使用量化后权重部署AWQ量化服务。 注:Step3 创建服务启动脚本启动脚本中,服务启动命令需添加如下命令。
service_id String 服务编号。 service_name String 服务名称。 support_app_code Boolean 是否支持APP CODE。
当选择收费CPU资源部署在线服务时会收取少量资源费用,具体费用以界面信息为准。 参数配置完成后,单击“下一步”,确认规格参数后,单击“提交”启动在线服务的部署。 进入“部署上线 > 在线服务”页面,等待服务状态变为“运行中”时,表示服务部署成功。
具体受限操作如表3所示: 表3 欠费受限操作 功能 受限操作 Workflow 订阅Workflow、模型训练、模型部署 自动学习 模型训练、模型部署 Notebook 创建Notebook、启动Notebook 训练作业 创建训练作业 在线服务、边缘服务 部署在线服务、边缘服务
启动smoothQuant量化服务。 参考部署推理服务,使用量化后权重部署AWQ量化服务。 注:Step3 创建服务启动脚本启动脚本中,服务启动命令需添加如下命令。
启动smoothQuant量化服务。 参考部署推理服务,使用量化后权重部署AWQ量化服务。 注:Step3 创建服务启动脚本启动脚本中,服务启动命令需添加如下命令。
需要用户本地使用Jupyterlab命令罗列出相关的静态文件路径,删除并且卸载镜像中的Jupyterlab服务; 用户自己业务占用了开发环境官方的8888、8889端口的,需要用户修改自己的进程端口号; 用户的镜像指定了PYTHONPATH、sys.path导致服务启动调用冲突的
service_id String 服务编号。 service_name String 服务名称。 support_app_code Boolean 是否支持APP CODE。
启动SD1.5 LoRA训练服务 使用ma-user用户执行如下命令运行训练脚本。 sh diffusers_lora_train.sh 启动SDXL LoRA训练服务 使用ma-user用户执行如下命令运行训练脚本。
--num-scheduler-steps: 需和服务启动时配置的num-scheduler-steps一致。默认为1 --enable-prefix-caching:服务端是否启用enable-prefix-caching特性,默认为false。
若buildkitd的服务运行状态如下图所示,则表示服务运行成功。
“策略内容”:允许,云服务中搜索ModelArts服务并选中,操作列中搜索关键词“modelarts:trainJob:setHighPriority”并选中,所有资源选择默认值。
启动/停止/删除实例 启动/停止实例 由于运行中的Notebook将一直耗费资源,您可以通过停止操作,停止资源消耗。对于停止状态的Notebook,可通过启动操作重新使用Notebook。 登录ModelArts管理控制台,在左侧菜单栏中选择“开发空间 > Notebook”,进入
内容示例如下: 在使用OpenAI接口或vLLM接口启动推理服务时添加如下参数,启动kv-cache-int8-per-tensor+per-head量化服务。
操作步骤 连接容器镜像服务。 登录容器镜像服务控制台。 单击右上角“创建组织”,输入组织名称完成组织创建。请自定义组织名称,本示例使用“deep-learning”,下面的命令中涉及到组织名称“deep-learning”也请替换为自定义的值。
日志提示"write line error" 问题现象 在程序运行过程中,刷出大量错误日志“[ModelArts Service Log]modelarts-pipe: write line error”。并且问题是必现问题,每次运行到同一地方的时候,出现错误。 原因分析 出现该问题的可能原因如下