检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
参数说明 --backend:服务类型,支持tgi、vllm、mindspore、openai等后端。本文档使用的推理接口是openai。 --host:服务部署的IP,${docker_ip}替换为宿主机实 际的IP地址。 --port:推理服务端口。 --tokenizer:
VPC访问在线服务 通过VPC访问通道访问在线服务,API如下: https://{DNS内网域名}/{URL} DNS内网域名:设置的内网域名。您还可以通过在线服务列表页,单击“VPC访问通道”,打开弹出框,查看“访问域名”。 URL:在线服务的URL为服务详情页,调用指南页
Studio左侧导航栏中,选择“模型部署”进入服务列表。 选择“我的服务”页签。 单击服务名称,进入部署模型服务详情页面,可以查看服务信息。 “详情”:可以查看服务的基本信息,包括服务、模型、资源等设置信息。 “监控”:可以查看服务监控和资源监控信息。 “算力利用率”表示每分钟N
Sumarywriter('./path)/to/log') 解决方案3 存储路径设为本地路径,如cache/tensorboard,不要使用OBS路径。 问题现象4 使用pytorch中的dataloader读数据时,作业卡在读数据过程中,日志停在训练的过程中并不再更新日志。 解决方案4
4096, "allocatable_gpus" : 0.5 } ] } 状态码 状态码 描述 200 服务部署规格列表。 错误码 请参见错误码。 父主题: 服务管理
服务管理权限 表1 服务管理细化权限说明 权限 对应API接口 授权项 依赖的授权项 IAM项目 企业项目 部署模型服务 POST /v1/{project_id}/services modelarts:service:create - √ √ 查询模型服务列表 GET /v1/
Standard推理服务访问公网方案 本章节提供了推理服务访问公网的方法。 应用场景 推理服务访问公网地址的场景,如: 输入图片,先进行公网OCR服务调用,然后进行NLP处理; 进行公网文件下载,然后进行分析; 分析结果回调给公网服务终端。 方案设计 从推理服务的算法实例内部,访问公网服务地址的方案。如下图所示:
使用ModelArts Standard训练模型 模型训练使用流程 准备模型训练代码 准备模型训练镜像 创建调试训练作业 创建算法 创建生产训练作业 分布式模型训练 模型训练存储加速 增量模型训练 自动模型优化(AutoSearch) 模型训练高可靠性 管理模型训练作业
影响区域:华为云全部Region 停用影响 新建服务、存量服务停止后再启动、存量服务失败后再启动,会立即切换使用新域名。为保障持续提供推理服务,请您及时更新业务中的预测API的域名。 若您使用的是VPC内部节点访问ModelArts推理的在线服务,预测API切换域名后,由于内网VPC无法
请参考DevServer资源开通,购买DevServer资源,并确保机器已开通,密码已获取,能通过SSH登录,不同机器之间网络互通。 当容器需要提供服务给多个用户,或者多个用户共享使用该容器时,应限制容器访问Openstack的管理地址(169.254.169.254),以防止容器获取宿主
边缘服务 什么是边缘节点? 更新AI应用版本时,边缘服务预测功能不可用? 使用边缘节点部署边缘服务能否使用http接口协议? 父主题: 部署上线
表2 请求Body参数 参数 是否必选 参数类型 描述 status 否 String 服务包状态。 pool_id 是 String 资源池ID。 service_id 否 String 在线服务ID。 workflow_id 否 String Workflow工作流ID。 order
Standard Notebook 规格限制 文件上传下载 数据存储 环境配置相关 Notebook实例常见错误 代码运行常见错误 CodeLab PyCharm Toolkit使用 VS Code使用技巧 VS Code连接开发环境失败常见问题 在Notebook中使用自定义镜像常见问题
切换Lite Server服务器操作系统 场景描述 Lite Server为一台弹性裸金属服务器,您可以使用BMS服务提供的切换操作系统功能,对Lite Server资源操作系统进行切换。本文介绍以下三种切换操作系统的方式: 在BMS控制台切换操作系统 使用BMS Go SDK的方式切换操作系统
计费相关 如何查看ModelArts中正在收费的作业? 如何查看ModelArts消费详情? ModelArts上传数据集收费吗? ModelArts标注完样本集后,如何保证退出后不再产生计费? ModelArts自动学习所创建项目一直在扣费,如何停止计费? 如果不再使用ModelArts,如何停止收费?
通过公网访问通道的方式访问在线服务 背景描述 ModelArts推理默认使用公网访问在线服务。在线服务部署成功后,将为用户提供一个可调用的API,此API为标准Restful API。您可以在服务详情页面,调用指南页签中查看API接口公网地址。 图1 API接口公网地址 约束限制
Arts Lite DevServer 支持配置的存储方案请参考配置Lite Server存储。其中访问方式中,可支持在裸金属服务器中挂载的有弹性文件服务SFS和云硬盘EVS。 父主题: 准备工作
Arts Lite DevServer 支持配置的存储方案请参考配置Lite Server存储。其中访问方式中,可支持在裸金属服务器中挂载的有弹性文件服务SFS和云硬盘EVS。 父主题: 准备工作
Arts Lite DevServer 支持配置的存储方案请参考配置Lite Server存储。其中访问方式中,可支持在裸金属服务器中挂载的有弹性文件服务SFS和云硬盘EVS。 父主题: 准备工作
delArts Lite Server 支持配置的存储方案请参考配置Lite Server存储。其中访问方式中,可支持在裸金属服务器中挂载的有弹性文件服务SFS和云硬盘EVS。 父主题: 准备工作