检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在Notebook调试环境中部署推理服务 介绍如何在Notebook中配置NPU环境,部署并启动推理服务,完成精度测试和性能测试。 若需要部署量化模型,需在Notebook中进行模型权重转换后再部署推理服务。 在推理生产环境中部署推理服务 介绍如何创建AI应用,部署模型并启动推理服务,在线预测服务。
sh,具体修改代码内容以及位置,如下所示。 训练作业中存在2个代码目录,一个是从OBS上传到ModelArts Standard训练容器中的代码目录OBS_CODE_DIR,一个是后续构建新镜像步骤ECS中构建新镜像(二选一)中镜像的代码目录CODE_DIR。修改代码如图1。 图1
语音起止点标签专用内置属性:语音来源(例如说话人/旁白等)。 @modelarts:start_index Integer 命名实体标签专用内置属性:文本的起始位置,值从0开始,包括start_index所指的字符。 @modelarts:start_time String 语音起止点标签专用内置属性:语音的起始时间,格式“hh:mm:ss
式。本次迁移使用的是静态shape方式进行模型转换。 获取模型shape 由于在后续模型转换时需要知道待转换模型的shape信息,这里指导如何通过训练好的stable diffusion pytorch模型获取模型shape,主要有如下两种方式获取: 方式一:通过stable d
在Notebook调试环境中部署推理服务 介绍如何在Notebook中配置NPU环境,部署并启动推理服务,完成精度测试和性能测试。 如果需要部署量化模型,需在Notebook中进行模型权重转换后再部署推理服务。 在推理生产环境中部署推理服务 介绍如何在创建AI应用,部署并启动推理服务,在线预测在线服务。
其中,加粗的斜体字段需要根据实际值填写: iam_endpoint为IAM的终端节点。 user_name为IAM用户名。 user_password为用户登录密码。 domain_name为用户所属的帐号名。 cn-north-1为项目名,代表服务的部署区域。 返回状态码“201 Created
据文件位置;如果用户没有填写,则不会进行压缩上传。 local_path:必选参数,Notebook中的路径。用户的训练脚本需要从该目录中读取数据,完成训练任务。根据is_local_source值的变化,有不同的含义。 is_local_source=True,此时代表训练数据位置,仅支持文件夹。
语音起止点标签专用内置属性:语音来源(例如说话人/旁白等)。 @modelarts:start_index 否 Integer 命名实体标签专用内置属性:文本的起始位置,值从0开始,包括start_index所指的字符。 @modelarts:start_time 否 String 语音起止点标签专用内置属性:语音的起始时间,格式“hh:mm:ss
建议配置。 仅在严格授权模式开启后,需要显式配置左侧权限。 SWR SWR Admin SWR Admin为SWR最大权限,用于: 从自定义镜像导入。 从OBS导入时使用自定义引擎。 按需配置。 OBS obs:bucket:ListAllMybuckets obs:bucket:HeadBucket
├── requirements.txt # 第三方依赖 目前性能测试还不支持投机推理能力。 静态benchmark验证 本章节介绍如何进行静态benchmark验证。 已经上传benchmark验证脚本到推理容器中。如果在Step4 制作推理镜像步骤中已经上传过AscendCloud-LLM-x
一个专属资源池的所有节点,必须为一种计费模式,全部为按需计费模式或全部为包年/包月计费模式。不支持部分节点为按需计费,部分节点为包年/包月计费。 操作步骤 登录管理控制台,单击左侧导航栏的图标,选择“人工智能 > ModelArts”。 在ModelArts列表页,选择“专属资源池 > 弹性集群”,选中目标专属资源池。在“操作
略,请参见ModelArts依赖的OBS权限自定义策略样例。 在统一身份认证服务为用户增加自定义策略权限。详细操作请参见创建自定义策略。 登录“统一身份认证服务”控制台,左侧菜单选择“权限管理 > 权限”,单击右上角“创建自定义策略”,创建自定义策略权限。 图3 统一身份认证服务添加权限
批量删除 标注人员管理 如果您创建的标注作业,开启了团队标注,“标注人员管理”页面中可查看团队标注作业的标注详情。添加、修改或删除标注成员。 登录“数据准备>数据标注”,在“我创建的”页签下可查看所有的标注作业列表。 在作业列表的“名称”列,根据标注作业名称找到对应的团队标注作业。(团队标注作业的名称后带有标识。)
在弹出的提示框中单击“确认”,删除对应的训练作业。 进入OBS,删除本训练作业使用的OBS桶及文件。 查找训练作业 当用户使用IAM账号登录时,训练作业列表会显示IAM账号下所有训练作业。ModelArts提供查找训练作业功能帮助用户快速查找训练作业。 操作一:单击“只显示自己
“物体检测”只支持导出Pascal VOC格式的XML标注文件。 “图像分割”只支持导出Pascal VOC格式的XML标注文件以及Mask图像。 导出数据为新数据集 登录ModelArts管理控制台,在左侧菜单栏中选择“资产管理>数据集”,进入“数据集”管理页面。 在数据集列表中,选择“图片”类型的数据集,单击数据集名称进入“数据集概览页”。
ndSpeed; sh ./scripts/install.sh; sh ./scripts/obs_pipeline.sh 若镜像使用ECS中构建新镜像(二选一)构建的新镜像时,训练作业启动命令中输入: cd /home/ma-user/modelarts/user-job-dir/AscendSpeed;
“物体检测”只支持导出Pascal VOC格式的XML标注文件。 “图像分割”只支持导出Pascal VOC格式的XML标注文件以及Mask图像。 导出数据为新数据集 登录ModelArts管理控制台,在左侧菜单栏中选择“资产管理>数据集”,进入“数据集”管理页面。 在数据集列表中,选择“图片”类型的数据集,单击数据集名称进入“数据集概览页”。
ndSpeed; sh ./scripts/install.sh; sh ./scripts/obs_pipeline.sh 若镜像使用ECS中构建新镜像(二选一)构建的新镜像时,训练作业启动命令中输入: cd /home/ma-user/modelarts/user-job-dir/AscendSpeed;
在Notebook调试环境中部署推理服务 介绍如何在Notebook中配置NPU环境,部署并启动推理服务,完成精度测试和性能测试。 如果需要部署量化模型,需在Notebook中进行模型权重转换后再部署推理服务。 在推理生产环境中部署推理服务 介绍如何在创建AI应用,部署并启动推理服务,在线预测在线服务。
将用户本地开发完成的模型,使用自定义镜像在ModelArts构建成AI应用。具体操作请参考从0-1制作自定义镜像并创建AI应用。 在ModelArts管理控制台,使用创建好的AI应用部署为在线服务。 登录云监控服务CES管理控制台,设置ModelArts服务的告警规则并配置主题订阅方式发送通知。具体操作请参考设置告警规则。