检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
发布和管理AI Gallery数据集 托管数据集到AI Gallery 发布数据集到AI Gallery 管理AI Gallery数据集 父主题: AI Gallery(新版)
Gallery镜像 发布和管理AI Gallery中的AI应用 使用AI Gallery微调大师训练模型 使用AI Gallery在线推理服务部署模型 Gallery CLI配置工具指南 计算规格说明
发布和管理AI Gallery模型 构建模型 托管模型到AI Gallery 发布模型到AI Gallery 管理AI Gallery模型 父主题: AI Gallery(新版)
发布和管理AI Gallery中的AI应用 发布本地AI应用到AI Gallery 将AI Gallery中的模型部署为AI应用 管理AI Gallery中的AI应用 父主题: AI Gallery(新版)
订阅使用 查找和收藏资产 订阅免费算法 订阅免费模型 下载数据 使用Notebook代码样例 使用镜像 使用AI案例 订阅Workflow 父主题: AI Gallery(旧版)
发布分享 发布免费算法 发布免费模型 发布数据 发布Notebook 父主题: AI Gallery(旧版)
参加活动 报名实践活动(实践) 发布技术文章(AI说) 父主题: AI Gallery(旧版)
需求广场 发布需求 父主题: AI Gallery(旧版)
模型发布任务提交失败 出现此问题,一般是因为后台服务故障导致的,建议稍等片刻,然后重新创建训练作业。如果重试超过3次仍无法解决,请联系华为云技术支持。 父主题: 模型发布
址,不同服务不同区域的终端节点不同,您可以从地区和终端节点中查询所有服务的终端节点。 约束与限制 您能创建的ModelArts资源的数量与配额有关系,具体请参见服务配额。 更详细的限制请参见具体API的说明。 基本概念 账号 用户注册时的账号,账号对其所拥有的资源及云服务具有完全
自动学习训练作业创建失败 出现此问题,一般是因为后台服务故障导致的,建议稍等片刻,然后重新创建训练作业。如果重试超过3次仍无法解决,请联系华为云技术支持。 父主题: 模型训练
install等方式安装conda环境的依赖。 更多ModelArts自定义镜像介绍请见自定义镜像简介。 调试要点 确认对应的脚本、代码、流程在linux服务器上运行正常。 如果在linux服务器上运行就有问题,那么先调通以后再做容器镜像。 确认打入镜像的文件是否在正确的位置、是否有正确的权限。 训练场景主要查看自研的依赖包是否正常,查看pip
根据创建AI应用时的设置,显示部署服务的使用约束,如请求模式、启动命令、模型加密等。对于异步请求模式的AI应用,可显示输入模式、输出模式、服务启动参数和作业配置参数等参数。 关联服务 展示使用该AI应用部署的服务列表,单击服务名称可以直接跳转到服务详情页面。 父主题: 管理AI应用
benchmark_serving.csv --backend:服务类型,如tgi,vllm,mindspore、openai。 --host ${docker_ip}:服务部署的IP地址,${docker_ip}替换为宿主机实际的IP地址。 --port:推理服务端口。 --dataset:数据集路径。
参数说明 --backend:服务类型,支持tgi、vllm、mindspore、openai等后端。本文档使用的推理接口是openai。 --host:服务部署的IP,${docker_ip}替换为宿主机实 际的IP地址。 --port:推理服务端口。 --tokenizer:
准备镜像主机 准备一台Linux x86_64架构的主机,操作系统使用Ubuntu-18.04。您可以准备相同规格的弹性云服务器ECS或者应用本地已有的主机进行自定义镜像的制作。 购买ECS服务器的具体操作请参考购买并登录Linux弹性云服务器。“CPU架构”选择“x86计算”,“镜像”选择“公共镜像”,推荐使用Ubuntu18
zip上传到${workdir}目录下并解压缩,如SFS Turbo的路径:/mnt/sfs_turbo目录下,以下都以/mnt/sfs_turbo为例,请根据实际修改。 unzip AscendCloud-*.zip 上传tokenizers文件到工作目录中的/mnt/sfs_turbo/tokenizers
S权限自定义策略样例。 在统一身份认证服务为用户增加自定义策略权限。详细操作请参见创建自定义策略。 登录“统一身份认证服务”控制台,左侧菜单选择“权限管理 > 权限”,单击右上角“创建自定义策略”,创建自定义策略权限。 图3 统一身份认证服务添加权限 图4 创建自定义策略 权限内容如下:
-1) return torch.nn.functional.silu(x[0]) * x[1] def forward(self, x): output = self._swiglu(x) return output input_data
骤介绍如何创建用户组、子账号、并将子账号加入用户组中。 主用户登录管理控制台,单击右上角用户名,在下拉框中选择“统一身份认证”,进入IAM服务。 图1 统一身份认证 创建用户组。在左侧菜单栏中,选择“用户组”。单击右上角“创建用户组”,在“用户组名称”中填入“用户组02”,然后单击“确定”完成用户组创建。