检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
从OBS中或者从容器镜像中导入模型时,开发者需要编写模型配置文件。模型配置文件描述模型用途、模型计算框架、模型精度、推理代码依赖包以及模型对外API接口。配置文件为JSON格式。配置文件中的“dependencies”,表示配置模型推理代码需要的依赖包,需要提供依赖包名、安装方式和版本约
的AI生态体系。 AI Gallery使用限制 目前自动学习产生的模型暂不支持发布到AI Gallery。 订阅或购买主要是获取AI资产的使用配额和使用权,支持在配额定义的约束下,有限地使用AI资产。 使用AI资产时,可能需要消耗硬件资源,硬件资源费用将根据实际使用情况,由华为云
服务部署完成且服务处于运行中后,可以往该服务发送推理的请求,请求的内容根据模型的不同可以是文本,图片,语音,视频等内容。 当使用调用指南页签中显示的调用地址(华为云APIG网关服务的地址)预测时,对请求体的大小限制是12MB,超过12MB时,请求会被拦截。 如果是从ModelArts console的预测页
907版本,请参考表1获取配套版本的软件包和镜像,请严格遵照版本配套关系使用本文档。 确保容器可以访问公网。 资源规格要求 推荐使用“西南-贵阳一”Region上的DevServer资源和Ascend Snt9B。 软件配套版本 表1 获取软件 分类 名称 获取路径 插件代码包 AscendCloud-6
建多个工作空间,把不同应用开发过程的输出内容划分到不同工作空间中,便于管理和使用。 基于工作空间可以实现资源逻辑隔离、资源配额管理、细粒度鉴权和资源清理能力。工作空间组件可以将ModelArts各类资源整合,以工作空间体现给企业项目管理服务。 工作空间支持3种访问控制: PUBL
ap-add的启动命令,在模型发布时将会置空。 “apis定义” 提供模型对外Restfull api数据定义,用于定义模型的输入、输出格式。apis定义填写规范请参见模型配置文件编写说明中的apis参数说明,示例代码请参见apis参数代码示例。 确认信息填写无误,单击“立即创建”,完成模型创建。
ster资源。 获取软件 获取插件代码包AscendCloud-6.3.906-xxx.zip中的AscendCloud-AIGC-6.3.906-xxx.zip文件。获取路径:Support-E。 如果没有软件下载权限,请联系您所在企业的华为方技术支持下载获取。 代码包文件名中
密钥),根据账号授予的权限使用资源。IAM子用户相关介绍请参见IAM用户介绍。 联邦用户:又称企业虚拟用户。联邦用户相关介绍请参见联邦身份认证。 委托用户:IAM中创建的一个委托。IAM创建委托相关介绍请参见创建委托。 所有用户:该选项表示会将委托的权限授权到当前账号下的所有子账
立即创建”,跳转至数据加密控制台创建凭据,凭据键/值填写用户的AK、SK信息(“键”分别填写“accessKeyId”,“secretAccessKey”;“值”在控制台个人账号下“我的凭证>访问密钥”获取AK、SK)。 图4 设置凭据值 “云硬盘EVS”、“弹性文件服务SFS”
Standard控制台的方式创建生产环境的训练作业,详细操作请参考本章节以下内容。 通过ModelArts提供的API接口创建生产环境的训练作业,详细操作请参见使用API创建训练作业。 前提条件 已经将用于训练作业的数据上传至OBS目录。 已经在OBS目录下创建了至少1个空的文件夹,用于存储训练输出的内容。
上传多个文件 上传单个文件到指定仓库目录 上传整个文件夹 准备工作 获取“repo_id”和待上传的文件名。 获取“repo_id” 在AI Gallery页面的资产详情页,单击复制完整的资产名称,如图1所示,获取到的信息即为“repo_id”。例如,复制出的信息为“ur54686
是 String Pascal VOC格式的XML文件保存路径。 session 否 Object 会话对象,初始化方法请参见Session鉴权。 当需要操作OBS时必填。 save_mode 否 String 保存模式。默认为w,即重写模式,另外还支持a,为追加模式。 父主题: Manifest管理
隔离的、可以独享的网络资源。 否 str security_group_id 安全组,默认为空,当配置了vpc_id则此参数必填。安全组起着虚拟防火墙的作用,为服务实例提供安全的网络访问控制策略。安全组须包含至少一条入方向规则,对协议为TCP、源地址为0.0.0.0/0、端口为8080的请求放行。
容器镜像所在的路径:单击选择前面创建的镜像。 容器调用接口:选择HTTPS。 host:设置为8443。 部署类型:选择在线部署。 图14 设置模型参数 填写apis定义,单击“保存”生效。apis定义中指定输入为文件,具体内容参见下面代码样例。 图15 填写apis定义 apis定义具体内容如下: [{
否则您的算法代码无法获取正确的输入数据。 例如,算法代码中使用argparse解析的data_url作为输入数据的参数,那么创建算法时就需要配置输入数据的参数名称为“data_url”。 描述 输入参数的说明,用户可以自定义描述。 获取方式 输入参数的获取方式,默认使用“超参”,也可以选择“环境变量”。
描述 path 是 String Manifest文件保存路径。 session 否 Object 会话对象,初始化方法请参见Session鉴权。 当需要操作OBS时必填。 save_mode 否 String 保存模式。默认为w,即重写模式,另外还支持a,为追加模式。 父主题: Manifest管理
rver/api.py文件参数: vim /home/ma-user/anaconda3/envs/PyTorch-2.2.0/lib/python3.10/site-packages/torch/distributed/elastic/agent/server/api.py 修改def
配置节点参数控制分支执行 功能介绍 支持单节点通过参数配置或者获取训练输出的metric指标信息来决定执行是否跳过,同时可以基于此能力完成对执行流程的控制。 应用场景 主要用于存在多分支选择执行的复杂场景,在每次启动执行后需要根据相关配置信息决定哪些分支需要执行,哪些分支需要跳过
个人防护装备:确保您和您的同事穿戴正确的个人防护装备,如安全鞋、透明眼镜或面罩、手套等。\n\n5.创建一个安全文化:鼓励个人对安全的责任感和意识,并创建一个安全文化,使人们始终关注自己和他人的安全。\n\n6.持续监测和改进:持续监测和改进安全准则和程序,以确保它们保持最新,并适应变化的情
上传权重文件中上传的模型权重路径。 参考Step4 创建pod创建pod以用于后续进行模型量化 Step2 模型量化 可以在Huggingface开源社区获取AWQ量化后的模型权重;或者获取FP16/BF16的模型权重之后,通过autoAWQ工具进行量化。 方式一:从开源社区下载发布的AWQ量化模型。 https://huggingface