检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
输入参数与csv数据的映射关系,仅当mapping_type为csv时需要填写。
场景描述 模型压缩是指将高比特浮点数映射到低比特量化空间,从而减少显存占用的资源,降低推理服务时延,提高推理服务吞吐量,并同时减少模型的精度损失。模型压缩适用于追求更高的推理服务性能、低成本部署以及可接受一定精度损失的场景。
mapping_type 是 String 输入数据的映射类型,可选“file”或“csv”。 file指每个推理请求对应到输入数据目录下的一个文件,当使用此方式时,此模型对应req_uri只能有一个输入参数且此参数的类型是file。
映射规则:当前不支持CPU配置cache盘;GPU与昇腾资源为单卡时,cache目录保持500G大小限制;除单卡外,cache盘大小与卡数有关,计算方式为卡数*500G,上限为3T。详细表1所示。
annotation_loc_map String 标注文件路径的映射。 父主题: Manifest管理
自动迁移的原理是:通过注入的方式将当前Python运行环境中,运行时的torch.cuda等需要适配的接口和操作都映射成为torch.npu对应的接口。所以理论上常见场景下的代码不需要额外手工适配就可以运行到昇腾设备上。 # 自动映射cuda API到NPU的代码。
服务韧性 韧性特指安全韧性,即云服务受攻击后的韧性,不含可靠性、可用性。本章主要阐述ModelArts服务受入侵的检测响应能力、防抖动的能力、域名合理使用、内容安全检测等能力。 安全防护套件覆盖和使用堡垒机,增强入侵检测和防御能力 ModelArts服务部署主机层、应用层、网络层和数据层的安全防护套件
mapping_type String 输入数据的映射类型,取值为:file或csv。 mapping_rule Map 输入参数与csv数据的映射关系,仅当mapping_type为csv时,会返回。 父主题: 服务管理
local_dir String 数据输出通道映射的容器本地路径。 remote remote object 数据实际输出信息。 表24 remote 参数 参数类型 描述 obs obs object 数据实际输出到OBS。
“映射关系” 如果模型输入是json格式时,系统将根据此模型对应的配置文件自动生成映射关系。如果模型的输入是文件,则不需要映射关系。 自动生成的映射关系文件,填写每个参数对应到csv单行数据的字段索引,索引index从0开始计数。
mapping_rule 否 Map 输入参数与csv数据的映射关系,仅当mapping_type为csv时需要填写。
输入参数与csv数据的映射关系,仅当mapping_type为csv时需要填写。
强化学习:智能系统从环境到行为映射的学习,以使奖励信号(强化信号)函数值最大。 回归 回归反映的是数据属性值在时间上的特征,产生一个将数据项映射到一个实值预测变量的函数,发现变量或属性间的依赖关系,其主要研究问题包括数据序列的趋势特征、数据序列的预测以及数据间的关系等。
local_dir String 数据输出通道映射的容器本地路径。 remote remote object 数据实际输出信息。 表22 remote 参数 参数类型 描述 obs obs object 数据实际输出到OBS。
通过添加DNAT规则,则可以通过映射方式为VPC内的Server提供SSH访问服务,一个Server的一个端口对应一条DNAT规则,一个端口只能映射到一个EIP,不能映射到多个EIP。 在DNAT规则页签下,单击“添加DNAT规则”。
自动调度: 自动调度模块基于polyhedral技术,主要包括自动向量化、自动切分、thread/block映射、依赖分析和数据搬移等。 后端优化: 后端优化模块的优化主要包括TensorCore使能、双缓冲区、内存展开和同步指令插入等。
local_dir String 数据输入输出通道映射的容器本地路径。 remote AlgorithmRemote object 数据实际输入信息,异构作业只支持OBS。
DLI支持schema映射的功能,即导入的表的schema的字段名称可以不和数据集相同,但类型要保持一致。 父主题: 导入数据到ModelArts数据集
local_dir String 数据输出通道映射的容器本地路径。 remote remote object 数据实际输出信息。 表22 remote 参数 参数类型 描述 obs obs object 数据实际输出到OBS。
local_dir String 数据输入输出通道映射的容器本地路径。 remote AlgorithmRemote object 数据实际输入信息,异构作业只支持OBS。