检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
请求参数 无 响应参数 状态码： 200 表2 响应Body参数 参数 参数类型 描述 labelers Array of strings 标注者列表。 labels Array of Label objects 标签列表。 metadata Map<String,Array<String>>
search_type 否 String 过滤方式。可选值如下： equal表示精确匹配。 contain表示模糊匹配。 具体过滤的字段，由各个接口额外定义参数。例如Workflow支持按照名称（name）进行过滤，则相应的过滤字段为name。name=workflow&search_type
json，数据大小：43.6 MB。 自定义数据 预训练数据：用户也可以自行准备预训练数据。数据要求如下： 使用标准的.json格式的数据，通过设置--json-key来指定需要参与训练的列。请注意huggingface中的数据集具有如下this格式。可以使用–json-key标志更改数据集文本字段的名
json，数据大小：43.6 MB。 自定义数据 预训练数据：用户也可以自行准备预训练数据。数据要求如下： 使用标准的.json格式的数据，通过设置--json-key来指定需要参与训练的列。请注意huggingface中的数据集具有如下this格式。可以使用–json-key标志更改数据集文本字段的名
json，数据大小：43.6 MB。 自定义数据 预训练数据：用户也可以自行准备预训练数据。数据要求如下： 使用标准的.json格式的数据，通过设置--json-key来指定需要参与训练的列。请注意huggingface中的数据集具有如下this格式。可以使用–json-key标志更改数据集文本字段的名
json文件，里面是提取的per-tensor的scale值。内容示例如下： 注意： 抽取完成后，可能提取不到model_type信息，需要手动将model_type修改为指定模型，如"llama"。 当前社区vllm只支持float8的kv_cache量化，抽取脚本中dtype类型是"float8_e4m
sample_name String 根据样本名称搜索（含后缀名）。 sample_time String 样本加入到数据集时，会根据样本在OBS上的最后修改时间(精确到天)建立索引，此处可以根据此时间进行搜索。可选值如下： month：搜索往前30天至今天内添加的样本 day：搜索昨天(往前1天)至今天内添加的样本
权限配置和凭证下发权限最小化 AI应用运行时（自定义镜像，OBS模型和依赖）的安全性 及时更新修复安全问题 凭证等敏感数据的安全存储 推理部署安全最佳实践 外部依赖服务 ModelArts推理使用中需要用到一些其他的云服务，当您需要授权时，可以根据实际所需的权限范围进行自定义授权，其中模型管理依赖OB
delArts中，创建为模型，直接用于部署服务。 从容器镜像中导入模型文件创建模型：针对ModelArts目前不支持的AI引擎，可以通过自定义镜像的方式将编写的模型镜像导入ModelArts，创建为模型，用于部署服务。 从AI Gallery订阅模型：ModelArts的AI G
json文件，里面是提取的per-tensor的scale值。内容示例如下： 注意： 抽取完成后，可能提取不到model_type信息，需要手动将model_type修改为指定模型，如"llama"。 当前社区vllm只支持float8的kv_cache量化，抽取脚本中dtype类型是"float8_e4m
否 String 根据样本名称搜索（含后缀名）。 sample_time 否 String 样本加入到数据集时，会根据样本在OBS上的最后修改时间(精确到天)建立索引，此处可以根据此时间进行搜索。可选值如下： month：搜索往前30天至今天内添加的样本 day：搜索昨天(往前1天)至今天内添加的样本
算法的代码启动文件，需要在代码目录下。如：“/usr/app/boot.py”。应与code_dir一同出现。 command String 自定义镜像算法的容器启动命令。 parameters Array of Parameter objects 算法的运行参数。 inputs Array
参数 参数类型 描述 resources PoolResource object 节点池中的资源信息列表，包括资源规格和相应规格的资源数量，自定义配置等。 表5 PoolResource 参数 参数类型 描述 flavor String 资源规格名称，比如：modelarts.vm.gpu
gpu_memory_utilization。如果还是 oom，建议适当往下调整。 最后，如果执行报错提示oom，建议修改数据集的shot配置。例如mmlu，可以修改文件 opencompass/configs/datasets/mmlu/mmlu_ppl_ac766d.py 中的
gpu_memory_utilization。如果还是 oom，建议适当往下调整。 最后，如果执行报错提示oom，建议修改数据集的shot配置。例如mmlu，可以修改文件 opencompass/configs/datasets/mmlu/mmlu_ppl_ac766d.py 中的
镜像所属组织，可以在SWR控制台“组织管理”创建和查看。 origin String 指定镜像来源，可选项，默认自定义构建镜像为CUSTOMIZE。枚举值如下： CUSTOMIZE：用户自定义构建镜像。 IMAGE_SAVE：Notebook实例保存镜像。 resource_categories
参数 参数类型 描述 resources PoolResource object 节点池中的资源信息列表，包括资源规格和相应规格的资源数量，自定义配置等。 表6 PoolResource 参数 参数类型 描述 flavor String 资源规格名称，比如：modelarts.vm.gpu
D:\ma_cli-latest-py3-none-any.whl -noverify > ./test 本示例以软件包在D:\举例，请根据软件包实际路径修改。 Step3：安装ma-cli 在本地环境cmd中执行命令python --version，确认环境已经安装完成Python。（Python版本需大于3
matmul、swiglu、rope等算子性能提升，支持vllm推理场景 支持random随机数算子，优化FFN算子，满足AIGC等场景 支持自定义交叉熵融合算子，满足BMTrain框架训练性能要求 优化PageAttention算子，满足vllm投机推理场景 支持CopyBlocks算子，满足vllm框架beam
matmul、swiglu、rope等算子性能提升，支持vllm推理场景 支持random随机数算子，优化FFN算子，满足AIGC等场景 支持自定义交叉熵融合算子，满足BMTrain框架训练性能要求 优化PageAttention算子，满足vllm投机推理场景 支持CopyBlocks算子，满足vllm框架beam
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
