检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Cache复用。 Prefix Caching参数设置 启动推理服务时,使用Prefix Cache特性需要配置的补充参数如表1所示,对应的代码样例如表2所示。 表1 Prefix Cache特性参数 服务启动方式 配置项 取值类型 取值范围 配置说明 offline enable_prefix_caching
nodes/batch-reboot 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 pool_name 是 String 资源池名称。 请求参数 表2 请求Body参数 参数 是否必选 参数类型
否 params结构数组 模型推理输入参数列表,默认为空。如果已在模型配置文件中配置apis信息时,则可不填,后台自动从配置文件的apis字段中读取输入参数信息。 output_params 否 params结构数组 模型推理输出参数列表,默认为空。如果已在模型配置文件中配置api
nodes/batch-delete 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 pool_name 是 String 资源池名称。 请求参数 表2 请求Body参数 参数 是否必选 参数类型
ervice_id}/apis 表1 路径参数 参数 是否必选 参数类型 描述 service_id 是 String API所属的服务ID。 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 请求参数 表2 请求Header参数 参数 是否必选
{task_id}/versions 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 task_id 是 String 数据处理任务ID。 请求参数 表2 请求Body参数 参数 是否必选 参数类型
inputs 数据集导入节点的输入列表。 是 DatasetImportInput或者DatasetImportInput的列表 outputs 数据集导入节点的输出列表。 是 DatasetImportOutput或者DatasetImportOutput的列表 properties 数据集导入相关的配置信息。
Server资源和Ascend Snt9B。 软件配套版本 表1 获取软件 分类 名称 获取路径 插件代码包 AscendCloud-6.3.908软件包中的AscendCloud-AIGC-6.3.908-xxx.zip 文件名中的xxx表示具体的时间戳,以包名发布的实际时间为准。 获取路径:Support-E
saved_models/pretrain_hf/ 目录下查看转换后的权重文件。 权重转换完成后,需要将例如saved_models/pretrain_hf中的文件与原始Hugging Face模型中的文件进行对比,查看是否缺少如tokenizers.json、tokenizer_config
Extension for PyTorch作为一个PyTorch插件,支持在不改变PyTorch表达层的基础上,动态添加昇腾后端适配,包含增加了NPU设备、hccl等一系列能力的支持。安装后可以直接使用PyTorch的表达层来运行在NPU设备上。 当前提供了自动迁移工具进行GPU到昇腾适配,原理是
第二个计费周期为:2023/04/08 23:59:59 ~ 2023/05/08 23:59:59 您需要为每个计费周期预先付费,计费公式如表2所示。 表2 计费公式 资源类型 计费公式 资源单价 计算资源 实例规格单价 * 计算节点个数 * 购买时长 请参见ModelArts价格详情中的“规格价格”。
connection to xxx 问题现象 原因分析 执行VS Code Remote SSH连接失败。 解决方法 单击弹窗右上角关闭弹窗,查看OUTPUT中的具体报错信息,并参考后续章节列举的几种常见报错解决问题。 父主题: VS Code连接开发环境失败故障处理
推荐使用“西南-贵阳一”Region上的Lite Server资源和Ascend Snt9B。 表1 环境要求 名称 版本 CANN cann_8.0.rc2 PyTorch pytorch_2.1.0 获取软件和镜像 表2 获取软件和镜像 分类 名称 获取路径 插件代码包 AscendCloud-3rdAIGC-6
/v2/{project_id}/workflows/service/auth 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 main_service_id
ns 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 表2 Query参数 参数 是否必选 参数类型 描述 user_id 否 String 用户ID,当user_id为all时,表示删除所有IAM子用户的授权。
输入在控制台不会回显 AKSK鉴权 如下命令表示使用AKSK进行鉴权,需要交互式输入AK及SK信息。默认提示AK和SK,且输入在控制台不会回显。 以下样例中所有以${}装饰的字符串都代表一个变量,用户可以根据实际情况指定对应的值。 比如${access key}表示输入用户自己的access key。
是 str inputs 数据集标注节点的输入列表 是 LabelingInput或者LabelingInput的列表 outputs 数据集标注节点的输出列表 是 LabelingOutput或者LabelingOutput的列表 properties 数据集标注相关的配置信息
CommonOperations”已生效。 在“服务列表”中选择除ModelArts外(假设当前策略仅包含ModelArts CommonOperations)的任一服务,如果提示权限不足,表示“ModelArts CommonOperations”已生效。 在“服务列表”中选择ModelArts,进入
CommonOperations”已生效。 在“服务列表”中选择除ModelArts外(假设当前策略仅包含ModelArts CommonOperations)的任一服务,如果提示权限不足,表示“ModelArts CommonOperations”已生效。 在“服务列表”中选择ModelArts,进入
、“数据清洗”、“数据选择”和“数据增强”四类。 “数据校验”表示对数据集进行校验,保证数据合法。 “数据清洗”表示对数据进行去噪、纠错或补全的过程。 “数据选择”表示从全量数据中选择数据子集的过程。 “数据增强”表示通过简单的数据扩增例如缩放、裁剪、变换、合成等操作直接或间接的方式增加数据量。