检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
=(不等于)、>(大于)、>=(大于等于)、<(小于)、<=(小于等于)、in(包含)、or(或)。 left Object 节点执行条件为true时的分支。 right Object 节点执行条件为false时的分支。 表16 WorkflowSubgraph 参数 参数类型 描述 name String 子图名称。
data_batch_2 |-------- ... 其中“DDP”为创建训练作业时的“代码目录”,“main.py”为上文代码示例(即创建训练作业时的“启动文件”),“cifar-10-batches-py”为解压后的数据集文件夹(放在input_dir文件夹下)。 如果使用自
工作流来源,可选值为ai_gallery,表示工作流是从AI Gallery导入的。 storages 否 Array of WorkflowStorage objects Workflow包含的统一存储定义。 labels 否 Array of strings 为Workflow工作流设置的标签。
--model-path:原始模型权重路径。 --quan-path:转换后权重保存路径。 --group-size:量化group size参数,指定-1时为per-channel权重量化,W4A16支持128和-1,W8A16支持-1。 --w-bit:量化比特数,W4A16设置4,W8A16设置8。
String 工作流来源,可选值为ai_gallery,表示工作流是从AI Gallery导入的。 storages Array of WorkflowStorage objects Workflow包含的统一存储定义。 labels Array of strings 为Workflow工作流设置的标签。
--model-path:原始模型权重路径。 --quan-path:转换后权重保存路径。 --group-size:量化group size参数,指定-1时为per-channel权重量化,W4A16支持128和-1,W8A16支持-1。 --w-bit:量化比特数,W4A16设置4,W8A16设置8。
LM等预置模型服务。 免费体验MaaS预置服务 - 应用体验 ModelArts Studio大模型即服务平台提供了MaaS应用实践中心,为具体的应用场景提供一整套解决方案。 在MaaS应用实践中心查看应用解决方案
官方提供的命令行工具,自带完善的下载功能。具体步骤可参考:HF-Mirror中的使用教程。完成依赖安装和环境变量配置后,以Llama2-70B为例: huggingface-cli download --resume-download meta-llama/Llama-2-70b-chat-hf
--model-path:原始模型权重路径。 --quan-path:转换后权重保存路径。 --group-size:量化group size参数,指定-1时为per-channel权重量化,W4A16支持128和-1,W8A16支持-1。 --w-bit:量化比特数,W4A16设置4,W8A16设置8。
--port:推理服务端口。 --tokenizer:tokenizer路径,HuggingFace的权重路径。 --epochs:测试轮数,默认取值为5 --parallel-num:每轮并发数,支持多个,如 1 4 8 16 32。 --prompt-tokens:输入长度,支持多个,如
--model-path:原始模型权重路径。 --quan-path:转换后权重保存路径。 --group-size:量化group size参数,指定-1时为per-channel权重量化,W4A16支持128和-1,W8A16支持-1。 --w-bit:量化比特数,W4A16设置4,W8A16设置8。
--model-path:原始模型权重路径。 --quan-path:转换后权重保存路径。 --group-size:量化group size参数,指定-1时为per-channel权重量化,W4A16支持128和-1,W8A16支持-1。 --w-bit:量化比特数,W4A16设置4,W8A16设置8。
ModelArts标注的数据存储在OBS中。 自动训练 训练作业结束后,其生成的模型存储在OBS中。 部署上线 ModelArts将存储在OBS中的模型部署上线为在线服务。 Standard AI全流程开发 数据管理 数据集存储在OBS中。 数据集的标注信息存储在OBS中。 支持从OBS中导入数据。 开发环境
--model-path:原始模型权重路径。 --quan-path:转换后权重保存路径。 --group-size:量化group size参数,指定-1时为per-channel权重量化,W4A16支持128和-1,W8A16支持-1。 --w-bit:量化比特数,W4A16设置4,W8A16设置8。
选ModelArts FullAccess,请谨慎配置。 图1 配置ModelArts使用权限 配置其他依赖云服务的使用权限,此处以OBS为例,搜索OBS,勾选“OBS OperateAccess”。ModelArts训练作业中需要依赖OBS作为数据中转站,需要配置OBS的使用权限。
erCase','BertWordPieceCase','GPT2BPETokenizer','PretrainedFromHF'],一般为PretrainedFromHF。 --tokenizer-name-or-path:tokenizer的存放路径,与HF权重存放在一个文件夹下。
赖包,可节约训练作业启动时间。 由于训练启动命令也会执行sh scripts/install.sh安装依赖包,因此Notebook保存镜像为可选操作。 图3 安装依赖包 图4 保存镜像 图5 填写保存镜像相关参数 父主题: 准备工作
erCase','BertWordPieceCase','GPT2BPETokenizer','PretrainedFromHF'],一般为PretrainedFromHF。 --tokenizer-name-or-path:tokenizer的存放路径,与HF权重存放在一个文件夹下。
erCase','BertWordPieceCase','GPT2BPETokenizer','PretrainedFromHF'],一般为PretrainedFromHF。 --tokenizer-name-or-path:tokenizer的存放路径,与HF权重存放在一个文件夹下。
是否必选 参数类型 描述 workspace_id 否 String 工作空间ID。获取方法请参见查询工作空间列表。未创建工作空间时默认值为“0”,存在创建并使用的工作空间,以实际取值为准。 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token