检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
必须修改。加载tokenizer与Hugging Face权重时存放目录绝对或相对路径。请根据实际规划修改。 template qwen 必须修改。用于指定模板。如果设置为"qwen",则使用Qwen模板进行训练,模板选择可参照表1中的template列 output_dir /home/ma-user/w
Git插件相关操作,可以方便快捷地使用Github代码库。 Tabs 同时打开多个ipynb文件时,通过Tabs激活或选择文件。 Settings JupyterLab工具系统设置。 Help JupyterLab工具自带的帮助参考。 图15 ipynb文件菜单栏中的快捷键 表4 ipynb文件菜单栏中的快捷键 快捷键
本案例仅支持在专属资源池上运行。 支持的模型列表 本方案支持以下模型的训练,如表1所示。 表1 代码包中适配的模型 序号 支持模型 支持模型参数量 权重文件获取地址 1 Llama2 llama2-7b https://huggingface.co/meta-llama/Llama-2-7b-chat-hf
训练启动文件。value支持字符串,整数,布尔等类型。对于布尔类型,建议用户在训练脚本中使用action='store_true'的形式来解析。 framework_type:必选参数,训练作业使用的AI框架类型,可参考步骤5的返回结果。 train_instance_type:
size参数,指定-1时为per-channel权重量化,W4A16支持128和-1,W8A16支持-1。 --w-bit:量化比特数,W4A16设置4,W8A16设置8。 --calib-data:数据集路径,推荐使用:https://huggingface.co/datasets/mit-ha
size参数,指定-1时为per-channel权重量化,W4A16支持128和-1,W8A16支持-1。 --w-bit:量化比特数,W4A16设置4,W8A16设置8。 --calib-data:数据集路径,推荐使用:https://huggingface.co/datasets/mit-ha
具体如表1所示。 表1 支持的模型列表和权重获取地址 序号 模型名称 是否支持fp16/bf16推理 是否支持W4A16量化 是否支持W8A8量化 是否支持W8A16量化 是否支持 kv-cache-int8量化 开源权重获取地址 1 llama-7b √ √ √ √ √ https://huggingface
size参数,指定-1时为per-channel权重量化,W4A16支持128和-1,W8A16支持-1。 --w-bit:量化比特数,W4A16设置4,W8A16设置8。 --calib-data:数据集路径,推荐使用:https://huggingface.co/datasets/mit-ha
整体情况,需要给子账号授予CES权限。 如果只是查看监控,给子账号授予CES ReadOnlyAccess权限即可。 如果还需要在CES上设置监控告警,则需要再加上CES FullAccess权限,以及SMN消息通知权限。 (可选)配置VPC权限。如果用户在创建专属资源池过程中,
size参数,指定-1时为per-channel权重量化,W4A16支持128和-1,W8A16支持-1。 --w-bit:量化比特数,W4A16设置4,W8A16设置8。 --calib-data:数据集路径,推荐使用:https://huggingface.co/datasets/mit-ha
size参数,指定-1时为per-channel权重量化,W4A16支持128和-1,W8A16支持-1。 --w-bit:量化比特数,W4A16设置4,W8A16设置8。 --calib-data:数据集路径,推荐使用:https://huggingface.co/datasets/mit-ha
面。 选择运行中的Notebook实例,单击实例名称,进入Notebook实例详情页面,在“存储配置”页签,单击“添加数据存储”,设置挂载参数。 设置本地挂载目录,在“/data/”目录下输入一个文件夹名称,例如:demo。挂载时,后台自动会在Notebook容器的“/data/
“按实例数量”两种滚动方式。 按节点比例:每批次驱动升级的实例数量为“节点比例*资源池实例总数”。 按实例数量:每批次驱动升级的实例数量为设置的实例数量。 对于不同的升级方式,滚动升级选择节点的策略会不同: 如果升级方式为安全升级,则根据滚动实例数量选择无业务的节点,隔离节点并滚动升级。
用内存,导致磁盘空间不足。 磁盘配额不足。 处理方法 查看虚拟机所使用的存储空间,再查看回收站文件占用内存,根据实际删除回收站里不需要的大文件。 在Notebook实例详情页,查看实例的存储容量。 执行如下命令,排查虚拟机所使用的存储空间,一般接近存储容量,请排查回收站占用内存。
n/AscendSpeed/model/llama2-70B 必须修改。加载tokenizer与Hugging Face权重时,对应的存放地址。请根据实际规划修改。 对于ChatGLMv3-6B和Qwen系列模型,还需要手动修改tokenizer文件,具体请参见训练tokenizer文件说明。
注册镜像。登录ModelArts控制台,在左侧导航栏选择“镜像管理”,进入镜像管理页面。单击“注册镜像”,镜像源即为推送到SWR中的镜像。请将完整的SWR地址复制到这里即可,或单击可直接从SWR选择自有镜像进行注册,类型加上“GPU”,如图1所示。 图1 注册镜像 登录ModelArts管理控制台,在左侧导航栏中选择“开发空间
支持管理托管的资产文件,例如在线预览、下载、删除文件。 只支持预览大小不超过10MB、格式为文本类或图片类的文件。 支持编辑资产介绍。每个资产介绍可分为基础设置和使用描述。 基础设置部分包含了该资产所有重要的结构化元数据信息。选择填入的信息将会变成该模型资产的标签,并且自动同步在模型描述部分,保存到“README
处理,因此需要在请求中增加exact_match参数,且参数值设置为true,确保能够正常执行查询操作。 exact_match 否 String 是否对下划线进行转义处理,当模型名称包含下划线时,需要将该参数值设置为true,确保能够正常执行查询操作。默认不填该值。 model_version
准备obsutil_linux_amd64.tar.gz的分享链接 单击此处下载obsutil_linux_amd64.tar.gz,将其上传至OBS桶中,设置为公共读。单击属性,单击复制链接。 链接样例如下: https://${bucketname_name}.obs.cn-north-4.myhuaweicloud
入统一身份认证(IAM)服务。 在统一身份认证服务页面的左侧导航选择“权限管理 > 权限”,单击右上角的“创建自定义策略”,设置策略。 “策略名称”:设置自定义策略名称,例如:ma_sfs_turbo。 “策略配置方式”:JSON视图。 “策略内容”:填入如下内容。 { "Version":