检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
qwen2-7b 解决方法:修改AscendCloud/AscendCloud-LLM/llm_tools/AutoSmoothQuant/autosmoothquant/utils/utils.py中的build_model_and_tokenizer函数,将torch_dtype类型从
查看该版本的模型“任务记录”是否为空。 是,表示模型未被用于训推任务,可以直接删除。则直接执行下一步。 否,表示模型已被用于训推任务,需要先删除所有任务,再执行下一步。 确认该模型的各个版本的“任务记录”都为空。 当模型存在任务记录会删除失败。
qwen2-7b 解决方法:修改AscendCloud/AscendCloud-LLM/llm_tools/AutoSmoothQuant/autosmoothquant/utils/utils.py中的build_model_and_tokenizer函数,将torch_dtype类型从
qwen2-7b 解决方法:修改AscendCloud/AscendCloud-LLM/llm_tools/AutoSmoothQuant/autosmoothquant/utils/utils.py中的build_model_and_tokenizer函数,将torch_dtype类型从
由于PyCharm ToolKit本地记录了云端ModelArts的训练作业ID,如果手动在ModelArts管理控制台删除,本地提交作业时候会报找不到该ID的作业。
在新页面中,单击“授权记录 > 授权”,搜索“IAM ReadOnlyAccess”,勾选后单击“下一步”并单击“确认”。 验证权限是否配置成功。 登录子用户账号,在创建训练作业/创建Notebook时,仅能看到配置的SFS Turbo文件夹,则表示权限配置成功。
表1 NPU卡数、加速框架、梯度配置取值表 模型 Template 模型参数量 训练策略类型 序列长度cutoff_len 梯度累积值 优化工具(Deepspeed) 规格与节点数 llama2 llama2 7B lora 4096/8192 gradient_accumulation_steps
并根据handler对象对数据集进行解析。
并根据handler对象对数据集进行解析。
在“创建告警规则”页面,“资源类型”选择“ModelArts”,“维度”选择“服务”,“触发规则”选择“自定义创建”,设置告警策略,完成其他信息填写后,单击“立即创建”。 方式二:对单个服务设置告警规则 登录管理控制台。
benchmark_eval下生成的log中记录了客户端产生结果。数据集的打分结果在result/{model_name}/...目录下,查找到summmary目录,有txt和csv两种保存格式。
并根据handler对象对数据集进行解析。
handler-name参数说明 数据集预处理中 --handler-name 都会传递参数,用于构建实际处理数据的hanler对象,并根据handler对象对数据集进行解析。文件路径在:ModelLink/modellink/data/data_handler.py。
在弹出的“添加授权”窗口中,选择: 授权对象类型:所有用户 委托选择:新增委托 权限配置:普通用户 选择完成后勾选“我已经详细阅读并同意《ModelArts服务声明》”,然后单击“创建”。
MoXing提供了一套文件对象API,可以用来读写OBS文件。 您可以通过MoXing API文档了解其与原生API对应关系,以及详细的接口调用示例,详细说明请参见MoXing文件操作。
图3 桶列表 单击左侧导航的“对象”,在对象页面单击新建文件夹,创建OBS文件夹。例如,在已创建的OBS桶“c-flowers”中新建一个文件夹“flowers”。 图4 新建文件夹 在OBS桶中创建完文件夹,即可以上传文件,上传文件操作请参见OBS上传操作。
配置更新记录 展示“当前配置”详情和“历史更新记录”。 “当前配置”:展示模型名称、版本、状态、实例规格、分流、实例数、部署超时时间、环境变量、存储挂载等信息。专属资源池部署的服务,同时展示资源池信息。 “历史更新记录”:展示历史模型相关信息。
按照存储费用结算,那么创建的费用计算如下: 存储费用:创建模型的模型包文件通过对象存储服务(OBS)上传或导出,存储计费按照OBS的计费规则。具体费用可参见对象存储价格详情。 综上,模型的费用 = 存储费用 父主题: 计费项
创建OBS桶 ModelArts使用对象存储服务(Object Storage Service,简称OBS)存储输入输出数据、运行代码和模型文件,实现安全、高可靠和低成本的存储需求。
上传一个obs_file.txt文件,从Notebook上传至OBS。 在命令行输入以下代码,按需修改路径后,单击运行代码。在OBS控制台的桶中,可以看到txt对象存在,表明上传成功。