检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何安装第三方包,安装报错的处理方法 问题现象 ModelArts如何安装自定义库函数,例如“apex”。 ModelArts训练环境安装第三方包时出现如下报错: xxx.whl is not a supported wheel on this platform 原因分析 由于安装的文件名格式不支持
使用自定义算法或者订阅算法训练生成的模型,会存储至用户指定的OBS路径中,供用户下载。 父主题: Standard模型训练
ShareGPT格式支持更多的角色种类,例如human、gpt、observation、function等。它们构成一个对象列表呈现在conversations列中。 注意:其中human和observation必须出现在奇数位置,gpt和function必须出现在偶数位置。
抹零金额 华为云产品定价精度为小数点后8位(单位:元),因此在计费过程中会产生小数点后8位的资源使用费用。而在实际扣费时,仅扣除到小数点后2位,小数点后第3位到第8位部分金额会被舍弃,这种舍弃部分的金额称作抹零金额。
关于如何将权重文件存储到OBS桶,请参见上传概述。 单击“自定义权重存储路径”右侧的文件图标,选择存放模型权重文件的OBS路径(必须选择到模型文件夹),然后单击“确定”。 单次上传本地文件到OBS的总大小不能超过5GB,详情请参见如何上传超过5GB的大对象。
使用华为云账号登录ModelArts管理控制台,在左侧导航栏单击“权限管理”,进入“权限管理”页面,单击“添加授权”。
代码如下: session.obs.download_file(obs_path, local_path) 报错信息如下: 2022-07-06 16:22:36 CST [ThreadPoolEx] - /home/work/predict/model/customize_service.py
数据集包含有以下字段: conversations:包含一系列对话对象,每个对象都由发言者(from)和发言内容(value)组成。 from:表示对话的角色,可以是"human"(人类)或"gpt"(机器),表示是谁说的这句话。 value:具体的对话内容。
数据集包含有以下字段: conversations:包含一系列对话对象,每个对象都由发言者(from)和发言内容(value)组成。 from:表示对话的角色,可以是"human"(人类)或"gpt"(机器),表示是谁说的这句话。 value:具体的对话内容。
准备obsutil_linux_amd64.tar.gz的分享链接 单击此处下载obsutil_linux_amd64.tar.gz,将其上传至OBS桶中,设置为公共读。单击属性,单击复制链接。
URI GET /v2/{project_id}/training-jobs/{training_job_id}/tasks/{task_id}/logs/preview 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。
import moxing as mox obs_dir = "obs://${bucket_name}/${folder-name}" local_dir = "/home/ma-user/work/qwen-14b" mox.file.copy_parallel(obs_dir
创建ModelArts委托 功能介绍 创建包含OBS、SWR、IEF等依赖服务的ModelArts委托。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
URI GET /v2/{project_id}/training-jobs/{training_job_id}/autosearch-parameter-analysis 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。
URI PUT /v2/{project_id}/training-jobs/{training_job_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。
实例中“inputs”中“remote”下的“obs_url”表示从OBS桶中选择训练数据的OBS路径。实例中“outputs”中“remote”下的“obs_url”表示上传训练输出至指定OBS路径。
验证OBS权限。 在左上角的服务列表中,选择OBS服务,进入OBS管理控制台。 在OBS管理控制台,单击右上角的“创建桶”,如果能正常打开页面,表示当前用户具备OBS的操作权限。 验证SWR权限。 在左上角的服务列表中,选择SWR服务,进入SWR管理控制台。
请求示例 如下以创建名为“visualization-job”,描述为“this is a visualization job”,OBS路径为“/obs/name/”的可视化作业为例。
在过往性能调优场景中,如果性能profiling数据在OBS上,通常需要将TB或者GB级别的profiling数据下载至本地后才能使用msprof-analyze进行分析,大量数据的下载耗时以及对本地大规格存储盘的要求容易导致分析受阻。
在创建OBS桶创建的桶下创建文件夹用以存放数据,例如在桶standard-llama2-13b中创建文件夹training_data。 利用OBS Browser+工具将步骤1下载的数据集上传至步骤2创建的文件夹目录下。