检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
描述 workspace_id 否 String 工作空间ID。获取方法请参见查询工作空间列表。未创建工作空间时默认值为“0”,存在创建并使用的工作空间,以实际取值为准。 请求参数 无 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 items Array
比对您创建的OBS桶所在区域与ModelArts所在区域是否一致。务必保证OBS桶与ModelArts所在区域一致。 检查您的账号是否有该OBS桶的访问权限 如果在使用Notebook时,需要访问其他账号的OBS桶,请查看您的账号是否有该OBS桶的访问权限。如没有权限,请参见在Notebook中,如何访问其他账号的OBS桶?。
运行环境请参见推理基础镜像列表。 安装pip包有先后依赖关系。 处理方法 到pypi.org上查询依赖的待安装包是否存在,如果不存在则建议使用whl包进行安装(将待安装的whl包放到模型所在的OBS目录下)。 查看待安装包的安装限制和前置依赖等,排查是否满足相关要求。 如果包有依
modelarts/workspace.id String 工作空间ID。获取方法请参见查询工作空间列表。未创建工作空间时默认值为“0”,存在创建并使用的工作空间,以实际取值为准。 表8 NetworkMetadataAnnotations 参数 参数类型 描述 os.modelarts/description
modelarts/workspace.id String 工作空间ID。获取方法请参见查询工作空间列表。未创建工作空间时默认值为“0”,存在创建并使用的工作空间,以实际取值为准。 表5 NetworkMetadataAnnotations 参数 参数类型 描述 os.modelarts/description
Array 指定查询数据集的版本ID列表。 workspace_id 否 String 工作空间ID。未创建工作空间时默认值为“0”,存在创建并使用的工作空间,以实际取值为准。 请求参数 无 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 count Integer
传输中的数据保护 在ModelArts中导入AI应用时,支持用户自己选择HTTP和HTTPS两种传输协议,为保证数据传输的安全性,推荐用户使用更加安全的HTTPS协议。 数据完整性检查 推理部署功能模块涉及到的用户模型文件和发布到AIGallery的资产在上传过程中,有可能会因为
示例二:提交自定义镜像训练作业 Estimator中同时指定user_image_url和user_command,会提交自定义镜像训练作业,并使用自定义启动命令来启动训练任务。 from modelarts.session import Session from modelarts.train_params
查看Lite Server服务器详情 在您创建了Lite Server服务器后,可以通过管理控制台查看和管理您的Lite Server服务器。本节介绍如何查看Lite Server服务器的详细信息,包括名称/ID、磁盘、网卡、规格、镜像等信息。 表1 详情页参数说明 参数名称 说明
@modelarts:from_type String 内置属性:三元组关系标签的起始实体类型,创建关系标签时必须指定,该参数仅文本三元组数据集使用。 @modelarts:rename_to String 内置属性:重命名后的标签名。 @modelarts:shortcut String
job_id",或从查询训练作业列表的响应中获得。 表2 get_job_info返回参数说明 参数 参数类型 描述 kind String 训练作业类型。默认使用job。 枚举值: job:训练作业 hetero_job:异构作业 autosearch_job:自动搜索作业 mrs_job:mrs作业
可能是内存溢出造成的。请减少数据量、减少batch_size,优化代码,合理聚合、复制数据。 请注意,数据文件大小不等于内存占用大小,需仔细评估内存使用情况。 退出码139 请排查安装包的版本,可能存在包冲突的问题。 排查办法 根据错误信息判断,报错原因来源于用户代码。 您可以通过以下两种方式排查:
的存放路径,与HF权重存放在一个文件夹下。 --seq-length:要处理的最大seq length。 --workers:设置数据处理使用执行卡数量 / 启动的工作进程数。 --log-interval:是一个用于设置日志输出间隔的参数,表示输出日志的频率。在训练大规模模型时
的存放路径,与HF权重存放在一个文件夹下。 --seq-length:要处理的最大seq length。 --workers:设置数据处理使用执行卡数量 / 启动的工作进程数。 --log-interval:是一个用于设置日志输出间隔的参数,表示输出日志的频率。在训练大规模模型时
checking_task_id String 当前验收任务ID。 overwrite_last_result Boolean 验收时若样本已标注,是否使用验收结果覆盖已标注结果。可选值如下: true:覆盖已标注结果 false:不覆盖已标注结果(默认值) total_stats CheckTaskStats
job_id",或从查询训练作业列表的响应中获得。 表2 返回参数说明 参数 参数类型 描述 kind String 训练作业类型。默认使用job。 枚举值: job:训练作业 hetero_job:异构作业 autosearch_job:自动搜索作业 mrs_job:mrs作业
app列表。 workspace_id 否 String 工作空间ID。获取方法请参见查询工作空间列表。未创建工作空间时默认值为“0”,存在创建并使用的工作空间,以实际取值为准。 表4 Apps 参数 是否必选 参数类型 描述 app_id 否 String APP的编号,可通过查询APP列表获取。
false:不返回标签信息(默认值) workspace_id 否 String 工作空间ID。未创建工作空间时默认值为“0”,存在创建并使用的工作空间,以实际取值为准。 dataset_version 否 String 数据集版本(用于区分标注任务解耦前的数据集和解耦后的数据集)。可选值如下:
modelarts/workspace.id String 工作空间ID。获取方法请参见查询工作空间列表。未创建工作空间时默认值为“0”,存在创建并使用的工作空间,以实际取值为准。 表5 NetworkMetadataAnnotations 参数 参数类型 描述 os.modelarts/description
为例。注意脚本中的python命令分别有Hugging Face 转 Megatron格式,以及Megatron 转 Hugging Face格式,而脚本使用hf2hg、mg2hf参数传递来区分。 方法一:用户可打开scripts/llama2/2_convert_mg_hf.sh脚本,将执行的