检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
placeholder_type=wf.PlaceholderType.STR, description="请输入一个只包含大小写字母、数字、下划线、中划线或者中文字符的名称。填写已有标注任务名称,则直接使用该标注任务;填写新标注任务名称,则自动创建新的标注任务") ), inputs=wf
Object 会话对象,初始化方法见Session鉴权。 model_name 否 String 模型名称,名称只能字母,中文开头,为字母、数字、下划线、中文或者中划线组成的合法字符,支持1-64个字符。如果未输入该参数,系统会自动生成模型name。 model_version 是
到影响,并且使本次作业不受污点影响。当前可识别的故障类型如下,可通过隔离码及对应检测方法定位故障。 表1 隔离码 隔离码 分类 子类 异常中文描述 检测方法 A050101 GPU 显存 GPU ECC错误。 通过nvidia-smi -a查询到存在Pending Page Bl
是否必选 参数类型 描述 service_name 否 String 服务名称,支持1-64位可见字符(含中文),只能以英文大小写字母或者中文字符开头,名称可以包含字母、中文、数字、中划线、下划线。 description 否 String 服务备注,默认为空,不超过100个字符。
接远程实例,此时无需选择密钥。 图7 远程连接Notebook实例 如果未找到会弹出选择框,请根据提示选择正确的密钥。 密钥文件名不能包含中文字符。 图8 选择密钥文件 如果密钥选择错误,则弹出提示信息,请根据提示信息选择正确密钥。 图9 选择正确的密钥文件 当左下角显示如下状态时,代表实例连接成功:
enterprise_project_id 否 String 企业项目ID。 name 是 String 工作空间名称。长度限制为4-64字符,支持中文、大小写字母、数字、中划线和下划线。同时'default'为系统预留的默认工作空间名称,用户无法自己创建名为'default'的工作空间。
placeholder_type=wf.PlaceholderType.STR, description="请输入一个只包含大小写字母、数字、下划线、中划线或者中文字符的名称。填写已有标注任务名称,则直接使用该标注任务;填写新标注任务名称,则自动创建新的标注任务") ), inputs=wf
Service,需提前在IEF(智能边缘服务)创建好节点。 是 str service_name 服务名称,支持1-64位可见字符(含中文),名称可以包含字母、中文、数字、中划线、下划线。 说明: 该字段不填时默认为自动生成的服务名称。 否 str、Placeholder description
果导入的数据集包括除了上述之外的子集,这些其他子集将被忽略。 obj.data应包含以下内容,train和valid子集必须至少有一个,其中文件路径均为相对路径。 classes = 5 # 可选 names = <path/to/obj.names>#例如 obj.names train
描述 package_name 是 String 依赖包名称。不能含有中文及特殊字符&!'"<>=。 package_version 否 String 依赖包版本,如果不强依赖于版本号,则该项不填。不能含有中文及特殊字符&!'"<>=。 restraint 否 String 版本
障,请联系客户经理发起维修流程(若无客户经理可提交工单)。 表1 节点故障类型定义 NodeCondition Type 分类 子类 异常中文描述 检测方法 处理建议 NT_NPU_DEVICE NPU 其他 npu dcmi device异常。 NPU设备异常,昇腾dcmi接口中返回设备存在重要或紧急告警。
extend_params Integer 计费因子。 display_en String 规格的英文描述。 display_cn String 规格的中文描述。 表6 CpuInfo 参数 参数类型 描述 arch String 架构类型。 cpu Number CPU核心数。 表7 MemoryInfo
tokenizer路径。 Megatron转HuggingFace参数说明 若用户需要自动转换,则在训练作业中,添加变量CONVERT_MG2HF并赋值True。若用户后续不需要自动转换,则在环境变量中必须删除CONVERT_MG2HF变量。 Megatron转HuggingFace脚本具体参数如下:
tokenizer路径。 Megatron转HuggingFace参数说明 如果用户需要自动转换,则在训练作业中,添加变量CONVERT_MG2HF并赋值True。如果用户后续不需要自动转换,则在环境变量中必须删除CONVERT_MG2HF变量。 Megatron转HuggingFace脚本具体参数如下:
tokenizer路径。 Megatron转HuggingFace参数说明 如果用户需要自动转换,则在训练作业中,添加变量CONVERT_MG2HF并赋值True。如果用户后续不需要自动转换,则在环境变量中必须删除CONVERT_MG2HF变量。 Megatron转HuggingFace脚本具体参数如下:
是否必选 参数类型 描述 email 否 String 标注团队成员邮箱。 locale 否 String 语言。可选值如下: zh-cn:中文 en-us:英文(默认值) sample_state 否 String 查询指定样本状态下的统计信息。可选样本状态如下: __ALL__:已标注
若用户要自定义数据处理脚本并且单独执行,同样以 llama2 为例。注意脚本中的python命令分别有Hugging Face 转 Megatron格式,以及Megatron 转 Hugging Face格式,而脚本使用hf2hg、mg2hf参数传递来区分。 方法一:用户可打开scripts/
tokenizer路径。 Megatron转HuggingFace参数说明 如果用户需要自动转换,则在训练作业中,添加变量CONVERT_MG2HF并赋值True。如果用户后续不需要自动转换,则在环境变量中必须删除CONVERT_MG2HF变量。 Megatron转HuggingFace脚本具体参数如下:
如果用户要自定义数据处理脚本并且单独执行,同样以 llama2 为例。注意脚本中的python命令分别有Hugging Face 转 Megatron格式,以及Megatron 转 Hugging Face格式,而脚本使用hf2hg、mg2hf参数传递来区分。 方法一:用户可打开scripts/
若用户要自定义数据处理脚本并且单独执行,同样以 llama2 为例。注意脚本中的python命令分别有Hugging Face 转 Megatron格式,以及Megatron 转 Hugging Face格式,而脚本使用hf2hg、mg2hf参数传递来区分。 方法一:用户可打开scripts/