检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建和保存Pascal VOC文件 需要先创建包含Pascal VOC信息的对象,然后保存。Pascal VOC信息请见表2。路径支持本地和OBS,如果是OBS,需要Session信息。 pascal_voc.save_xml(xml_file_path, save_mode='w'
二选一即可,若同时输入,则优先使用 test_count,若都未输入,则返回处理失败 False。 上传数据到指定目录 将下载的原始数据存放在/mnt/sfs_turbo/training_data目录下。具体步骤如下: 进入到/mnt/sfs_turbo/目录下。 创建目录“training_data”,并将原始数据放置在此处。
查询服务日志 查询当前服务对象的日志信息。 示例代码 在ModelArts notebook平台,Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 方式1:根据部署在线服务生成的服务对象进行查询服务日志 1 2 3 4 5 6 7 from
mc2融合算子报错 Yi-34B、Qwen1.5系列、GLM4-9B模型执行lora微调策略任务时产生mc2融合算子错误。 图1 mc2融合算子错误 解决方法 修改代码文件:AscendFactory/scripts_modellink/{model_name}/3_training
在运行finetune_ds.sh 时遇到报错 在运行finetune_ds.sh 时遇到报错 pydantic_core._pydantic_core.ValidationError: 1 validation error for DeepSpeedZeroConfig sta
二选一即可,如果同时输入,则优先使用 test_count,如果都未输入,则返回处理失败 False。 上传数据到指定目录 将下载的原始数据存放在/home/ma-user/ws/training_data目录下。具体步骤如下: 进入到/home/ma-user/ws/目录下。 创建目录“training_data”,并将原始数据放置在此处。
二选一即可,如果同时输入,则优先使用 test_count,如果都未输入,则返回处理失败 False。 上传数据到指定目录 将下载的原始数据存放在/home/ma-user/ws/training_data目录下。具体步骤如下: 进入到/home/ma-user/ws/目录下。 创建目录“training_data”,并将原始数据放置在此处。
”列表中,停止因运行自动学习作业而创建的服务。操作完成后,ModelArts服务即停止计费。 登录OBS控制台,进入自己创建的OBS桶中,删除存储在OBS中的数据。操作完成后,OBS服务即停止计费。 对于使用专属资源池创建的自动学习作业: 登录ModelArts控制台,在自动学习
二选一即可,若同时输入,则优先使用 test_count,若都未输入,则返回处理失败 False。 上传数据到指定目录 将下载的原始数据存放在/mnt/sfs_turbo/training_data目录下。具体步骤如下: 进入到/mnt/sfs_turbo/目录下。 创建目录“training_data”,并将原始数据放置在此处。
二选一即可,如果同时输入,则优先使用 test_count,如果都未输入,则返回处理失败 False。 上传数据到指定目录 将下载的原始数据存放在/home/ma-user/ws/training_data目录下。具体步骤如下: 进入到/home/ma-user/ws/目录下。 创建目录“training_data”,并将原始数据放置在此处。
1。 表1 files参数说明 参数 是否必填 说明 请求参数 是 在线服务输入参数名称。 文件路径 否 上传文件的路径。 文件内容 是 上传文件的内容。 文件类型 否 上传文件类型。当前支持以下类型: txt类型:text/plain jpg/jpeg类型:image/jpeg
odelArts Service Log]modelarts-pipe: write line error”。并且问题是必现问题,每次运行到同一地方的时候,出现错误。 原因分析 出现该问题的可能原因如下: 程序运行过程中,产生了core文件,core文件占满了"/"根目录空间。
ModelArts支持通过导入数据集的操作,导入更多数据。本地标注的数据,当前支持从OBS目录导入或从Manifest文件导入两种方式。导入之后您还可以在ModelArts数据管理模块中对数据进行重新标注或修改标注情况。 从OBS目录导入或从Manifest详细操作指导和规范说明请参见导入数据。 父主题:
'images=@图片路径' -H 'X-Auth-Token:Token值' -X POST 在线服务地址 “-k”是指允许不使用证书到SSL站点。 “-F”是指上传数据的是文件,本例中参数名为“images”,这个名字可以根据具体情况变化,@后面是图片的存储路径。 “-H”是post命令
reeturn code: 139 INFO:root:Using MoXing-v1.17.2-c806a92f INFO;root:Using OBS-Python-SDK-3.1.2 原因分析 出现该问题的可能原因如下 pip源中的pip包更新了,之前能跑通的代码,在包更新之后产生了不
wen-14b、qwen-72b、chatglm2-6b、chatglm3-6b模型。 安装精度评测工具。可以在原先的conda环境,进入到一个固定目录下,执行如下命令。 rm -rf lm-evaluation-harness/ git clone https://github
可观测数据来进行分析与优化,一般来说分段对比GPU的运行性能会有比较好的参考。算子级的调优某些情况下如果是明显的瓶颈或者性能攻坚阶段,考虑到门槛较高,可以联系华为工程师获得帮助。 精度问题根因和表现种类很多,会导致问题定位较为复杂,一般还是需要GPU上充分稳定的网络(包含混合精度
" # OBS数据上传至Notebook mox.file.copy_parallel(obs_data_dir, local_data_dir) # Notebook数据上传至OBS mox.file.copy_parallel(local_data_dir, obs_data_dir)
该指标用于统计测量对象的CPU使用率。 百分比(Percent) 0~100% 连续2个周期原始值 > 95% 建议 排查是否符合业务资源使用预期,如果业务无问题,无需处理。 CPU内核占用量 ma_container_cpu_used_core 该指标用于统计测量对象已经使用的CPU核个数。
通过ModelArts预置算法训练得到的模型是保存在OBS桶里的,模型支持下载到本地。 在训练作业列表找到需要下载模型的训练作业,单击名称进入详情页,获取训练输出路径。 图1 获取训练输出位置 单击“输出路径”,跳转至OBS对象路径,下载训练得到的模型。 在本地环境进行离线部署。