检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ModelArts数据集保存到容器的哪里? ModelArts的数据集和数据存储位置对应的数据都保存在OBS中。 父主题: 一般性问题
/test/token 登出Gallery CLI配置工具 上传或下载AI Gallery仓库的资产完成后,登出Gallery CLI清理缓存。 在服务器执行如下命令登出Gallery CLI配置工具。 gallery-cli logout 显示如下信息表示登出成功。系统自动
file.copy_parallel(src_obs_dir=input_storage,'obs://dyyolov8/yolov5_test/yolov5-7.0/datasets'), mox这个函数怎么定义以变量的形式填写OBS路径? 解决方案 变量定义参考如下示例: input_storage
标注页面,数据标注的图片来源有两种,通过本地添加图片和同步OBS中的图片数据。 图3 添加本地图片 图4 同步OBS图片数据 添加数据:您可以将本地图片快速添加到ModelArts,同时自动上传至创建项目时所选择的OBS路径中。单击“添加数据”,根据弹出的对话框的引导,输入正确的数据并添加。
创建导出任务 将当前数据集的样本导出到指定的OBS路径下。仅支持图像分类、物体检测、图像分割和自由格式数据集。 dataset.export_data(path) 示例代码 导出数据集到OBS目录 from modelarts.session import Session from
在创建OBS桶创建的桶下创建文件夹用以存放权重和词表文件,例如在桶standard-llama2-13b中创建文件夹llama2-13B-chat-hf。 参考文档利用OBS-Browser-Plus工具将步骤1下载的权重文件上传至步骤2创建的文件夹目录下。得到OBS下数据集结
告警规则”,在“告警规则”界面,单击“添加告警”。 填写告警基本信息。 设置告警规则。 “规则类型”选择“阈值规则”。 “监控对象”:选择“选择资源对象”。单击选择资源对象,弹出新窗口。 添加方式:选择“按指标维度添加”。 指标名称:选择“全量指标”,搜索需要监控的cache指标名称然后选
”列表中,停止因运行自动学习作业而创建的服务。操作完成后,ModelArts服务即停止计费。 登录OBS控制台,进入自己创建的OBS桶中,删除存储在OBS中的数据。操作完成后,OBS服务即停止计费。 对于使用专属资源池创建的自动学习作业: 登录ModelArts控制台,在自动学习
务列表中,停止因运行自动学习作业而创建的服务。操作完成后,ModelArts服务即停止计费。 登录OBS控制台,进入自己创建的OBS桶中,删除存储在OBS中的数据。操作完成后,OBS服务即停止计费。 对于使用专属资源池创建的自动学习作业: 登录ModelArts控制台,在自动学习
h attention算子耗时最长且降频比率最高,因此降频严重影响了整体的训练性能。对于降频问题,用户通常无法自行解决,需要联系服务方如华为云技术支持排查机器的温度和功耗。 图11 降频分析 AICPU Issues 下图展示了高优先级的AICPU问题,AICPU算子单步计算耗时
ter资源,并确保机器已开通,密码已获取,能通过SSH登录,不同机器之间网络互通。 购买Cluster资源时如果无可选资源规格,需要联系华为云技术支持申请开通。 当容器需要提供服务给多个用户,或者多个用户共享使用该容器时,应限制容器访问Openstack的管理地址(169.254
Estimator请求参数说明 参数 是否必选 参数类型 描述 session 是 Object 会话对象,初始化方法请参考Session鉴权。 job_id 是 String 训练作业的id,可通过创建训练作业生成的训练作业对象查询,如"job_instance.job_id",或从查询训练作业列表的响应中获得。
r资源,并确保机器已开通,密码已获取,能通过SSH登录,不同机器之间网络互通。 购买DevServer资源时如果无可选资源规格,需要联系华为云技术支持申请开通。 当容器需要提供服务给多个用户,或者多个用户共享使用该容器时,应限制容器访问Openstack的管理地址(169.254
导入数据集失败 导入数据集失败可能原因为OBS桶类型选择错误,请您选择标准存储类型的桶导入。 父主题: Standard数据管理
print("Default bucket name: ", obs_bucket) default_obs_dir = f"{obs_bucket}/intermidiate" #default_obs_dir = "obs://your-bucket-name/folder-name"
交工单申请开通。 准备工作 创建OBS桶,桶名称示例:“xxx-project”,在OBS桶里创建“data”文件夹。(建议下载OBS Browser+进行相关操作)。 上传本地数据至“data”文件夹。复制此OBS路径,此时输入路径应为“obs://xxx-project/data”,(此路径后面标记为输入路径)。
各个使用场景,同时兼顾数据集管理的灵活性,本文档描述数据集管理的接口和描述规范——Manifest文件。 Manifest文件中定义了标注对象和标注内容的对应关系。Manifest文件中也可以只有原始文件信息,没有标注信息,如生成的未标注的数据集。 Manifest文件使用UTF
boot_file:必选参数,训练启动文件,在code_dir目录下。 obs_path:在多机分布式调测时必选参数,一个OBS目录,SDK会将notebook目录code_dir打包上传到obs_path中。 准备训练输出,与单机训练作业调试4相同。 查看训练支持的AI框架,与单机训练作业调试5相同。 保存当前
r资源,并确保机器已开通,密码已获取,能通过SSH登录,不同机器之间网络互通。 购买DevServer资源时如果无可选资源规格,需要联系华为云技术支持申请开通。 当容器需要提供服务给多个用户,或者多个用户共享使用该容器时,应限制容器访问Openstack的管理地址(169.254
方式二:根据创建训练作业生成的训练作业对象查询。 log = job_instance.get_job_log(task_id="worker-0") print(log) 参数说明 表1 Estimator初始化参数说明 参数 是否必选 参数类型 描述 session 是 Object 会话对象,初始化方法请参考Session鉴权。