正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CCE集群 Octopus平台依赖算子镜像内的/bin/bash、stdbuf、tee软件,请确保基础镜像内包含上述软件且能通过PATH找到。 一般情况下,训练与评测定义为同一个引擎,主要包括算法或评测脚本运行所需要的基本依赖环境。用户可使用命令行模式或Dockerfile模式进
ModelArts集群 训练镜像 八爪鱼训练镜像使用ma-user用户运行,用户需保证镜像内已创建ma-user用户,且训练过程中使用到的python环境或其他依赖对ma-user具有权限,以下分别从“从0到1构建”和“从已有镜像”迁移两种方式说明。 从0到1构建训练镜像 用户可以docker
集群纳管 查看集群纳管 资源管理 父主题: 运维配置
k8s集群及节点造成环境错乱,则需承担责任。 图1 集群纳管列表 集群纳管相关操作 在“集群纳管”列表,可对纳管进行以下操作。 表1 集群纳管相关操作 任务 操作步骤 查询纳管 在搜索输入框中输入搜索条件,按回车键即可查询。 筛选纳管 在“用途”栏,可按用途类型筛选展示集群纳管。
集群信息管理 表1 集群信息管理权限 权限 对应API接口 授权项(Action) IAM项目 (Project) 企业项目 (Enterprise Project) 查询可用资源规格 GET /v1.0/{project_id}/common/clusters/resource-specs
资源管理 集群纳管详情中展示集群的节点资源和资源规格分配情况。给节点增加标签,确认节点的用途,在资源规格中,给各个资源用途分配资源规格,支撑任务执行。资源不足时,用户需要单独购买扩展资源包。 用平台管理员账号登录Octopus平台。 在左侧菜单栏中单击“运维配置 > 集群纳管 ”。
描述:简要描述任务信息。不得包含"@#$%^&*< > \",不得超过256个字符。 资源规格:当前项目中可用的资源规格,资源规格需要平台管理员在纳管模型编译用途的任务作业集群后创建。 优先级:设定任务的优先级,数值取[-50,50]的整数,数字越大,优先级越高。 选择镜像 图2 选择镜像 编译镜像:需提前在"编译镜像"中创建成功。
选择“作业总览”页签,单击“创建作业”。 图1 创建作业 处理算子:根据需要选择回放仿真算子。 资源规格:当前项目中可用的资源规格,资源配置需要平台管理员在集群纳管中创建。 优先级:设定任务的优先级,数值取[-50,50]的整数,数字越大,优先级越高。 数据类型:选择“数据包”。 选择数据:选择需要操作的数据包中的数据。
作业总览”页签,单击“创建作业”。 完成创建作业任务信息。 图1 创建作业 处理算子:根据需要选择脱敏算子。 资源规格:当前项目中可用的资源规格,资源配置需要平台管理员在集群纳管中创建。 优先级:设定任务的优先级,数值取[-50,50]的整数,数字越大,优先级越高。 环境变量:配置算子的环境变量。允许添加的环境变量个数不超过10个。
选择“作业总览”页签,单击“创建作业”。 图1 创建作业 处理算子:根据需要选择算子。 资源规格:当前项目中可用的资源规格,资源配置需要平台管理员在集群纳管中创建。 优先级:设定任务的优先级,数值取[-50,50]的整数,数字越大,优先级越高。 环境变量:配置算子的环境变量。允许添加的环境变量个数不超过10个。
创建容器应用基本流程 快速创建一个kubernetes集群 3分钟创建一个游戏类容器应用 快速购买 什么是ECS 创建容器应用基本流程 快速创建一个kubernetes集群 自定义购买 什么是ECS 创建容器应用基本流程 快速创建一个kubernetes集群 04 使用 弹性云服务器(Elastic
运维配置 集群纳管
object 分页信息 表7 FileDataInfo 参数 参数类型 描述 id String id sort Array of strings es 排序 file_folder_path String 文件夹路径 file_name String 文件名 file_type String
权限和授权项 权限及授权项说明 镜像仓库 镜像版本 数据集 数据集版本 数据仓库 数据仓库自定义属性 集群信息管理 数据总览 数据包 数据导入 数据回放 作业管理 算子管理 作业队列 内部作业 数据场景 标签管理 仿真场景 场景地图
修订记录 发布日期 修订记录 2023-1-31 新增镜像仓库、镜像版本、数据集、数据集版本、数据仓库、数据仓库自定义属性、集群信息管理、数据总览、数据包、数据导入、数据回放、作业管理、算子管理、作业队列、内部作业、数据场景、标签管理相关操作接口。 新增Common-SDK错误码
选择“作业总览”页签,单击“创建作业”。 图1 创建作业 处理算子:根据需要选择算子。 资源规格:当前项目中可用的资源规格,资源配置需要平台管理员在集群纳管中创建。 优先级:设定任务的优先级,数值取[-50,50]的整数,数字越大,优先级越高。 环境变量:配置算子的环境变量。允许添加的环境变量个数不超过10个。
当OBS存储剩余容量不足时,购买自动驾驶数据管理缓存扩容包增加OBS存储容量。 通用处理节点 octopus计算型CPU(16u32g)专属实例 需要增加集群节点的数量时,可以购买通用处理节点增加节点实例,业务不会中断。购买成功后查看资源节点配额,给新购买的节点打上对应的用途标签即可调度使用。
…/result/data" 预标注日志文件目录 TARGET_LOG_DIR="/tmp/…/result/log" CCE集群 ModelArts集群 父主题: 镜像仓库
运维配置提供集群纳管,由平台管理员账号进行管理和配置。 集群纳管 集群提供多种节点的混合部署,基于高性能网络模型提供全方位、多场景、安全稳定的容器运行环境,平台可以将集群统一纳管,更方便查看节点资源使用量和修改节点用途,以及设置资源规格。其中,cce-user-job集群需强制纳管
单击确认后默认选择项目下标注物展示在下方显示框中展示。 资源规格:当前项目中可用的资源规格,资源规格需要平台管理员在纳管标注任务用途的作业集群后创建。 优先级:设定任务的优先级,数值取[-50,50]的整数,数字越大,优先级越高。 任务类型为预标注时: 图4 预标注 任务类型:有