检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
训练作业计算节点个数。 framework_type 否 String 训练作业选择的引擎规格,请参考查询引擎规格列表。 framework_version 否 String 训练作业选择的引擎版本,请参考查询引擎规格列表。 user_image_url 否 String 自定义镜像训练作业的自定义镜像的SWR-URL。
训练作业前一版本的ID。 engine_type Long 训练作业的引擎类型。 engine_name String 训练作业的引擎名称。 engine_id Long 训练作业的引擎ID。 engine_version String 训练作业的引擎版本。 status Int 训练作业的状态。 app_url
在JupyterLab的“Launcher”页签下,以TensorFlow为例,您可以单击TensorFlow,创建一个用于编码的文件。 图1 选择不同的AI引擎 文件创建完成后,系统默认进入“JupyterLab”编码页面。 图2 进入编码页面 调用mox.file 输入如下代码,实现如下几个简单的功能。
查看资源池规格 在资源池详情页,切换到“规格”页签。您可以查看该资源池使用的资源规格以及该规格对应的数量,并可以调整容器引擎空间大小。 图4 查看资源池规格(如果创建资源池时未设置容器引擎大小,则显示默认值) 查看资源池监控 在资源池详情页,切换到“监控”页签。展示了CPU使用量、内存利用率、
础知识。 CCE 云容器引擎(Cloud Container Engine,简称CCE)是一个企业级的Kubernetes集群托管服务,支持容器化应用的全生命周期管理,为您提供高度可扩展的、高性能的云原生应用部署和管理方案。CCE官网文档可参考云容器引擎。 BMS 裸金属服务器(Bare
的镜像并进行训练。 训练作业的预置框架介绍 ModelArts中预置的训练基础镜像如下表所示。 表1 ModelArts训练基础镜像列表 引擎类型 版本名称 PyTorch pytorch_1.8.0-cuda_10.2-py_3.7-ubuntu_18.04-x86_64 TensorFlow
检查containerd是否安装。 containerd -v # 检查containerd是否安装 在创建CCE集群时,会选择 containerd 作为容器引擎,并默认给机器安装。如尚未安装,说明机器操作系统安装错误。需要重新纳管机器,重新安装操作系统。 安装nerdctl工具。nerdctl是c
在Terminal中解压压缩包。 unzip xxx.zip #在xxx.zip压缩包所在路径直接解压 解压命令的更多使用说明可以在主流搜索引擎中查找Linux解压命令操作。 多个文件同时上传时,JupyterLab窗口最下面会显示上传文件总数和已上传文件数。 上传文件入口 方式一
和删除。 使用临时存储路径 HostPath 适用于以下场景: 容器工作负载程序生成的日志文件需要永久保存。 需要访问宿主机上Docker引擎内部数据结构的容器工作负载。 节点存储。多个容器可能会共享这一个存储,会存在写冲突的问题。 Pod删除后,存储不会清理。 使用主机路径 OBS
是否使用容器化运行业务,以及容器中OS版本,HostOS中是否有业务软件以及HostOS的类型和版本。 需要评估是否愿意迁移到华为云的通用OS。 - AI引擎及版本 当前引擎(TF/PT/LibTorch),是否接受切换MindSpore。 例如:当前使用TF 2.6,PyTorch 1.10,可以接受切换MindSpore。
检查containerd是否安装。 containerd -v # 检查containerd是否安装 在创建CCE集群时,会选择 containerd 作为容器引擎,并默认给机器安装。如尚未安装,说明机器操作系统安装错误。需要重新纳管机器,重新安装操作系统。 安装nerdctl工具。nerdctl是c
型。 根据需要自定义应用的名称和版本。 模型来源选择“从对象存储服务(OBS)中选择”,元模型选择转换后模型的存储路径,AI引擎选择“Custom”,引擎包选择准备镜像中上传的推理镜像。 系统运行架构选择“ARM”。 图2 设置AI应用 单击“立即创建”开始AI应用创建,待应用状态显示“正常”即完成AI应用创建。
根据“engine_name”和“engine_version”字段选择创建训练作业时需要的引擎规格,并记录对应的“engine_name”和“engine_version”,本章以Pytorch引擎为例创建作业,记录“engine_name”为“PyTorch”,“engine_version”为“pytorch_1
pool.visual.4xlarge 对应4卡 4. modelarts.pool.visual.8xlarge 对应8卡 引擎规格查询 # 引擎规格查询 engine_dict = TrainingJob(session).get_engine_list(session) #
训练容器中预置的环境变量 训练容器中预置的环境变量如下面表格所示,包括表1、表2、表3、表4、表5、表6、表7。 此处的环境变量取值仅为示例,涉及不同规格、引擎、Region可能取值不一样,此处仅供参考。 表1 路径相关环境变量 变量名 说明 示例 PATH 可执行文件路径,已包含常用的可执行文件路径。
检查containerd是否安装。 containerd -v # 检查containerd是否安装 在创建CCE集群时,会选择 containerd 作为容器引擎,并默认给机器安装。如尚未安装,说明机器操作系统安装错误。需要重新纳管机器,重新安装操作系统。 安装nerdctl工具。nerdctl是c
是否使用容器化运行业务,以及容器中OS版本,HostOS中是否有业务软件以及HostOS的类型和版本。 需要评估是否愿意迁移到华为云的通用OS。 - AI引擎及版本 当前引擎(TF/PT/LibTorch),是否接受切换MindSpore。 例如:当前使用TF 2.6,PyTorch 1.10,可以接受切换MindSpore。
d同时出现。 engine_id 是 Long 训练作业选择的引擎规格ID,默认为“1”。填入model_id后app_url/boot_file_url和engine_id无需填写。请从查询作业引擎规格接口获取引擎规格ID。 model_id 是 Long 训练作业的内置模型I
可以基于预置镜像或第三方镜像制作自定义镜像,请参考Notebook的自定义镜像制作方法。 一个镜像对应支持一种AI引擎,创建Notebook实例时选择好了对应AI引擎的镜像。用户可以根据需要选择镜像。在右侧搜索框中输入镜像名称关键字,可快速查找镜像。 Notebook运行停止后,
查询训练作业标签。 表9 资源和引擎规格接口 API 说明 获取训练作业支持的公共规格 获取训练作业支持的公共规格。 获取训练作业支持的AI预置框架 获取训练作业支持的AI预置框架。 AI应用管理接口 表10 AI应用管理接口 API 说明 查询模型runtime 查询模型AI引擎以及runtime。