检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
上传文件至JupyterLab 上传本地文件至JupyterLab 克隆GitHub开源仓库文件到JupyterLab 上传OBS文件到JupyterLab 上传远端文件至JupyterLab 父主题: 通过JupyterLab在线使用Notebook实例进行AI开发
Studio大模型即服务平台(MaaS)。 应用场景 ModelArts Studio大模型即服务平台(MaaS)的应用场景: 业界主流开源大模型覆盖全 MaaS集成了业界主流开源大模型,含Llama、Baichuan、Yi、Qwen、DeepSeek模型系列,所有的模型均基于昇腾AI云服务进行全
(https://github.com/AUTOMATIC1111/stable-diffusion-webui)。 如果是基于其他开源,需要附带开源代码仓地址。 - 具体使用库 例如: 使用了哪个pipeline (例如lpw_stable_diffusion.py)。 使用了哪个huggingface的模型
_path中。 准备训练输出,与单机训练作业调试4相同。 查看训练支持的AI框架,与单机训练作业调试5相同。 保存当前Notebook为新镜像,与单机训练作业调试9相同。 Estimator初始化。 from modelarts.estimatorV2 import Estimator
import moxing as mox 引入moxing framework的数据下载加速特性的相关说明 在使用基于ModelArts预置镜像的训练作业时,可以引入moxing framework的数据下载加速特性。加速特性适用场景为:文件数在100w~1000w的场景、单个大文件及文件大小大于20GB的场景。
算法的代码启动文件,需要在代码目录下。如:“/usr/app/boot.py”。应与code_dir一同出现。 command String 自定义镜像算法的容器启动命令。 parameters Array of Parameter objects 算法的运行参数。 inputs Array
确保您使用的OBS目录与ModelArts在同一区域。 创建算法 进入ModelArts控制台,参考创建算法操作指导,创建自定义算法。镜像应该满足pytorch_1.8.0-cuda_10.2-py_3.7-ubuntu_18.04-x86_64或tensorflow_2.1
如何在Notebook中安装外部库? ModelArts Notebook中已安装Jupyter、Python程序包等多种环境,包括TensorFlow、MindSpore、PyTorch、Spark等。您也可以使用pip install在Notobook或Terminal中安装外部库。 在Notebook中安装
(Docker/Containerd) 工作目录、容器镜像的数据和镜像元数据;另一块用于Kubelet组件和EmptyDir临时存储等。通过“指定磁盘空间”参数设置这两块分区大小的比例。容器引擎空间的剩余容量将会影响镜像下载和容器的启动及运行。 容器盘的类型是本地盘时,不支持设置“指定磁盘空间”。
需要在创建训练作业前将相关文件上传至OBS路径下,文件打包要求请参见安装文件规范。 安装文件规范 请根据依赖包的类型,在代码目录下放置对应文件: 依赖包为开源安装包时 暂时不支持直接从github的源码中安装。 在“代码目录”中创建一个命名为“pip-requirements.txt”的文件,并
表8 SWRImage 属性 描述 是否必填 数据类型 swr_path 容器镜像的SWR路径 是 str 示例: example = SWRImage(swr_path = "**") # 容器镜像地址,用于模型注册节点的输入 表9 GalleryModel 属性 描述 是否必填
autosearch_framework_path String 自动化搜索作业的框架代码目录,需要提供一个OBS路径。 command String 自定义镜像训练作业的自定义镜像的容器的启动命令。可填code_dir。 parameters Array of Parameter objects 训练作业的运行参数。
自动化搜索作业的框架代码目录,需要提供一个OBS路径。如:“obs://bucket/files/”。 command String 自定义镜像训练作业的自定义镜像的容器的启动命令。例如python train.py。 parameters Array of Parameter objects
算法的代码启动文件,需要在代码目录下。如:“/usr/app/boot.py”。应与code_dir一同出现。 command String 自定义镜像算法的容器启动命令。 parameters Array of Parameter objects 算法的运行参数。 inputs Array
自动化搜索作业的框架代码目录,需要提供一个OBS路径。如:“obs://bucket/files/”。 command String 自定义镜像训练作业的自定义镜像的容器的启动命令。例如python train.py。 parameters Array of Parameter objects
autosearch_framework_path String 自动化搜索作业的框架代码目录,需要提供一个OBS路径。 command String 自定义镜像训练作业的自定义镜像的容器的启动命令。可填code_dir。 parameters Array of Parameter objects 训练作业的运行参数。
ter/dcp-metrics-included.csv,指标采集对象详见dcgm-exporter。如果采集对象不能满足要求,可通过定制镜像或挂载的方式使用自定义配置。 等待约1分钟,执行下面的命令获取GPU指标: curl localhost:9400/metrics 指标获取结果如下:
autosearch_framework_path String 自动化搜索作业的框架代码目录,需要提供一个OBS路径。 command String 自定义镜像训练作业的自定义镜像的容器的启动命令。可填code_dir。 parameters Array of Parameter objects 训练作业的运行参数。
因流量限控,获取在线服务的IP和端口号次数有限制,每个主账号租户调用次数不超过2000次/分钟,每个子账号租户不超过20次/分钟。 目前仅支持自定义镜像导入模型,部署的服务支持高速访问通道。 操作步骤 使用VPC直连的高速访问通道访问在线服务,基本操作步骤如下: 将专属资源池的网络打通VPC
因流量限控,获取在线服务的IP和端口号次数有限制,每个主账号租户调用次数不超过2000次/分钟,每个子账号租户不超过20次/分钟。 目前仅支持自定义镜像导入模型,部署的服务支持高速访问通道。 操作步骤 使用VPC直连的高速访问通道访问在线服务,基本操作步骤如下: 将专属资源池的网络打通VPC