-
认证证书 - AI开发平台ModelArts
认证证书 合规证书 华为云服务及平台通过了多项国内外权威机构(ISO/SOC/PCI等)的安全合规认证,用户可自行申请下载合规资质证书。 图1 合规证书下载 资源中心 华为云还提供以下资源来帮助用户满足合规性要求,具体请查看资源中心。 图2 资源中心 销售许可证&软件著作权证书 另
-
报错“An SSH installation couldn't be found”或者“Could not establish connection to instance xxx: 'ssh' ...”如何解决? - AI开发平台ModelArts
Code连接Notebook一直提示选择证书,且提示信息除标题外,都是乱码。选择证书后,如上图所示仍然没有反应且无法进行连接。 原因分析 当前环境未装OpenSSH或者OpenSSH未安装在默认路径下,详情请参考VS Code文档。 解决方法 若当前环境未安装OpenSSH,请下载并安装OpenSSH。
-
卡方选择 - AI开发平台ModelArts
卡方选择 概述 采用卡方检验来进行特征选择。 卡方检验(Chi-Squared Test或χ2 Test)的基本思想是通过特征变量与目标变量之间的偏差大小来选择相关性较大的特征变量。首先假设两个变量是独立的,然后观察实际值与理论值的偏差程度,该偏差程度代表两个变量之间的相关性。如
-
SD1.5基于DevServer适配MindSpore-Lite NPU推理指导(6.3.T041) - AI开发平台ModelArts
在每个实例节点上运行此命令可以看到NPU卡状态 npu-smi info -l | grep Total # 在每个实例节点上运行此命令可以看到总卡数 如出现错误,可能是机器上的NPU设备没有正常安装,或者NPU镜像被其他容器挂载。请先正常安装NPU设备和驱动,或释放被挂载的NPU。
-
单机多卡 - AI开发平台ModelArts
单机多卡 线下容器镜像构建及调试 上传镜像 上传数据和算法至SFS(首次使用时需要) 使用Notebook进行代码调试 创建训练任务 父主题: 调试与训练
-
SD1.5基于DevServer适配PyTorch NPU的Finetune训练指导(6.3.T041) - AI开发平台ModelArts
如出现错误,可能是机器上的NPU设备没有正常安装,或者NPU镜像被其他容器挂载。请先正常安装NPU设备和驱动,或释放被挂载的NPU。 检查是否安装docker。 docker -v #检查docker是否安装 如尚未安装,运行以下命令安装docker。 yum install -y
-
单机多卡数据并行-DataParallel(DP) - AI开发平台ModelArts
单机多卡数据并行-DataParallel(DP) 本章节介绍基于PyTorch引擎的单机多卡数据并行训练。 MindSpore引擎的分布式训练参见MindSpore官网。 训练流程简述 单机多卡数据并行训练流程介绍如下: 将模型复制到多个GPU上 将一个Batch的数据均分到每一个GPU上
-
多机多卡 - AI开发平台ModelArts
多机多卡 线下容器镜像构建及调试 上传镜像 上传数据至OBS(首次使用时需要) 上传算法至SFS 使用Notebook进行代码调试 创建训练任务 父主题: 调试与训练
-
安装 - AI开发平台ModelArts
安装 安装内置算法 # 安装ivgPose最新版本 > python manage.py install algorithm ivgPose # 安装ivgPose==1.0.0 > python manage.py install algorithm ivgPose==1.0
-
卡方拟合性检验 - AI开发平台ModelArts
卡方拟合性检验 卡方拟合检验目前仅支持在ML Studio镜像内运行,不支持发布到dli。 概述 卡方拟合检验,即卡方拟合优度检验。对每个类别中的实测频率和期望频率进行比较,以检验是否所有类别包含相同比例的值,或检验是否每个类别包含用户指定比例的值。 输入 参数 子参数 参数说明
-
多机多卡数据并行-DistributedDataParallel(DDP) - AI开发平台ModelArts
多机多卡数据并行-DistributedDataParallel(DDP) 本章节介绍基于PyTorch引擎的多机多卡数据并行训练。 训练流程简述 相比于DP,DDP能够启动多进程进行运算,从而大幅度提升计算资源的利用率。可以基于torch.distributed实现真正的分布式
-
环境准备 - AI开发平台ModelArts
用于指定容器中启动的NPU device,0-7表示从0-7号卡,请按照实际NPU卡情况修改。 安装相关依赖库。 ChatGLM-6B是完全基于Python开发的模型,训练之前需要事先安装与之依赖的Python库。其中部分依赖库可以使用pip工具安装,执行如下脚本: #shell pip install
-
安装VS Code软件 - AI开发平台ModelArts
VS Code安装指导如下: 图2 Windows系统下VS Code安装指导 Linux系统下,执行命令sudo dpkg -i code_1.85.2-1705561292_amd64.deb安装。 Linux系统用户,需要在非root用户进行VS Code安装。 父主题: 本地IDE(VS
-
从OBS读取模型 - AI开发平台ModelArts
从OBS读取模型 概述 从OBS(对象存储服务)中读取模型文件。 输入 无 输出 模型 参数说明 参数 参数说明 obs_model_path OBS中模型文件的绝对路径,模型文件必须是spark pipeline model文件 样例 params = { "obs_model_path":
-
基于训练作业启动PyTorch DDP on Ascend加速卡训练示例 - AI开发平台ModelArts
Ascend加速卡训练示例 本文介绍了使用训练作业的自定义镜像+自定义启动命令来启动PyTorch DDP on Ascend加速卡训练。 前提条件 需要有Ascend加速卡资源池。 创建训练作业 本案例创建训练作业时,需要配置如下参数。 表1 创建训练作业的配置说明 参数名称 说明
-
从DLI导入数据 - AI开发平台ModelArts
从DLI导入数据 表格数据集支持从DLI导入数据。 从DLI导入数据,用户需要选择DLI队列、数据库和表名称。所选择的表的schema(列名和类型)需与数据集一致,支持自动获取所选择表的schema。DLI的详细功能说明,请参考DLI用户指南。 图1 DLI导入数据 队列名称:系
-
卡方独立性检验 - AI开发平台ModelArts
卡方独立性检验 卡方独立性检验目前仅支持在MLStudio镜像内运行,不支持发布到dli。 概述 卡方独立性检验是检验两个变量之间是否存在相关性。一般认为这两个变量是分类变量,我们认为两者之间是不相关的,可以通过检验来确定该看法。 输入 参数 子参数 参数说明 inputs dataframe
-
从JupyterLab下载文件至本地 - AI开发平台ModelArts
从JupyterLab下载文件至本地 在JupyterLab中开发的文件,可以下载至本地。 不大于100MB的文件,可以直接从JupyterLab中下载到本地,具体操作请参见从JupyterLab中下载不大于100MB的文件至本地。 大于100MB的文件,需要先从JupyterL
-
从MRS导入数据 - AI开发平台ModelArts
从MRS导入数据 ModelArts支持从MRS服务中导入存储在HDFS上的csv格式的数据,首先需要选择已有的MRS集群,并从HDFS文件列表选择文件名称或所在目录,导入文件的列数需与数据集schema一致。MRS的详细功能说明,请参考MRS用户指南。 图1 从MRS导入数据
-
使用Notebook进行代码调试 - AI开发平台ModelArts
资源池类型:按实际情况选择已创建的专属资源池。 规格:选择8卡GPU规格,“run.sh”文件中默认MA_NUM_GPUS为8卡,因此选择notebook规格时需要与MA_NUM_GPUS默认值相同。 存储配置:选择“弹性文件服务SFS”作为存储位置。子目录挂载可不填写,如果