-
upload后,数据将上传到哪里? - AI开发平台ModelArts
upload后,数据将上传到哪里? 针对这个问题,有两种情况: 如果您创建的Notebook使用OBS存储实例时 单击“upload”后,数据将直接上传到该Notebook实例对应的OBS路径下,即创建Notebook时指定的OBS路径。 如果您创建的Notebook使用EVS存储实例时
-
场景介绍 - AI开发平台ModelArts
场景介绍 在AI开发过程中,如何将文件方便快速地上传到Notebook几乎是每个开发者都会遇到的问题。 ModelArts之前对文件直接上传到Notebook的大小限制是100MB,超过限制的文件无法直接上传;其次需要上传的文件并不都在本地,可能是GitHub的开源仓库,可能是类
-
如何安装C++的依赖库? - AI开发平台ModelArts
如何安装C++的依赖库? 在训练作业的过程中,会使用到第三方库。以C++为例,请参考如下操作步骤进行安装: 将源码下载至本地并上传到OBS。使用OBS客户端上传文件的操作请参见上传文件。 将上传到OBS的源码使用Moxing复制到开发环境Notebook中。 以下为使用EVS挂载
-
使用ma-cli obs-copy命令复制OBS数据 - AI开发平台ModelArts
OK ] obs dst path: [ obs://${your_bucket}/test-copy/ ] # 上传文件夹到OBS中,对应上传到OBS的目录为obs://${your_bucket}/test-copy/data/ $ ma-cli obs-copy /home/ma-user/work/data/
-
在VS Code中上传下载文件 - AI开发平台ModelArts
在本地IDE中上传数据至Notebook 不大于500MB数据量,直接复制至本地IDE中即可。 大于500MB数据量,请先上传到OBS中,再从OBS上传到云上开发环境。 图1 数据通过OBS中转上传到Notebook 操作步骤 上传数据至OBS。具体操作请参见上传文件至OBS桶。或者在本地VS Cod
-
在PyCharm中上传数据至Notebook - AI开发平台ModelArts
在PyCharm中上传数据至Notebook 不大于500MB数据量,直接复制至本地IDE中即可。 大于500MB数据量,请先上传到OBS中,再从OBS上传到云上开发环境。 上传数据至OBS,具体操作请参见上传文件至OBS桶。 将OBS中的数据传至Notebook中,通过在本地IDE
-
申请购买专属昇腾AI云服务器 - AI开发平台ModelArts
“我的资源 > 云服务器”,单击专属资源池页签进入云服务详情页面,可以查看节点状态为运行中。 图1 云服务器详情页 单击“前往集群控制台”跳转至CCE集群的总览页面,可以查看集群详情。 在节点页签,单击选择“前往控制台”跳转到云服务器控制台,支持查看节点的云服务基本信息或进行远程登录等操作。
-
SFT全参微调权重转换 - AI开发平台ModelArts
章节主要介绍如何将HuggingFace权重转换为Megatron格式。此处的HuggingFace权重文件和转换操作结果同时适用于SFT全参微调和LoRA微调训练。 HuggingFace权重转换操作 下载baichuan2-13b的预训练权重和词表文件,并上传到/home/m
-
SFT全参微调权重转换 - AI开发平台ModelArts
本章节主要介绍如何将HuggingFace权重转换为Megatron格式。此处的HuggingFace权重文件和转换操作结果同时适用于SFT全参微调和LoRA微调训练 HuggingFace权重转换操作 下载Llama2-70B的预训练权重和词表文件,并上传到/home/ma-
-
SFT全参微调权重转换 - AI开发平台ModelArts
本章节主要介绍如何将HuggingFace权重转换为Megatron格式。此处的HuggingFace权重文件和转换操作结果同时适用于SFT全参微调和LoRA微调训练。 HuggingFace权重转换操作 下载GLM3-6B的预训练权重和词表文件,并上传到/home/ma-u
-
使用Gallery CLI配置工具上传文件 - AI开发平台ModelArts
获取待上传的文件名 获取待上传的文件在服务器的绝对路径。 上传单个文件 在服务器执行如下命令,可以将服务器上的文件上传到AI Gallery仓库里面。 gallery-cli upload {repo_id} {文件名} 如下所示,表示将服务器上的文件“D:\workplace\m
-
如何访问ModelArts - AI开发平台ModelArts
AI开发平台ModelArts”直接登录管理控制台。如果未注册,请参见如何注册华为云管理控制台的用户?。 SDK方式 如果您需要将ModelArts集成到第三方系统,用于二次开发,可选择调用SDK方式完成目的。ModelArts的SDK是对ModelArts服务提供的REST API进行的Python封装
-
上传本地超大文件(5GB以上)至JupyterLab - AI开发平台ModelArts
不支持在Notebook的JupyterLab中直接上传大小超过5GB的文件。 图1 不支持直接上传大小超过5GB的文件 5GB以上的文件需要先从本地上传到OBS中,再在Notebook中调用ModelArts的Moxing接口或者SDK接口读写OBS中的文件。 图2 在Notebook中上传下载大文件
-
如何登录并上传镜像到SWR - AI开发平台ModelArts
如何登录并上传镜像到SWR 本章节介绍如何上传镜像到容器镜像服务SWR。 Step1 登录SWR 登录容器镜像服务控制台,选择区域。 单击右上角“创建组织”,输入组织名称完成组织创建。您可以自定义组织名称,本示例使用“deep-learning”,实际操作时请重新命名一个组织名称
-
使用ma-cli dli-job upload命令上传文件到DLI分组资源 - AI开发平台ModelArts
使用ma-cli dli-job upload命令上传文件到DLI分组资源 ma-cli dli-job upload命令支持将本地文件或OBS文件上传到DLI资源组。 $ ma-cli dli-job upload -h Usage: ma-cli dli-job upload [OPTIONS]
-
在Notebook调试环境中部署推理服务 - AI开发平台ModelArts
表1 请求服务参数说明 参数 是否必选 默认值 参数类型 描述 model 是 无 Str 通过OpenAI服务API接口启动服务时,推理请求必须填写此参数。取值必须和启动推理服务时的model ${container_model_path}参数保持一致。 通过vLLM服务API接口启动服务时,推理请求不涉及此参数。
-
XGBoost - AI开发平台ModelArts
github.com/netj/8836201。Notebook上传文件操作请参见上传本地文件至Notebook中。 保存完模型后,需要上传到OBS目录才能发布。发布时需要带上config.json配置和推理代码customize_service.py。config.json编写
-
从JupyterLab下载文件至本地 - AI开发平台ModelArts
单中选择“Download”下载至本地。下载的目的路径,为您本地浏览器设置的下载目录。 图1 下载文件 从JupyterLab中下载大于100MB的文件到本地 大于100MB的文件需要先从Notebook中上传到OBS,再从OBS下载到本地,具体操作如下: 在Notebook中,
-
Scikit Learn - AI开发平台ModelArts
github.com/netj/8836201。Notebook上传文件操作请参见上传本地文件至Notebook中。 保存完模型后,需要上传到OBS目录才能发布。发布时需要带上“config.json”配置以及“customize_service.py”,定义方式参考模型包规范介绍。
-
推理简介 - AI开发平台ModelArts
ModelArts当前支持如下几种部署类型: 在线服务 将AI应用部署为一个Web Service,并且提供在线的测试UI与监控功能。 批量服务 批量服务可对批量数据进行推理,完成数据处理后自动停止。 边缘服务 通过智能边缘平台,在边缘节点将AI应用部署为一个Web Service。