检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何获取访问密钥? 获取访问密钥 登录华为云,在页面右上方单击“控制台”,进入华为云管理控制台。 图1 控制台入口 在控制台右上角的账户名下方,单击“我的凭证”,进入“我的凭证”页面。 图2 我的凭证 在“我的凭证”页面,选择“访问密钥>新增访问密钥”,如图3所示。 图3 单击新增访问密钥
该方式是指在开发环境Console控制台上提供VS Code按钮,通过该入口自动打开VS Code并连接实例。 VS Code ToolKit连接Notebook 该方式是指用户在VS Code上使用ModelArts VS Code Toolkit插件提供的登录和连接按钮,连接云上实例。 VS Code手动连接Notebook
代码文档将丢失,请注意备份文件以及使用时长。 CodeLab入口 ModelArts管理控制台的“总览”页 在“开发工具”区域下方,展示“CodeLab”简介卡片,单击“立即体验”,即可进入。 图1 CodeLab入口 AI Gallery页面提供的Notebook样例 在AI Gallery页面,单击“资产集市
如果文件较小,可以将OBS上的数据保存成“.tar”包。训练开始时从OBS上下载到“/cache”目录,解压以后使用。 如果文件较大,可以保存成多个“.tar”包,在入口脚本中调用多进程进行并行解压数据。不建议把散文件保存到OBS上,这样会导致下载数据很慢。 在训练作业中,使用如下代码进行“.tar”包解压:
BS)、数据仓库服务(DWS)、数据湖探索服务(DLI)、MapReduce服务(MRS)和本地上传。 数据集中的数据导入入口 数据集中的数据导入有5个入口。 创建数据集时直接从设置的数据导入路径中自动同步数据。 创建完数据集后,在数据集列表页面的操作栏单击“导入”,导入数据。 图1
批量删除 标注人员管理 如果您创建的标注作业,开启了团队标注,“标注人员管理”页面中可查看团队标注作业的标注详情。添加、修改或删除标注成员。 登录“数据准备>数据标注”,在“我创建的”页签下可查看所有的标注作业列表。 在作业列表的“名称”列,根据标注作业名称找到对应的团队标注作业。(团队标注作业的名称后带有标识。)
资产识别与管理 资产识别 用户在AI Gallery中的资产包括用户发布的AI资产以及用户提供的一些个人信息。 AI资产包括但不限于文本、图形、数据、文章、照片、图像、插图、代码、AI算法、AI模型等。 用户的个人信息包括: 用户注册时提供的昵称、头像、邮箱。 用户参加实践时提供的姓名、手机号、邮箱。
腾设备。 通过指定对应的运行镜像,可以直接使用预置的、在迁移过程中所需的工具集,且已经适配到最新的版本可以直接使用。 开发者可以通过浏览器入口以Notebook方式访问,也可以通过VSCode远程开发的模式直接接入到云上环境中完成迁移开发与调测,最终生成适配昇腾的推理应用。 当前支持以下两种迁移环境搭建方式:
用过程中如果消耗了硬件资源进行部署,管理控制台将根据实际使用情况收取硬件资源的费用。 前提条件 注册并登录华为云,且创建好OBS桶用于存储数据和模型。 订阅并使用AI案例 登录“AI Gallery”。 选择“案例库”,在下拉框中单击“案例库 >”,进入AI案例库首页,该页面展示了所有共享的案例。
安装VS Code插件并登录 本地打开VS Code软件,单击左侧导航栏的图标,将插件包拖入到扩展区空白处,即可自动安装。 待左侧导航出现图标,表示插件安装完成。 图1 安装VS Code插件 创建训练作业 单击左侧导航的图标,单击“登录”进入登录页面,输入对应的登录信息。 单击“获取
1GB。该数据集是从[imagenet-2012]数据集中筛选的少量数据集。 准备预训练权重。 下载Hugging Face权重。 迁移适配。 入口函数train.py导入自动迁移接口。 执行以下命令,导入自动迁移接口。 import torch_npu from torch_npu.contrib
可选输入,当存在该输入时,表示分离部署的服务入口在该机器。注意,在多台机器启动分离部署时,只能有一台机器存在服务入口。当存在该输入时,会生成local_ranktable_xx_host.json文件,用于在启动推理服务时确定服务入口实例。 --prefill-server-li
可选输入,当存在该输入时,表示分离部署的服务入口在该机器。注意,在多台机器启动分离部署时,只能有一台机器存在服务入口。当存在该输入时,会生成local_ranktable_xx_host.json文件,用于在启动推理服务时确定服务入口实例。 --prefill-server-li
可选输入,当存在该输入时,表示分离部署的服务入口在该机器。注意,在多台机器启动分离部署时,只能有一台机器存在服务入口。当存在该输入时,会生成local_ranktable_xx_host.json文件,用于在启动推理服务时确定服务入口实例。 --prefill-server-li
可选输入,当存在该输入时,表示分离部署的服务入口在该机器。注意,在多台机器启动分离部署时,只能有一台机器存在服务入口。当存在该输入时,会生成local_ranktable_xx_host.json文件,用于在启动推理服务时确定服务入口实例。 --prefill-server-li
可选输入,当存在该输入时,表示分离部署的服务入口在该机器。注意,在多台机器启动分离部署时,只能有一台机器存在服务入口。当存在该输入时,会生成local_ranktable_xx_host.json文件,用于在启动推理服务时确定服务入口实例。 --prefill-server-li
编码 状态码说明 200 OK 请求成功 日志文件输出 为保证日志内容可以正常显示,日志信息需要打印到标准输出。 镜像启动入口 如果需要部署批量服务,镜像的启动入口文件需要为“/home/run.sh”,采用CMD设置默认启动路径,例如Dockerfile配置如下: CMD ["sh"
练权重已经配置好,可以直接在ptuning目录下,训练入口代码main.py中添加两行代码来完成昇腾适配。请注意添加位置为导入torch之后。启动训练脚本可以观察运行效果。 图4 chatGLM-6b pTuning训练入口导入自动迁移工具 自动迁移适合没有使用CUDA高阶能力的
以根据工作空间,隔离不同子用户操作工作空间内资源的权限。工作空间迁移包括资源池迁移和网络迁移,具体方法可见下文说明。 资源池工作空间迁移 登录ModelArts管理控制台,选择“AI专属资源池 > 弹性集群Cluster”,进入“Standard资源池”页面。 在资源池列表中,选择目标资源池右侧操作列的“
最新动态 本文介绍了ModelArts各特性版本的功能发布和对应的文档动态,新特性将在各个区域(Region)陆续发布,欢迎体验。 2023年8月 序号 功能名称 功能描述 阶段 相关文档 1 Notebook连接大数据服务特性 介绍如何将ModelArts Notebook开发