正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备好密钥对文件。 密钥对在用户第一次创建时,自动下载,之后使用相同的密钥时不会再有下载界面(用户一定要保存好),或者每次都使用新的密钥对。 Step1 安装SSH工具 下载并安装SSH远程连接工具,以PuTTY为例,下载链接。 Step2 使用puttygen将密钥对.pem文件转成.ppk文件
使用AWQ量化工具转换权重 AWQ(W4A16)量化方案能显著降低模型显存以及需要部署的卡数。降低小batch下的增量推理时延。支持AWQ量化的模型列表请参见表1。 本章节介绍如何在Notebook使用AWQ量化工具实现推理量化,量化方法为per-group。 Step1 模型量化
本章节介绍如何在Notebook使用SmoothQuant量化工具实现推理量化。 SmoothQuant量化工具使用到的脚本存放在代码包AscendCloud-LLM-x.x.x.zip的llm_tools目录下。 代码目录如下: AutoSmoothQuant #量化工具 ├── asc
如何查看账号ID和IAM用户ID 使用IAM账号登录华为云。 在页面右上方单击“控制台”,进入华为云管理控制台。 图1 控制台入口 在控制台右上角的账户名下方,单击“我的凭证”,进入“我的凭证”页面。 图2 我的凭证 在API凭证页面获取IAM用户名、用户ID、账号名和账号ID。
使用ModelArts时提示“权限不足”,如何解决? 当您使用ModelArts时如果提示权限不足,请您按照如下指导对相关服务和用户进行授权,并对用户权限进行检查操作。 由于ModelArts的使用权限依赖OBS服务的授权,您需要为用户授予OBS的系统权限。 如果您需要授予用户关
conf 图1 下载预览代码 在详情页面单击“订阅”,根据算法是否具有使用约束进行不同操作: 如果订阅是具有使用约束的算法,则弹出“使用约束”页面,查看并确认后单击“继续订阅”即可成功订阅。 如果订阅是没有使用约束的算法,则直接成功订阅。 如果订阅的是非华为云官方资产,则会弹出“
使用AWQ量化工具转换权重 AWQ(W4A16)量化方案能显著降低模型显存以及需要部署的卡数。降低小batch下的增量推理时延。支持AWQ量化的模型列表请参见支持的模型列表和权重文件。 本章节介绍如何在Notebook使用AWQ量化工具实现推理量化,量化方法为per-group。
下线范围 下线区域:华北-北京四(其他区域已下线) 受影响服务 ModelArts旧版数据集。 下线影响 正式下线后,所有用户将无法使用旧版数据集。为了避免影响您的业务,建议您在2024/10/30 23:59:59(北京时间)前备份数据或切换至新版数据集。 如您有任何问题,可随时通过工
在Notebook中使用tensorboard命令打开日志文件报错Permission denied 问题现象 在Notebook的Terminal中执行tensorboard --logdir ./命令,报错[Errno 13] Permission denied……。 原因分析
运行环境的torch版本,默认为1.11.0,支持torch1.11.0和torch2.1.0,当运行环境torch版本为其他版本如torch1.11.3时,可以忽略小版本号差异选择相近的torch版本如1.11.0。 --debug -D 选填 工具执行报错时可打开此开关,将会展示详细保存堆栈信息。 --help
print(resp.text) “file_path”为预测文件的本地路径,既可使用绝对路径(如Windows格式"D:/test.png",Linux格式"/opt/data/test.png"),也可以使用相对路径(如"./test.png")。 “files”参数的请求体样式为“fil
模型的基础信息。内容和预训练模型里“模型文件”页签的“README.md”一致。 其他文件 当使用自定义模型微调时,可能还会有一些其他微调产物,这是由自定义模型的训练脚本文件train.py决定的,如果训练脚本定义了归档其他训练产物,就会在此处呈现。 父主题: AI Gallery(新版)
授权。如果指定的子用户没有在用户组中,也可以通过“用户组管理”功能增加用户。 子用户启动其他用户的SSH实例 子用户可以看到所有用户的Notebook实例后,如果要通过SSH方式远程连接其他用户的Notebook实例,需要将SSH密钥对更新成自己的,否则会报错ModelArts.
ed.csv 这里使用的是DCGM-Exporter默认的指标采集配置文件/etc/dcgm-exporter/dcp-metrics-included.csv,指标采集对象详见dcgm-exporter。如果采集对象不能满足要求,可通过定制镜像或挂载的方式使用自定义配置。 等待
变更规格”,在弹出的“变更规格”对话框中选择对应规格资源。 图2 选择规格 规格切换需要该规格所在的集群有其他规格才可以执行,当前上线的部分规格所在集群无其他规格,切换的时候会显示为空,所以不可进行切换,如北京四、上海一的GPU: 1*Tnt004(16GB)|CPU: 8核 32GB规格。 修改Notebook
应用管理在“AI应用>云服务订阅AI应用”页面中。 模型来源不同。订阅应用,模型来源于AI Gallery;云服务订阅AI应用,模型来源于其他AI服务开发的模型。 订阅应用模型列表 在ModelArts的“AI应用>订阅应用”页面中,罗列了从AI Gallery订阅的所有模型。 订阅应用模型,可通过如下操作获得:
使用Notebook进行代码调试 背景信息 Notebook使用涉及到计费,具体收费项如下: 处于“运行中”状态的Notebook,会消耗资源,产生费用。根据您选择的资源不同,收费标准不同,价格详情请参见产品价格详情。当您不需要使用Notebook时,建议停止Notebook,避免产生不必要的费用。
使用Notebook进行代码调试 背景信息 Notebook使用涉及到计费,具体收费项如下: 处于“运行中”状态的Notebook,会消耗资源,产生费用。根据您选择的资源不同,收费标准不同,价格详情请参见产品价格详情。当您不需要使用Notebook时,建议停止Notebook,避免产生不必要的费用。
使用Notebook进行代码调试 由于Notebook的/cache目录只能支持500G的存储,超过后会导致实例重启,ImageNet数据集大小超过该限制,因此建议用线下资源调试、或用小批量数据集在Notebook调试(Notebook调试方法与使用Notebook进行代码调试、
使用自定义引擎在ModelArts Standard创建AI应用 使用自定义引擎创建AI应用,用户可以通过选择自己存储在SWR服务中的镜像作为AI应用的引擎,指定预先存储于OBS服务中的文件目录路径作为模型包来创建AI应用,轻松地应对ModelArts平台预置引擎无法满足个性化诉求的场景。