检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Standard数据准备 在ModelArts数据集中添加图片对图片大小有限制吗? 如何将本地标注的数据导入ModelArts? 在ModelArts中数据标注完成后,标注结果存储在哪里? 在ModelArts中如何将标注结果下载至本地? 在ModelArts中进行团队标注时,为什么团队成员收不到邮件?
OBS管理 OBS管理概述 文件传输(推荐) 上传文件至OBS 上传文件夹至OBS 从OBS下载文件 从OBS下载文件夹
用代码方式转换文件编码格式,也可以将csv文件用记事本方式打开,在另存为弹出的窗口页面设置编码格式。 输入数据格式为csv时,建议文件大小不超过12MB。 如果单张图片/csv文件超过文件12MB,会提示报错,建议调整文件大小使其符合要求,或联系技术支持人员调整文件大小限制。 “请求路径”
on device”。 同一目录下创建较多文件,为了加快文件检索速度,内核会创建一个索引表,短时间内创建较多文件时,会导致索引表达到上限,进而报错。 触发条件和下面的因素有关: 文件名越长,文件数量的上限越小。 blocksize越小,文件数量的上限越小。( blocksize,系统默认
该目录下主要放置性能、精度任务的yaml配置文件,包含性能基线、精度基线、训练最佳实践参数等,以上配置文件仅供参考。 代码上传至OBS 本地完成代码包AscendCloud-LLM-xxx.zip的解压,将llm_train文件上传至OBS中。 结合准备数据、准备权重、准备代码,将数据集、原始权重、代码文件都上传至OBS后,OBS桶的目录结构如下。
nodePool String 节点池名称。比如:nodePool-1。 taints Array of Taint objects 支持给创建出来的节点加taints来设置反亲和性,非特权池不能指定。 labels Map<String,String> k8s标签,格式为key/value键值对。
3仅作为示例,请以实际控制台为准。 准备训练数据和代码文件,上传到JupyterLab中。具体参见上传本地文件至JupyterLab。 图4 文件上传按钮 在左侧导航双击打开上传的代码文件,在JupyterLab中编写代码文件,并运行调试。有关JupyterLab的使用具体参见JupyterLab常用功能介绍。
创建Notebook实例后无法打开页面,如何处理? 使用pip install时出现“没有空间”的错误 出现“save error”错误,可以运行代码,但是无法保存 出现ModelArts.6333错误,如何处理? 打开Notebook实例提示token不存在或者token丢失如何处理? 父主题: 开发环境
Torch训练脚本中插入Ascend PyTorch Profiler接口,执行训练的同时采集性能数据,完成训练后直接输出可视化的性能数据文件,提升了性能分析效率。 Ascend PyTorch Profiler接口可全面采集PyTorch训练场景下的性能数据,主要包括PyTor
Torch训练脚本中插入Ascend PyTorch Profiler接口,执行训练的同时采集性能数据,完成训练后直接输出可视化的性能数据文件,提升了性能分析效率。 Ascend PyTorch Profiler接口可全面采集PyTorch训练场景下的性能数据,主要包括PyTor
打开Notebook实例 登录“AI Gallery”。 选择“资产集市 > Notebook”,进入Notebook页面,该页面展示了所有共享的Notebook实例。 搜索业务所需的Notebook实例,请参见查找和收藏资产。 单击目标Notebook实例进入详情页面。 在详情页
Torch训练脚本中插入Ascend PyTorch Profiler接口,执行训练的同时采集性能数据,完成训练后直接输出可视化的性能数据文件,提升了性能分析效率。 Ascend PyTorch Profiler接口可全面采集PyTorch训练场景下的性能数据,主要包括PyTor
Torch训练脚本中插入Ascend PyTorch Profiler接口,执行训练的同时采集性能数据,完成训练后直接输出可视化的性能数据文件,提升了性能分析效率。 Ascend PyTorch Profiler接口可全面采集PyTorch训练场景下的性能数据,主要包括PyTor
kubectl是Kubernetes集群的命令行工具,配置kubectl后,您可通过kubectl命令操作Kubernetes集群。本文介绍如何配置kubectl工具,操作步骤如下。 登录ModelArts管理控制台,在左侧菜单栏中选择“AI专属资源池 > 弹性集群 Cluster”,进入“弹性集群
在Notebook调试环境中部署推理服务 介绍如何在Notebook中配置NPU环境,部署并启动推理服务,完成精度测试和性能测试。 如果需要部署量化模型,需在Notebook中进行模型权重转换后再部署推理服务。 在推理生产环境中部署推理服务 介绍如何在创建AI应用,部署并启动推理服务,在线预测在线服务。
上传OBS的文件规范: 文件名规范:不能有+、空格、制表符。 如不需要提前上传训练数据,请创建一个空文件夹用于存放工程后期生成的文件。如:“/bucketName/data-cat”。 如需要提前上传待标注的图片,请创建一个空文件夹,然后将图片文件保存在该文件夹下,图片的目录
权限相关 使用ModelArts时提示“权限不足”,如何解决? 在Notebook中如何实现IAM用户隔离? 如何获取访问密钥?
Torch训练脚本中插入Ascend PyTorch Profiler接口,执行训练的同时采集性能数据,完成训练后直接输出可视化的性能数据文件,提升了性能分析效率。 Ascend PyTorch Profiler接口可全面采集PyTorch训练场景下的性能数据,主要包括PyTor
# config配置文件目录 |──config/ # 配置文件 |──deepspeed/ # deepspeed配置json文件 |──performance_cfgs
Manifest管理 Manifest管理概述 解析Manifest文件 创建和保存Manifest文件 解析Pascal VOC文件 创建和保存Pascal VOC文件 父主题: 数据管理