检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Server资源,并确保机器已开通,密码已获取,能通过SSH登录,不同机器之间网络互通。 当容器需要提供服务给多个用户,或者多个用户共享使用该容器时,应限制容器访问Openstack的管理地址(169.254.169.254),以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。 Ascend-vLLM版本
准备AscendSpeed训练代码。 准备镜像 准备训练模型适用的容器镜像。 准备Notebook 本案例需要创建一个Notebook,以便能够通过它访问SFS Turbo服务。随后,通过Notebook将OBS中的数据上传至SFS Turbo,并对存储在SFS Turbo中的数据执行编辑操作。
在torch_npu安装后,该部分并没有直接植入到PyTorch中生效,需要用户显式调用。 # torch npu初始化。 import torch_npu 调用后,前端会通过monkey-patch的方式注入到torch对象中,后端会注册NPU设备以及HCCL的参数面通信能力,这样就可以运行torch
positive negative positive OBS上传操作步骤: 执行如下操作,将数据导入到您的数据集中,以便用于模型训练和构建。 登录OBS管理控制台,在ModelArts同一区域内创建桶。如果已存在可用的桶,需确保OBS桶与ModelArts在同一区域。 参考上传文件,
system("rm /home/work/anaconda3/lib/libmkldnn.so.0") 必现的问题,使用本地Pycharm远程连接Notebook调试。 建议与总结 在创建训练作业前,推荐您先使用ModelArts开发环境调试训练代码,避免代码迁移过程中的错误。 直
数据准备与处理 数据准备使用流程 创建ModelArts数据集 导入数据到ModelArts数据集 处理ModelArts数据集中的数据 标注ModelArts数据集中的数据 发布ModelArts数据集中的数据版本 分析ModelArts数据集中的数据特征 导出ModelArts数据集中的数据
traceback): : Unable to connect to endpoint 原因分析 OBS连接不稳定可能会出现报错,“Unable to connect to endpoint”。 处理方法 对于OBS连接不稳定的现象,通过增加代码来解决。您可以在代码最前面增加如下代码,让TensorF
inputs:可选参数,一个list,每个元素都是2生成的实例。 job_name:可选参数,训练任务名,便于区分和记忆。 本地单机调试训练任务开始后,SDK会依次帮助用户完成以下流程: 初始化训练作业,如果2指定的训练数据在OBS上,这里会将数据下载到local_path中。 执行训练任务,用户的训练代码需要将训练
IAM/AKSK认证方式:需要在header的X-Auth-Token字段上填入该租户在该region的domain级别的token。具体指导参见链接:获取IAM用户Token。 APP认证的方式:APP认证方式又可以细分为AppCode认证和APP签名认证。 AppCode认证需要在heade
确保容器可以访问公网。 步骤一:准备环境 请参考Lite Server资源开通,购买Lite Server资源,并确保机器已开通,密码已获取,能通过SSH登录,不同机器之间网络互通。 当容器需要提供服务给多个用户,或者多个用户共享使用该容器时,应限制容器访问Openstack的管理地址(169
速上手ModelArts服务。 面向不同AI基础的开发者,本文档提供了相应的入门教程,帮助用户更快速地了解ModelArts的功能,您可以根据经验选择相应的教程。 面向AI开发零基础的用户,您可以使用ModelArts在AI Gallery中预置的模型、算法、数据、Notebook等资产,零代码完成AI建模和应用。
创建训练作业提示错误码ModelArts.2763 问题现象 创建训练作业时,提示ModelArts.2763 : 选择的支持实例无效,请检查请求中信息的合法性。 原因分析 用户选择的训练规格资源和算法不匹配。 例如:算法支持的是GPU规格,创建训练作业时选择了ASCEND规格的资源类型。 处理方法
创建数据集导出任务 功能介绍 创建数据集导出任务,可导出至OBS或新数据集。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v2/{project_id
创建导入任务 支持从OBS中导入新的数据,导入方式包括目录导入和Manifest文件导入。 dataset.import_data(path=None, anntation_config=None, **kwargs) 不同类型的数据集支持的导入方式如表1所示。 表1 不同数据集支持的导入方式
必须小于200列,数据总大小不能超过100MB。 上传OBS操作步骤: 执行如下操作,将数据导入到您的数据集中,以便用于模型训练和构建。 登录OBS管理控制台,在ModelArts同一区域内创建桶。如果已存在可用的桶,需确保OBS桶与ModelArts在同一区域。 参考上传文件,
式,说明如何进行仪表盘配置。Grafana的更多使用请参考Grafana官方文档。 准备工作 ModelArts提供了集群视图、节点视图、用户视图、任务视图和任务详细视图这5个模板,这些模板在Grafana官方文档可以搜索下载,您导入模板配置Dashboards时,可直接使用。 表1
作业运行中,已经输出1兆的日志文本,单击训练详情页面需要多久加载出日志。 2.5秒 训练详情页 作业运行中,没有用户日志情况下,在ModelArts控制台主页面单击训练详情页面后加载页面内容。 2.5秒 JupyterLab页面 进入JupyterLab页面后加载页面内容。 0.5秒 Notebook列表页
使用CTS审计ModelArts服务 ModelArts支持云审计的关键操作 查看ModelArts相关审计日志
使用ModelArts Standard训练模型 模型训练使用流程 准备模型训练代码 准备模型训练镜像 创建调试训练作业 创建算法 创建生产训练作业 分布式模型训练 模型训练存储加速 增量模型训练 自动模型优化(AutoSearch) 模型训练高可靠性 管理模型训练作业
减少线程数。 排查办法 根据错误信息判断,报错原因来源于用户代码。 您可以通过以下两种方式排查: 线上环境调试代码(仅适用于非分布式代码) 在开发环境(notebook)申请相同规格的开发环境实例。 在notebook调试用户代码,并找出问题的代码段。 通过关键代码段 + 退出码尝试去搜索引擎寻找解决办法。,