检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查询APP的API认证信息 功能介绍 查询APP的API认证信息。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1/{project_id}/serv
获取用户绑定APP的api列表 功能介绍 获取用户绑定app的API列表。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1/{project_id}/
Reset Content 重置内容,服务器处理成功。 206 Partial Content 服务器成功处理了部分GET请求。 300 Multiple Choices 多种选择。请求的资源可包括多个位置,相应可返回一个资源特征与地址的列表用于用户终端(例如:浏览器)选择。 301 Moved
size 影响流水线并行中设备的计算效率。 切分策略 包括DP(Data Parallel)、TP(Tensor Parallel)、PP(Pipeline Parallel)。 DP:数据并行(Data Parallelism)是大规模深度学习训练中常用的并行模式,它会在每个进程(
给子账号配置文件夹级的SFS Turbo访问权限 场景描述 本文介绍如何配置文件夹级的SFS Turbo访问权限,实现在ModelArts中访问挂载的SFS Turbo时,只允许子账号访问特定的SFS Turbo文件夹内容。 给子账号配置文件夹级的SFS Turbo访问权限为白名
资源池监控 功能介绍 获取资源池的监控信息。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/pools/{pool_name}/monitor
MoXing常用操作的样例代码 读写操作 读取一个OBS文件。 例如读取“obs://bucket_name/obs_file.txt”文件内容,返回string(字符串类型)。 1 2 import moxing as mox file_str = mox.file.read(
nets.nets_factory: class NetworkKeys(builtins.object) | Data descriptors defined here: | | __dict__ | dictionary for instance variables
训练图像分类模型 完成图片标注后,可进行模型的训练。模型训练的目的是得到满足需求的图像分类模型。请参考前提条件确保已标注的图片符合要求,否则数据集校验将会不通过。 前提条件 请确保您的数据集中的已标注的图片不低于100张。 请确保您的数据集中至少存在2种以上的图片分类,且每种分类的图片不少于5张。
gpu": "auto", "gradient_accumulation_steps": "auto", "gradient_clipping": "auto", "zero_allow_untested_optimizer": true, "fp16": {
授权API至APP 功能介绍 将指定的API授权给APP。API的认证方式必须为APP认证,APP的创建用户必须是API所属服务的创建者,且请求用户对API所属服务必须有更新权限。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以
将数据和应用程序加密,以保护数据的机密性和完整性。 确保模型的相关软件都得到及时的安全更新和漏洞修补。 遵守相关的合规性要求,如GDPR、HIPAA、PCI DSS等。 进行适当的访问控制,以确保只有授权用户可以访问管理在线服务等相关资源。 监控和报告任何异常活动,并及时采取措施。
查询可视化作业详情 功能介绍 根据作业名称查看指定的可视化作业详情。 URI GET /v1/{project_id}/visualization-jobs/{job_id} 参数说明如表1所示。 表1 参数说明 参数 是否必选 参数类型 说明 project_id 是 String
following packages that were not found in your environment: flash_attn. Run `pip install flash_attn`"请参考附录:训练常见问题问题3小节。 3、大模型参数如(qwen2-72B、llama2-70B
批量删除样本 根据样本的ID列表批量删除数据集中的样本。 dataset.delete_samples(samples) 示例代码 批量删除数据集中的样本 from modelarts.session import Session from modelarts.dataset import
可以使用html中给出的代码段替换torch_npu中syncbatchnorm.py文件的forward方法(可以在训练环境中执行`pip show torch_npu`查看torch_npu的安装路径)。这类优化通常可以较显著地提升训练速度。 图18 SyncBatchNorm分析
创建ModelArts数据选择任务 前提条件 数据已准备完成:已经创建数据集或者已经将数据上传至OBS。 确保您使用的OBS与ModelArts在同一区域。 创建数据处理任务 登录ModelArts管理控制台,在左侧的导航栏中选择“数据准备 > 数据处理”,进入“数据处理”页面。
择此路径后,会自动同步在“高级配置>中转目录”,也可单击“稍后决定”直接跳过。 线下开发:代码在本地,将本地代码传到OBS,然后通过OBS传至云上或直接使用SFS盘存储的代码。 线上开发:代码在云上,通过SSH连接容器。 图3 选择开发场景 图4 选择训练作业代码存储位置 鼠标放
查询训练作业指定任务的日志(预览) 功能介绍 查询训练作业指定任务的日志(预览)。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project_
资源池创建失败的原因与解决方法? 本文主要介绍在ModelArts资源池创建失败时,如何查找失败原因,并解决问题。 问题定位 您可以参考以下步骤,查看资源池创建失败的报错信息,并根据相应的解决方法解决问题: 登录ModelArts控制台,单击弹性集群,单击资源池列表上方的“操作记录”查看创建失败的资源池。