检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
支持训练数据使用SFS Turbo文件系统进行数据挂载,训练作业产生的中间和结果等数据可以直接高速写入到SFS Turbo缓存中,并可被下游业务环节继续读取并处理,结果数据可以异步方式导出到关联的OBS对象存储中进行长期低成本存储,从而加速训练场景下加速OBS对象存储中的数据访问 ModelArts
ModelArts在线服务预测时,如何提高预测速度? 部署在线服务时,您可以选择性能更好的“实例规格”提高预测速度。例如使用GPU资源代替CPU资源。 部署在线服务时,您可以增加“实例数”。 如果实例数设置为1,表示后台的计算模式是单机模式;如果实例数设置大于1,表示后台的计算模
检查训练作业的代码目录和启动文件地址 进入ModelArts管理控制台,在“作业管理 > 训练作业”中查找到对应的“运行失败”的训练作业,单击作业“名称/ID”进入详情页。 在详情页左侧栏中,查看代码目录和启动文件选择是否正确,且OBS文件名称中不能有空格。 代码目录:需要选择到OBS目录。如果选择了文件,会提示非法的OBS路径。
查询API和APP 功能介绍 查询服务授权的API、APP信息。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1/{project_id}/servi
务名称的地方提示用户同步中。 6:已创建。owner创建完任务,未启动,仅owner/manager可见任务列表。 7:验收采样中。发起验收改为异步,新增验收采样中的状态,此时不允许发起新的验收任务,也不允许继续当前验收,任务名称的地方提示用户验收采样中。 synchronize_auto_labeling_data
查询用户镜像组列表 功能介绍 查询用户镜像信息概览,以镜像名称作为聚合的信息。 接口约束 暂无约束 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1/{
辑 1_preprocess_data.sh 、2_convert_mg_hf.sh中的具体python指令,并在Notebook环境中运行执行。本代码中有许多环境变量的设置,在下面的指导步骤中,会展开进行详细的解释。 若用户希望自定义参数进行训练,可直接编辑对应模型的训练脚本,
模型对应的软件包和依赖包获取地址 代码包名称 代码说明 下载地址 AscendCloud-3rdLLM-905-xxx.zip 说明: 软件包名称中的xxx表示时间戳。 包含了本教程中使用到的模型训练代码。代码包具体说明请参见模型软件包结构说明。 获取路径:Support-E 请联系您所在企业的华为方技术支持下载获取。
"http://{proxy_server_private_ip}:3128" } 代理服务器IP即步骤二:使用Docker安装和配置正向代理中创建的ECS私有IP,获取方式请见查看弹性云服务器详细信息。 图4 ECS私有IP 调用公网地址时,使用服务URL进行业务请求,如: https://e8a048ce25136addbbac23ce6132a
rc2,驱动版本是23.0.5。 本文档适用于仅使用OBS对象存储服务(Object Storage Service)作为存储的方案,OBS用于存储模型文件、训练数据、代码、日志等,提供了高可靠性的数据存储解决方案。 约束限制 如果要使用自动重启功能,资源规格必须选择八卡规格,只有llama3-8B/70B支持该功能。
用户的使用场景: 用户在包长周期的资源池中无法扩容短周期的节点。 用户无法在包周期的资源池中扩容按需的节点(包括AutoScaler场景)。 支持SFS产品权限划分 支持SFS权限划分特性,可以实现训练场景中,挂载的SFS的文件夹能够权限控制,避免出现所有人都可以挂载使用,导致某用户误删所有数据的情况。
辑 1_preprocess_data.sh 、2_convert_mg_hf.sh中的具体python指令,并在Notebook环境中运行执行。本代码中有许多环境变量的设置,在下面的指导步骤中,会展开进行详细的解释。 若用户希望自定义参数进行训练,可直接编辑对应模型的训练脚本,
功能介绍 创建API网关应用(简称APP),每个用户最多只能创建5个APP,有需求可以申请增加配额。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v1/
查询APP详情 功能介绍 查询指定的APP详情。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1/{project_id}/app-auth/apps/{app_id}
在customize_service.py中添加一行代码os.system('nvcc -V)查看该镜像的cuda版本(customize_service.py编写指导请见模型推理代码编写说明)。 确认该cuda版本与您安装的mmcv版本是否匹配。 部署时是否需要使用GPU,取决于的模型需要用到
功能介绍 重置指定API网关应用的AppSecret,只有APP的创建用户才可以重置AppSecret。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI PUT /v1/{
Notebook连接大数据服务特性 介绍如何将ModelArts Notebook开发环境与华为云大数据服务DLI中的Spark引擎相连接,让数据工程师能便捷地使用Notebook进行大数据开发,以及如何在DataArts Studio服务配置Notebook文件定时调度任务。 白名单
true:发布时启动特征分析任务 false:发布时不启动特征分析任务(默认值) status Integer 数据集版本状态。可选值如下: 0:创建中 1:运行中 2:删除中 3:已删除 4:错误 tags Array of strings 版本关键标识列表,标注任务发布版本时将标注类型作为默认标签。如:["图片"
Integer 预处理任务状态。 status String 导入任务的当前状态。可选值如下: QUEUING:排队中 STARTING:开始执行 RUNNING:运行中 COMPLETED:已完成 FAILED:已失败 NOT_EXIST:不存在 task_id String 任务ID。
必须修改。用于指定模板。如果设置为"qwen",则使用QWEN模板进行训练,模板选择可参照表1中的template列 max_samples 50000 用于指定训练过程中使用的最大样本数量。如果设置了这个参数,训练过程将只使用指定数量的样本,而忽略其他样本。这可以用于控制训练过程的规模和计算需求