正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查看AI应用的事件 创建AI应用的(从用户可看见创建AI应用任务开始)过程中,每一个关键事件点在系统后台均有记录,用户可随时在对应AI应用的详情页面进行查看。 方便用户更清楚的了解创建AI应用过程,遇到任务异常时,更加准确的排查定位问题。可查看的事件点包括: 事件类型 事件信息(
--model-type:模型类型。 --loader:选择对应加载模型脚本的名称。 --saver:选择模型保存脚本的名称。 --tensor-model-parallel-size:${TP}张量并行数,需要与训练脚本中的TP值配置一样。 --pipeline-model-paralle
sh脚本,自定义环境变量的值,并在脚本的首行中添加 cd /home/ma-user/work/llm_train/AscendSpeed/ModelLink 命令,随后在Notebook中运行该脚本。 其中环境变量详细介绍如下: 表1 权重转换脚本中的环境变量 参数 示例 参数说明
url = "在线服务的调用地址" # 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全; # 本示例以ak和sk保存在环境变量中来实现身份验证为例,运行本示例前请先在本地环境中设置环境变量HUA
transformers调用cuda上的操作,或者执行卡死 问题现象 图1 报错信息 原因分析 transformers库的training_args.py目前适配的是CUDA的部分操作,需要替换为适配NPU的脚本。 处理方法 training_args.py替换为适配NPU的脚本,替换的脚本请见training_args
间有限制: 请求体的大小不超过12MB,超过后请求会被拦截。 因APIG(API网关)限制,平台每次请求预测的时间不超过40秒。 访问在线服务 公网访问在线服务有以下认证方式,API调用请参见认证详情: 通过Token认证的方式访问在线服务 通过AK/SK认证的方式访问在线服务 通过APP认证的方式访问在线服务
名字可以根据具体情况变化,@后面是图片的存储路径。 “-H”是post命令的headers,Headers的Key值为“X-Auth-Token”,这个名字为固定的, Token值是获取的用户Token。 “POST”后面跟随的是在线服务的调用地址。 curl命令文件输入样例: curl
用户自定义镜像或者通过基础镜像导入的AI应用时,用户自己编写了很多自定义的业务逻辑,这些逻辑有问题将会导致服务部署或者预测失败,需要能够排查出哪里有问题。 处理方法 服务部署失败后,进入服务详情界面,查看服务部署日志,明确服务部署失败原因(用户代码输出需要使用标准输入输出函数,否则输出的内容不会呈现到
您可以在服务详情页的“调用指南”页签(如图5)获取API接口公网地址(对应下文示例中的在线服务的调用地址url)和AppKey/AppSecret(对应下文示例中的app_key、app_secret)和AppCode(对应下文示例中的app_code)。请注意使用图中第二行用于APP认证方式的API接口公网地址。
数据,客户端有不同的实现,同一种语言也存在不同的lib包的实现,这里不考虑实现的不同种类。 客户端发送的内容在协议的角度不限定格式,Postman支持Text/Json/XML/HTML/Binary,以text为例,在输入框中输入要发送的文本,单击右侧中部的Send按钮即可将请
解除API对APP的授权 功能介绍 解除指定的API对APP的授权,请求用户对API所属服务必须有更新权限。同URL:/v1/{project_id}/app-auth/{service_id}/apis/{api_id}/auths 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API
GpuInfo object 规格的GPU信息。 npu_info NpuInfo object 规格的NPU信息。 source_type String 此规格应用于模型的类型,取值为空或auto,默认为空,代表是用户自己产生的模型;取值为auto时,代表是自动学习训练的模型,计费方式有差别。
查询APP的API认证信息 功能介绍 查询APP的API认证信息。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v1/{project_id}/serv
通过VPC高速访问通道的方式访问在线服务 背景说明 访问在线服务的实际业务中,用户可能会存在如下需求: 高吞吐量、低时延 TCP或者RPC请求 因此,ModelArts提供了VPC直连的高速访问通道功能以满足用户的需求。 使用VPC直连的高速访问通道,用户的业务请求不需要经过推理
查询超参搜索某个trial的结果 功能介绍 根据传入的trial_id,查询指定trial的搜索结果。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2
超参搜索所有trial结果的字段信息。 data Array<Array<String>> 超参搜索所有trial结果的每条数据列表。 请求示例 如以下查询training_job_id为5b60a667-1438-4eb5-9705-85b860e623dc的作业的所有trial的信息。 GET
参数类型 描述 flavor_id String 资源规格的ID。 flavor_name String 资源规格的名称。 max_num Integer 资源规格的最大节点数。 flavor_type String 资源规格的类型。可选值如下: CPU GPU Ascend billing
目的。ModelArts的SDK是对ModelArts Standard提供的REST API进行的Python封装,简化用户的开发工作。具体操作和SDK详细描述,请参见《SDK参考》。 除此之外,在ModelArts Standard的Notebook中编写代码时,也可直接调用ModelArts
动学习、停止因运行自动学习而创建的训练作业和部署的服务。同时,也需清理存储到OBS中的数据。 Notebook实例: 运行中的Notebook实例会收费,使用完成后请及时停止Notebook实例或删除。使用EVS做存储时,需同时清理存储到EVS中的数据。 CodeLab计费:在体
超参搜索算法的参数列表。 description String 超参搜索算法的描述。 表4 params 参数 参数类型 描述 key String 超参搜索算法的参数名称。 value String 超参搜索算法的参数取值。 type String 超参搜索算法的参数类型。 请求示例