检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
image_version String 镜像版本。 请求示例 如下以查询北京四训练作业所有的公共引擎规格为例(引擎过多,只显示部分)。 GET https://endpoint/v2/{project_id}/training-job-engines 响应示例 状态码: 200 ok {
eqs参数,避免档位过大导致图编译错误。 MoE模型依赖MindSpeed,当使用MoE模型推理时,需提前安装: git clone https://gitee.com/ascend/MindSpeed.git cd MindSpeed git checkout a956b907
guided-decoding 什么是guided-decoding Guided Decoding是一种用于生成文本的策略,通过提供额外的上下文或约束,来引导模型生成更符合预期的结果。 比如使用openai启动服务,通过配置guided_json参数使用JSON Schema的架构来举例。
参数类型 描述 - String 状态码: 500 表7 响应Body参数 参数 参数类型 描述 - String 请求示例 GET https://{endpoint}/v1/{project_id}/workspaces/ccd05d1a553b4e188ea878e7dcb85e47
/home/work/user-job-dir/app/train.py {python_file_parameter}”。 请求示例 GET https://endpoint/v1/{project_id}/training-job-configs?per_page=10&page=1&
ModelArts计费模式概述 ModelArts服务提供包年/包月和按需计费两种计费模式,以满足不同场景下的用户需求。如您需要快速了解ModelArts服务不同计费模式的具体价格,请参见ModelArts价格详情。 包年/包月:一种预付费模式,即先付费再使用,按照订单的购买周期
准备权重 获取对应模型的权重文件,获取链接参考表1。 权重文件下载有如下几种方式,但不仅限于以下方式: 方法一:网页下载:通过单击表格中权重文件获取地址的访问链接,即可在模型主页的Files and Version中下载文件。 方法二:huggingface-cli:huggingface-cli是
开发环境权限 表1 开发环境细化权限说明 权限 对应API接口 授权项 依赖的授权项 IAM项目 企业项目 创建开发环境实例 POST /v1/{project_id}/notebooks modelarts:notebook:create ecs:serverKeypairs:create
批量添加样本 功能介绍 批量添加样本。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI POST /v2/{project_id}/datasets/{dataset
准备权重 获取对应模型的权重文件,获取链接参考表1。 权重文件下载有如下几种方式,但不仅限于以下方式: 方法一:网页下载:通过单击表格中权重文件获取地址的访问链接,即可在模型主页的Files and Version中下载文件。 方法二:huggingface-cli:huggingface-cli是
nt量化或使用GPTQ量化章节对模型做量化处理。 参数定义和使用方式与vLLM0.5.0版本一致,此处介绍关键参数。详细参数解释请参见https://github.com/vllm-project/vllm/blob/main/vllm/engine/arg_utils.py。 步骤七
nt量化或使用GPTQ量化章节对模型做量化处理。 参数定义和使用方式与vLLM0.5.0版本一致,此处介绍关键参数。详细参数解释请参见https://github.com/vllm-project/vllm/blob/main/vllm/engine/arg_utils.py。 Step7
创建数据集 创建数据集,支持从OBS中导入数据。 create_dataset(session, dataset_name=None, data_type=None, data_sources=None, work_path=None, dataset_type=None, **kwargs)
训练作业容错检查 用户在训练模型过程中,存在因硬件故障而产生的训练失败场景。针对硬件故障场景,ModelArts提供容错检查功能,帮助用户隔离故障节点,优化用户训练体验。 容错检查包括两个检查项:环境预检测与硬件周期性检查。当环境预检查或者硬件周期性检查任一检查项出现故障时,隔离
描述 error_code String ModelArts错误码。 error_msg String 具体错误信息。 请求示例 GET https://{endpoint}/v1/{project_id}/app-auth/apps 响应示例 状态码: 200 OK { "apps"
描述 error_code String ModelArts错误码。 error_msg String 具体错误信息。 请求示例 PUT https://{endpoint}/v1/{project_id}/app-auth/apps/{app_id}/app-code/{app_code}
error_code String ModelArts错误码。 error_msg String 具体错误信息。 请求示例 查询网络详情。 GET https://{endpoint}/v1/{project_id}/networks/{network_name} { } 响应示例 状态码:
URL。如果有queryString,那么在params栏中添加参数。在header中添加认证信息(不同认证方式有不同header,跟https的推理服务相同)。选择单击右上的connect按钮,建立WebSocket连接。 图2 获取API接口调用公网地址 如果信息正确,右下角连接状态处会显示:CONNECTED;
String ModelArts错误码。 error_msg String 具体错误信息。 请求示例 查询资源池的节点列表。 GET https://{endpoint}/v2/{project_id}/pools/{pool_name}/nodes { } 响应示例 状态码:
Integer GPU卡数。 gpu_memory String GPU内存。 type String GPU类型。 请求示例 GET https://{endpoint}/v1/{project_id}/notebooks/{id}/flavors 响应示例 状态码: 200 OK