检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
静态性能测试：评估在固定输入、固定输出和固定并发下，模型的吞吐与首token延迟。该方式实现简单，能比较清楚的看出模型的性能和输入输出长度、以及并发的关系。 动态性能测试：评估在请求并发在一定范围内波动，且输入输出长度也在一定范围内变化时，模型的延迟和吞吐。该场景能模拟实际业务下动态的发送不同长度请求，能评估推理框架在实际业务中能支持的并发数。
Token接口获取（响应消息头中X-Subject-Token的值）。 表3 请求Body参数 参数 是否必选 参数类型 描述 tags 是 Array of TmsTagForDelete objects 要删除的标签列表。 表4 TmsTagForDelete 参数 是否必选
静态性能测试：评估在固定输入、固定输出和固定并发下，模型的吞吐与首token延迟。该方式实现简单，能比较清楚的看出模型的性能和输入输出长度、以及并发的关系。 动态性能测试：评估在请求并发在一定范围内波动，且输入输出长度也在一定范围内变化时，模型的延迟和吞吐。该场景能模拟实际业务下动态的发送不同长度请求，能评估推理框架在实际业务中能支持的并发数。
String 分页展示时，从第几页开始。默认为0。 order 否 String 返回的APP列表排序方式，可选值包括asc、desc。默认为asc。 sort_by 否 String 返回的APP列表按何属性排序，可选值包括app_name、created_at、updated_at。默认为name。
使用多输入项的模板创建模型时，如果模板定义的目标路径input_properties是一样的，则此处输入的obs目录或者obs文件不能重名，否则会覆盖。 是 str、Placeholder、Storage 使用案例 主要包含六种场景的用例： 基于JobStep的输出注册模型 基于OBS数据注册模型
tokenizer-name-or-path：tokenizer的存放路径。 - handler-name：生成数据集的用途，这里是生成的指令数据集，用于微调。 - workers：数据处理线程数。 -append-eod：用于控制是否在每个输入序列的末尾添加一个特殊的标记。这个标记表示输入序列结束，可以帮助模型更好地理解和处理长序列。
当订阅模型的版本列表的状态显示为“就绪”时表示模型可以使用。 图4 进入“订阅应用” 当订阅的模型状态长时间未显示“就绪”状态，可以参考案例订阅的AI应用一直处于等待同步状态解决。 步骤三：使用订阅模型部署在线服务 模型订阅成功后，可将此模型部署为在线服务。 在展开的版本列表中，单击“部署
--generate-scale：体现此参数表示会生成量化系数，生成后的系数保存在--scale-output参数指定的路径下。如果有指定的量化系数，则不需此参数，直接读取--scale-input参数指定的量化系数输入路径即可。 --dataset-path：数据集路径，推荐使
删除API 功能介绍 删除指定的API，只有对API所属服务有删除权限的用户才可以删除API。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 URI DELETE /v1/
ExportKeys.TF_SERVING) 如果标签发生变化 当数据集中的标签发生变化时，需要执行如下语句。此语句需在“mox.run”之前运行。 语句中的“logits”，表示根据不同网络中分类层权重的变量名，配置不同的参数。此处填写其对应的关键字。 mox.set_flag('checkpoi
检查代码，检查是否有参数中未传入“master_ip”和“rank”参数等问题。 问题现象2 分布式训练的日志中，发现有的节点含有GDR信息，而有的节点无GDR信息，导致卡死的原因可能为GDR。 # 节点A日志 modelarts-job-a7305e27-d1cf-4c71-a
ss使用humaneval数据集时，需要执行模型生成的代码。请仔细阅读human_eval/execution.py文件第48-57行的注释，内容参考如下。了解执行模型生成代码可能存在的风险，如果接受这些风险，请取消第58行的注释，执行下面步骤4进行评测。 # WARNING #
of DataSource objects 数据集输入位置，用于将此目录及子目录下的源数据(如图片/文件/音频等)同步到数据集。对于表格数据集，该参数为导入目录。表格数据集的工作目录不支持为KMS加密桶下的OBS路径。目前仅支持传入单个DataSource。 dataset_name
建议仅在训练任务场景使用。 DEV: 建议仅在开发调测场景使用。 UNKNOWN: 未明确设置的镜像支持的服务类型。 services 否 Array of strings 镜像支持的服务，默认值NOTEBOOK、SSH。枚举值如下: NOTEBOOK：镜像支持通过https协议访问Notebook。
String 任务某个步骤的描述。 表4 EndpointsRes 参数 参数类型 描述 allowed_access_ips Array of strings 允许通过SSH协议访问Notebook的公网IP地址白名单列表，默认都可以访问。当配置指定IP后，则仅允许IP所在的客户端实现对Notebook的访问。
ModelArts支持的监控指标 为使用户更好地掌握自己的ModelArts在线服务和对应模型负载的运行状态，云服务平台提供了云监控。您可以使用该服务监控您的ModelArts在线服务和对应模型负载，执行自动实时监控、告警和通知操作，帮助您更好地了解服务和模型的各项性能指标。 表1
是一个用于设置序列长度的参数，表示模型处理的序列长度。在训练大规模模型时，可以通过设置这个参数来优化模型的训练速度和效果。 数据预处理后输出的训练数据如下： alpaca_text_document.bin alpaca_text_document.idx 训练的时指定的数据路径为${p
String 操作路径，符合标准的Json PATCH格式，代表以服务详情的Json返回体为基准，想要执行替换的值的目标路径（Json PATH）。当前支持且仅支持对模型相关所有参数的替换更新，因此前缀固定为“/config/”。例如，当期望更新第一个模型中的实例数量，则路径为“/co
训练作业的系统监控指标。具体请参见表6。 user_image_url String 自定义镜像训练作业的自定义镜像的SWR-URL。 user_command String 自定义镜像训练作业的自定义镜像的容器的启动命令。 resource_id String 训练作业的计费资源ID。
通过对ModelArts数据集能力进行封装，实现数据集的数据导入功能。数据集导入节点主要用于将指定路径下的数据导入到数据集或者标注任务中，主要应用场景如下： 适用于数据不断迭代的场景，可以将一些新增的原始数据或者已标注数据导入到标注任务中，并通过后续的数据集标注节点进行标注。 对于一些已标注好的原始数据，可以直接导
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
