检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
的格式要求为Huggingface格式。开源权重文件获取地址请参见表3。 如果使用模型训练后的权重文件进行推理,模型训练及训练后的权重文件转换操作可以参考相关文档章节中提供的模型训练文档。 3.权重要求放在磁盘的指定目录,并做目录大小检查,参考命令如下: df -h 步骤四 制作推理镜像
目录的利用率。 百分比(Percent) 0~100% 连续2个周期原始值 > 90% 重要 磁盘使用率过高时,会导致Notebook实例重启。 节点级别的指标介绍 表2 节点指标(仅专属池上会收集) 分类 名称 指标 指标含义 单位 取值范围 告警阈值 告警级别 处理建议 CPU
创建工作空间。设置工作空间名称为“test-workspace”,授权类型为“internal”,授权的IAM用户名称为“test”。 POST https://{endpoint}/v1/{project_id}/workspaces { "name" : "test-workspace"
Abnormal:SFS连通状态异常 ipAddr String SFS Turbo的访问地址。 请求示例 查询资源池列表。 GET https://{endpoint}/v2/{project_id}/pools { } 响应示例 状态码:200 OK。 { "kind"
描述 error_code String ModelArts错误码。 error_msg String 具体错误信息。 请求示例 GET https://{endpoint}/v1/{project_id}/services/{service_id}/app-auth-apis/{api_id}/api-auths
标注“推荐”的Runtime来源于统一镜像,后续统一镜像将作为主流的推理基础镜像。统一镜像中的安装包更齐全,详细信息可以参见推理基础镜像列表。 推荐将旧版镜像切换为统一镜像,旧版镜像后续将会逐渐下线。 待下线的基本镜像不再维护。 统一镜像Runtime的命名规范:<AI引擎名字及版本> - <硬件及版本:cpu或cuda或cann>
描述 error_code String ModelArts错误码。 error_msg String 具体错误信息。 请求示例 GET https://endpoint/v2/{project_id}/training-jobs/{training_job_id}/events?o
实际情况,使用generate_datasets.py脚本生成和业务数据分布接近的数据集。 公开数据集下载地址: ShareGPT: https://huggingface.co/datasets/anon8231489123/ShareGPT_Vicuna_unfiltered
ingface格式。开源权重文件获取地址请参见支持的模型列表和权重文件。 如果使用模型训练后的权重文件进行推理,模型训练及训练后的权重文件转换操作可以参考相关文档章节中提供的模型训练文档。 Step2 配置pod 在节点自定义目录${node_path}下创建config.yaml文件
定期针对镜像进行安全扫描,及时安装补丁修复漏洞。增加健康检查接口,确保健康检查可以正常返回业务状态,便于告警和故障恢复。容器应该采用https的安全传输通道,并使用业界推荐的加密套件保证业务数据的安全性。 部署上线 部署服务时,需要注意为服务设置合适计算节点规格,防止服务因资源
error_code String ModelArts错误码。 error_msg String 具体错误信息。 请求示例 删除网络。 DELETE https://{endpoint}/v1/{project_id}/networks/{network_name} { } 响应示例 状态码:200
实际情况,使用generate_datasets.py脚本生成和业务数据分布接近的数据集。 公开数据集下载地址: ShareGPT: https://huggingface.co/datasets/anon8231489123/ShareGPT_Vicuna_unfiltered
200,3]和[100,200]均合法。 说明:只有当样本的标签列表包含物体检测标签时,此字段必选。 请求示例 分页查询样本列表 GET https://{endpoint}/v2/{project_id}/datasets/{dataset_id}/data-annotations/samples
error_code String ModelArts错误码。 error_msg String 具体错误信息。 请求示例 删除节点池。 DELETE https://{endpoint}/v2/{project_id}/pools/{pool_name}/nodepools/{nodepool_name}
卡类型。 unit String 单位。 memory Integer 卡内存大小。 npu Integer NPU数。 请求示例 GET https://{endpoint}/v1/{project_id}/services/specifications 响应示例 状态码:200 服务部署规格列表。
登录ModelArts管理控制台,在“AI专属资源池 > 弹性集群Cluster”页面,进入“Standard资源池”页签中,单击资源名称进入资源详情。 在资源详情页,切换到“规格”页签,在规格列表中复制“计量ID”。 图5 复制计量ID 进入“费用中心 > 流水和明细账单”页面。 选择“明细账单”,在账单列
设置相关权限,并且该权限仅对此项目生效;如果“授权范围”选择“所有资源”,则该权限在所有区域项目中都生效。访问ModelArts时,需要先切换至授权区域。 如表1所示,包括了ModelArts的所有系统策略权限。如果系统预置的ModelArts权限,不满足您的授权要求,可以创建自
|── finetune # 微调加载的数据 |──converted_weights # HuggingFace格式转换megatron格式后权重文件 |── saved_dir_for_output # 训练输出保存权重,目录结构会自动生成,无需用户创建
|── finetune # 微调加载的数据 |──converted_weights # HuggingFace格式转换megatron格式后权重文件 |── saved_dir_for_output # 训练输出保存权重,目录结构会自动生成,无需用户创建
obs:bucket:PutBucketAcl(设置桶ACL) obs:object:PutObjectAcl(设置对象ACL) 从OBS导入模型 模型转换指定OBS路径 表8 管理部署上线 业务场景 依赖的服务 依赖策略项 支持的功能 在线服务 LTS lts:logs:list(查询日志列表)