云服务器内容精选

  • 系统模板介绍 Logstash集群预置了常见的几种Logstash配置文件模板,请参见表1。 表1 Logstash配置文件的系统模板 名称 描述 具体介绍 redis 从redis数据库导入数据到Elasticsearch类型集群。 redis模板说明 elasticsearch 从Elasticsearch类型集群导入数据到Elasticsearch类型集群。 elasticsearch模板说明 jdbc 从jdbc导入数据到Elasticsearch类型集群。 jdbc模板说明 kafka 从kafka导入数据到Elasticsearch类型集群。 kafka模板说明 beats 从beats导入数据到Elasticsearch类型集群。 dis模板说明 dis 从dis导入数据到Elasticsearch类型集群。 beats模板说明
  • 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 comments String 备注 config_key String 配置键 config_type String 配置类型 config_value String 配置值 create_time String 创建时间 create_user String 创建者 id String UUID test_service_id String 服务id update_time String 修改时间 update_user String 修改者 状态码: 401 表5 响应Body参数 参数 参数类型 描述 error_code String 错误编码 error_msg String 错误原因 状态码: 403 表6 响应Body参数 参数 参数类型 描述 error_code String 错误编码 error_msg String 错误原因 状态码: 404 表7 响应Body参数 参数 参数类型 描述 error_code String 错误编码 error_msg String 错误原因
  • 在ModelArts Standard上运行GPU训练任务的场景介绍 不同AI模型训练所需要的数据量和算力不同,在训练时选择合适的存储及训练方案可提升模型训练效率与资源性价比。ModelArts Standard支持单机单卡、单机多卡和多机多卡的训练场景,满足不同AI模型训练的要求。 ModelArts Standard提供了公共资源池和专属资源池,专属资源池不与其他用户共享资源,更加高效。针对企业多用户场景,推荐使用专属资源池开展AI模型训练。 本文提供了端到端案例指导,帮助您快速了解如何在ModelArts Standard上选择合适的训练方案并进行模型训练。 针对不同的数据量和算法情况,推荐以下训练方案: 单机单卡:小数据量(1G训练数据)、低算力场景(1卡Vnt1),存储方案推荐使用“OBS的并行文件系统(存放数据和代码)”。 单机多卡:中等数据量(50G左右训练数据)、中等算力场景(8卡Vnt1),存储方案推荐使用“SFS(存放数据和代码)”。 多机多卡:大数据量(1T训练数据)、高算力场景(4台8卡Vnt1),存储方案推荐使用“SFS(存放数据)+普通OBS桶(存放代码)”,采用分布式训练。 当使用SFS+OBS的存储方案可以实现存储加速,该方案的端到端实践案例请参见面向AI场景使用OBS+SFS Turbo的存储加速实践。 表1 不同场景所需服务及购买推荐 场景 OBS SFS SWR DEW ModelArts VPC E CS EVS 单机单卡 按需购买(并行文件系统) × 免费 免费 包月购买 免费 × 按需购买 单机多卡 × 包月购买 (HPC型500G) 免费 免费 包月购买 免费 包月购买 (Ubuntu 18.04,建议不小于2U8G,本地存储空间100G,带EIP全动态BGP,按流量10M带宽) × 多机多卡 按需购买 (普通OBS桶) 包月购买 (HPC型500G) 免费 免费 包月购买 免费 包月购买 (Ubuntu 18.04,建议不小于2U8G,本地存储空间100G,带EIP全动态BGP,按流量10M带宽) × 表2 开源数据集训练效率参考 算法及数据 资源规格 Epoch数 预计运行时长(hh:mm:ss) 算法:PyTorch官方针对ImageNet的样例 数据:ImageNet分类数据子集 1机1卡Vnt1 10 0:05:03 算法:YOLOX 数据:COCO2017 1机1卡Vnt1 10 03:33:13 1机8卡Vnt1 10 01:11:48 4机8卡Vnt1 10 0:36:17 算法:Swin-Transformer 数据:ImageNet21K 1机1卡Vnt1 10 197:25:03 1机8卡Vnt1 10 26:10:25 4机8卡Vnt1 10 07:08:44 表3 训练各步骤性能参考 步骤 说明 预计时长 镜像下载 首次下载镜像的时间(25G)。 8分钟 资源调度 点创建训练任务开始到变成运行中的时间(资源充足、镜像已缓存)。 20秒 训练列表页打开 已有50条训练作业,单击训练模块后的时间。 6秒 日志加载 作业运行中,已经输出1兆的日志文本,单击训练详情页面需要多久加载出日志。 2.5秒 训练详情页 作业运行中,没有用户日志情况下,在ModelArts控制台主页面单击训练详情页面后加载页面内容。 2.5秒 JupyterLab页面 进入JupyterLab页面后加载页面内容。 0.5秒 Notebook列表页 已有50个Notebook实例,在ModelArts控制台主页面单击开发环境后的时间。 4.5秒 镜像下载时间受节点规格、节点硬盘类型(高IO/普通IO)、是否SSD等因素影响,以上数据仅供参考。 父主题: 基于ModelArts Standard运行GPU训练任务
  • 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 通过调用 IAM 服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 表3 请求Body参数 参数 是否必选 参数类型 描述 server 是 DisassociateEcsServerInfo object 需要绑定密钥对的虚拟机信息。 表4 DisassociateEcsServerInfo 参数 是否必选 参数类型 描述 id 是 String 需要绑定(替换或重置)SSH密钥对的虚拟机id auth 否 Auth object 可选字段,鉴权认证类型。替换时需要该参数,重置时不需要该参数。 表5 Auth 参数 是否必选 参数类型 描述 type 否 String 取值为枚举类型。password或keypair。 key 否 String type为枚举值password时,key表示密码; type为枚举值keypair时,key表示私钥;
  • 请求示例 { "server" : { "id" : "d76baba7-ef09-40a2-87ff-3eafec0696e7", "auth" : { "type" : "keypair", "key" : "-----BEGINRSAPRIVATEKEY-----\nM..." } } } { "server" : { "id" : "x76baba7-ef09-40a2-87ff-3eafec0696e7" } }
  • 响应参数 状态码: 202 表6 响应Body参数 参数 参数类型 描述 task_id String 任务下发成功返回的ID。 server_id String 绑定的虚拟机id。 status String 任务下发的状态。SUC CES S或FAILED。 error_code String 任务下发失败返回的错误码。 error_msg String 任务下发失败返回的错误信息。 状态码: 400 表7 响应Body参数 参数 参数类型 描述 error_code String 错误码 error_msg String 错误描述
  • 支持查看的任务 表1 支持查看的任务 任务类型 分类 任务名称 即时任务 创建实例 创建SQL Server实例、创建SQL Server只读实例。 实例生命周期 重启SQL Server实例、停止SQL Server实例、开启SQL Server实例、删除SQL Server实例。 变更实例 扩容SQL Server实例、SQL Server实例主备倒换、克隆SQL Server实例、SOL Server单实例转主备、SQL Server规格变更、SQL Server磁盘类型变更、SQL Server实例迁移可用区、SQL Server修改字符集。 连接管理 SQL Server创建公网 域名 、SQL Server修改公网域名、SQL Server创建内网域名、SQL Server修改内网域名、SQL Server实例绑定弹性公网IP、SQL Server实例解绑弹性公网IP、SQL Server更新SSL证书。 备份与恢复 SQL Server恢复到新实例、SQL Server恢复到已有实例。 开启FileStream存储 SQL Server开启FileStream。 安全与加密 SQL Server开启TDE、SQL Server滚动TDE证书。 定时任务 实例生命周期 开启SQL Server实例、SQL Server实例系统升级。
  • 响应示例 状态码: 200 请求成功。 { "api_version" : "v1", "kind" : "Job", "spec" : { "progress" : 0, "status" : "running", "tasks" : [ { "index" : 1, "name" : "upgrade", "status" : "init", "detail" : "", "created_at" : "2023-02-16T11:24:07.950175Z", "updated_at" : "2023-02-16T11:24:07.950175Z" } ] } }
  • 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 api_version String API版本,固定值“v1”,该值不可修改。 kind String API类型,固定值“Job”,该值不可修改。 spec JobSpec object job规格信息。 表4 JobSpec 参数 参数类型 描述 progress Number 任务进度。 status String 任务状态。 tasks Array of Task objects 子任务。 表5 Task 参数 参数类型 描述 index Integer 任务序号。 name String 任务名称。 status String 任务状态。 detail String 任务详情。 created_at String 创建时间。 updated_at String 更新时间。
  • 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 获取Token ,请参考《 统一身份认证 服务API参考》的“获取用户Token”章节。 请求响应成功后在响应消息头中包含的“X-Subject-Token”的值即为Token值。 X-Enterprise-Project-ID 否 String 企业项目ID。 创建环境时,环境会绑定企业项目ID。 最大长度36字节,带“-”连字符的UUID格式,或者是字符串“0”。 该字段不传(或传为字符串“0”)时,则查询默认企业项目下的资源。 说明: 关于企业项目ID的获取及企业项目特性的详细信息,请参见《企业管理服务用户指南》。 X-Environment-ID 是 String 环境ID。 获取环境ID,通过《云应用引擎API参考》的“获取环境列表”章节获取环境信息。 请求响应成功后在响应体的items数组中的一个元素即为一个环境的信息,其中id字段即是环境ID。
  • 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 result String 操作结果,值固定为success 最小长度:7 最大长度:7 状态码: 400 表5 响应Body参数 参数 参数类型 描述 code String 状态码 最小长度:3 最大长度:3 error_code String 错误码 最小长度:12 最大长度:12 error_msg String 错误信息 最小长度:1 最大长度:65535 message String 错误详细信息 最小长度:1 最大长度:65535 状态码: 401 表6 响应Body参数 参数 参数类型 描述 code String 状态码 最小长度:3 最大长度:3 error_code String 错误码 最小长度:12 最大长度:12 error_msg String 错误信息 最小长度:1 最大长度:65535 message String 错误详细信息 最小长度:1 最大长度:65535 状态码: 500 表7 响应Body参数 参数 参数类型 描述 code String 状态码 最小长度:3 最大长度:3 error_code String 错误码 最小长度:12 最大长度:12 error_msg String 错误信息 最小长度:1 最大长度:65535 message String 错误详细信息 最小长度:1 最大长度:65535
  • 响应消息 响应参数 参数 参数类型 描述 job_id String 任务ID。 job_type String 任务类型。 imsCreateImageByInstance:云服务器制作镜像 imsImportImageJob:外部镜像文件创建镜像 imsImportOvaImageJob:外部Ova镜像文件创建镜像 imsVolumeCreateImageJob:数据盘制作数据盘镜像 imsImportDataImageJob:外部镜像文件制作数据盘镜像 imsCreateWholeImageByInstanceJob:云服务器制作整机镜像 imsCreateWholeImageByBackupJob:云备份或云服务器备份制作整机镜像 imsNativeImportImageJob:注册镜像 imsNativeExportImageJob:导出镜像 imsAddImageMembersJob:添加镜像成员 imsDelImageMembersJob:删除镜像成员 imsUpdateImageMembersJob:修改镜像成员 imsCopyImageInRegionJob:Region内复制镜像 imsCopyImageCrossUserJob:跨Region复制镜像 begin_time String 任务开始执行时间。格式为UTC时间。 end_time String 任务结束时间。格式为UTC时间。 status String 任务状态,目前取值如下: SUCCESS:表示该任务执行已经结束,任务执行成功。 FAIL:表示该任务执行已经结束,任务执行失败。 RUNNING:表示该任务正在执行。 INIT:表示该任务还未执行,正在初始化。 error_code String 错误码。 fail_reason String 失败原因。 entities Object 任务自定义属性。 任务正常时,返回镜像的ID;任务异常时,返回错误码和信息。 详情请参见表2。 表2 entities字段数据结构说明 参数 参数类型 描述 image_name String 镜像名称。 process_percent Double 任务执行进度。 current_task String 当前任务名称。 subJobId String 子任务ID。 image_id String 镜像ID。 sub_jobs_result Array of SubJobResult objects 子任务执行结果。详情请参见表3。 sub_jobs_list Array of string 子任务id列表。 表3 SubJobResult字段数据结构说明 参数 参数类型 描述 status String 子任务状态,取值如下: SUCCESS:表示该任务执行已经结束,任务执行成功。 FAIL:表示该任务执行已经结束,任务执行失败。 RUNNING:表示该任务正在执行。 INIT:表示该任务还未执行,正在初始化。 job_id String 子任务ID。 job_type String 子任务类型。 begin_time String 子任务开始执行时间。格式为UTC时间。 end_time String 子任务结束时间。格式为UTC时间。 error_code String 错误码。 fail_reason String 失败原因。 entities Object 子任务自定义属性。详情请参见表4 任务正常时,返回镜像的ID。 任务异常时,返回错误码和信息。 表4 SubJobEntities字段数据结构说明 参数 参数类型 描述 image_id String 镜像ID。 image_name String 镜像名称。 响应样例 STATUS CODE 200 { "job_id": "ff80808280c204e30180d2784c3c0d86", "job_type": "imsCopyImageInRegionJob", "begin_time": "2022-05-17T14:42:20.859Z", "end_time": "", "status": "RUNNING", "error_code": null, "fail_reason": null, "entities": { "image_name": "d0d2e701-dfc4-4520-9247-f92907f38eb0", "process_percent": 0.40, "current_task": "CopyImageInRegionTask:", "subJobId": "ff80808280ca6cd30180d278b9db0221", "image_id": "498cc67e-7795-482c-8c47-32bcece2d7ec" } }
  • 响应示例 状态码: 200 响应Body参数 { "job_id" : "26f6b565-xxxx-XXXX-xxxx-03f0bd975433", "status" : "success", "job_type" : "bind_ldap", "begin_time" : "2023-07-26 09:33:58", "end_time" : "2023-07-26 09:33:58" } 状态码: 400 客户端错误 { "errCode" : "SFS.TURBO.0001", "errMsg" : "parameter error" } 状态码: 404 资源不存在 { "errCode" : "SFS.TURBO.0001", "errMsg" : "parameter error" } 状态码: 500 内部错误 { "errCode" : "SFS.TURBO.0005", "errMsg" : "Internal server error" }
  • 响应参数 状态码: 200 表3 响应Header参数 参数 参数类型 描述 X-request-id String 请求ID 表4 响应Body参数 参数 参数类型 描述 status String job的状态。success:成功。running:运行中。failed:失败。waiting:等待执行 job_id String job的ID。 job_type String job的类型。 begin_time String job开始时间。UTC时间,格式:'2016-01-02 15:04:05' end_time String job结束时间。UTC时间,格式:'2016-01-02 15:04:05' error_code String job执行失败时的错误码 fail_reason String job执行失败时的错误原因 sub_jobs Array of GetSubJobDetail objects 子任务列表 表5 GetSubJobDetail 参数 参数类型 描述 status String 子job的状态。success:成功。running:运行中。failed:失败。waiting:等待执行。 job_id String job的ID。 job_type String 子job的类型。 begin_time String job开始时间。UTC时间,格式:'2016-01-02 15:04:05' end_time String job结束时间。UTC时间,格式:'2016-01-02 15:04:05' error_code String job执行失败时的错误码 fail_reason String job执行失败时的错误原因 状态码: 400 表6 响应Body参数 参数 参数类型 描述 errCode String 错误码 errMsg String 错误描述 状态码: 404 表7 响应Body参数 参数 参数类型 描述 errCode String 错误码 errMsg String 错误描述 状态码: 500 表8 响应Body参数 参数 参数类型 描述 errCode String 错误码 errMsg String 错误描述
  • 响应示例 状态码: 200 响应Body参数 { "job_id" : "26f6b565-xxxx-XXXX-xxxx-03f0bd975433", "status" : "success", "job_type" : "bind_ldap", "begin_time" : "2023-07-26 09:33:58", "end_time" : "2023-07-26 09:33:58" } 状态码: 400 客户端错误 { "errCode" : "SFS.TURBO.0001", "errMsg" : "parameter error" } 状态码: 404 资源不存在 { "errCode" : "SFS.TURBO.0001", "errMsg" : "parameter error" } 状态码: 500 内部错误 { "errCode" : "SFS.TURBO.0005", "errMsg" : "Internal server error" }