检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
格详情。 如何选择可用区? 是否将资源放在同一可用区内,主要取决于您对容灾能力和网络时延的要求。 如果您的应用需要较高的容灾能力,建议您将资源部署在同一区域的不同可用区内。 如果您的应用要求实例之间的网络延时较低,则建议您将资源创建在同一可用区内。 区域和终端节点 当您通过API
Acceptable 服务器无法根据客户端请求的内容特性完成请求。 407 Proxy Authentication Required 请求要求代理的身份认证,与401类似,但请求者应当使用代理进行授权。 408 Request Time-out 服务器等候请求时发生超时。 客户端
{URI-scheme}://{Endpoint}/{resource-path}?{query-string} 尽管请求URI包含在请求消息头中,但大多数语言或框架都要求您从请求消息中单独传递它,所以在此单独强调。 表1 URI中的参数说明 参数 描述 URI-scheme 表示用于传输请求的协议,当前所有API均采用HTTPS协议。
务依赖关系,因此给用户授予角色时,可能需要一并授予依赖的其他角色,才能正确完成业务。角色并不能满足用户对精细化授权的要求,无法完全达到企业对权限最小化的安全管控要求。 如表1所示,包括了DIS的所有系统权限。其中“依赖关系”表示该系统权限对其它权限的依赖。由于华为云各服务之间存在
隔离。 将DIS资源委托给更专业、高效的其他华为云账号或者云服务,这些账号或者云服务可以根据权限进行代运维。 如果华为云账号已经能满足您的要求,不需要创建独立的IAM用户,您可以跳过本章节,不影响您使用DIS服务的其它功能。 本章节为您介绍对用户授权的方法,操作流程如图1所示。 前提条件
修订记录 发布日期 修订说明 2019-12-11 第二十四次正式发布: 增加dis-kafka-adapter,增加使用Kafka Adapter上传与下载数据。 2019-10-08 第二十三次正式发布: 优化Java和Python SDK。 2019-07-08 第二十次正式发布:
提交Checkpoint 功能介绍 本接口用于提交Checkpoint。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/checkpoints 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。
查询分区监控 功能介绍 本接口用于查询通道指定分区的监控数据。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/streams/{stream_name}/partitions/{partition_id}/metrics 表1 路径参数 参数
添加DWS转储任务 功能介绍 本接口用于添加DWS转储任务。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/streams/{stream_name}/transfer-tasks 表1 路径参数 参数 是否必选 参数类型 描述 project_id
数据下载的消费模式 同Kafka类似,当前dis kafka adapter支持三种消费模式。 assign模式 由用户手动指定consumer实例消费哪些具体分区,此时不会拥有group management机制,也就是当group内消费者数量变化或者通道扩缩容的时候不会有重新分配分区的行为发生。代码样例如下所示:
查询Checkpoint详情 功能介绍 本接口用于查询Checkpoint详情。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/checkpoints 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。
数据下载的消费模式 同Kafka类似,当前dis kafka adapter支持三种消费模式。 assign模式 由用户手动指定consumer实例消费哪些具体分区,此时不会拥有group management机制,也就是当group内消费者数量变化或者通道扩缩容的时候不会有重新分配分区的行为发生。代码样例如下所示:
上传数据 功能介绍 本接口用于上传数据到DIS通道中。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/records 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。 请求参数 表2 请求Header参数
管理源数据Schema 源数据Schema,即用户的JSON或CSV数据样例,用于描述JSON或CSV数据格式。DIS可以根据此JSON或CSV数据样例生成Avro schema, 将通道内上传的JSON或CSV数据转换为Parquet或CarbonData格式。 创建源数据Schema有如下三个入口:
适用于不知道消费位置,则丢弃分区已有的数据,从新上传的数据开始消费的场景。 无 AT_TIMESTAMP 指定一个时间戳,会从此时间戳上传的数据开始读取,要求在获取游标的时候,有一个明确的13位时间戳。 (例如指定1541742263206,表示读取从2018-11-09 13:44:23开始上传的数据)
查询转储任务详情 功能介绍 查询转储任务详情。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/streams/{stream_name}/transfer-tasks/{task_name} 表1 路径参数 参数 是否必选 参数类型 描述 project_id
删除Checkpoint 功能介绍 本接口用于删除Checkpoint。 调用方法 请参见如何调用API。 URI DELETE /v2/{project_id}/checkpoints 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。
查看App消费状态 功能介绍 本接口用于查询APP消费状态。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/apps/{app_name}/streams/{stream_name} 表1 路径参数 参数 是否必选 参数类型 描述 project_id
获取数据游标 功能介绍 本接口用于获取数据游标。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/cursors 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。 表2 Query参数 参数 是否必选