检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
/v2/{project_id}/checkpoints 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。
在“订阅设置”区域,设置订阅基本信息及事件过滤。 “订阅事件”区域显示系统根据订阅设置筛选出的事件。 表1 订阅参数 参数名 参数解释 启用消息通知 设置是否开启事件订阅。 表示开启事件订阅,表示关闭事件订阅,默认为关闭状态。关闭后停止发送已订阅事件的通知消息,不会删除该订阅。 订阅名称 设置订阅事件的名称。
GET /v2/{project_id}/checkpoints 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。 表2 Query参数 参数 是否必选 参数类型 描述 stream_name 是 String 该Checkpoint所属的通道名称。
shardId-0000000002 表2 Query参数 参数 是否必选 参数类型 描述 label 否 String 分区监控指标。(label与label_list必须二选一,label_list与label同时存在时,以label_list为准) total_put_byte
URI GET /v2/{project_id}/streams 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。 表2 Query参数 参数 是否必选 参数类型 描述 limit 否 Integer 单次请求返回通道列表的最大数量。
name}/metrics 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。 stream_name 是 String 通道名称。 最大长度:60 表2 Query参数 参数 是否必选 参数类型 描述 label 否 String
ream_name} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。 stream_name 是 String 需要查询的通道名称。 最大长度:60 表2 Query参数 参数 是否必选 参数类型 描述 start_partitionId
设置偏移量提交时间间隔 手动提交 在有些场景可能对消费偏移量有更精确的管理,以保证消息不被重复消费以及消息不被丢失。假设对拉取到的消息需要进行写入数据库处理,或者用于其他网络访问请求等等复杂的业务处理,在这种场景下,所有的业务处理完成后才认为消息被成功消费,此时必须手动控制偏移量的提交。使用手动提交相关参数设置如下:
设置偏移量提交时间间隔 手动提交 在有些场景可能对消费偏移量有更精确的管理,以保证消息不被重复消费以及消息不被丢失。假设对拉取到的消息需要进行写入数据库处理,或者用于其他网络访问请求等等复杂的业务处理,在这种场景下,所有的业务处理完成后才认为消息被成功消费,此时必须手动控制偏移量的提交。使用手动提交相关参数设置如下:
rRequest(); descriptor.setTransferTaskName(taskName); // 配置DLI相关信息:数据库和内表名称。可通过数据湖探索(简称DLI)控制台创建和查询,DLI表需为内表 descriptor.setDliDatabaseName("dis_dli");
配置参数如下: 1 2 3 4 5 streamname = "" #通道名称 appName="xx" # APP名称(APP是已存在状态) partitionId="shardId-0000000000" #分区的唯一标识符。 seqNumber="0" #序列号
单击“重置”,可删除所有节点。 单击“提交”,源数据Schema创建成功。 修改源数据Schema 已创建了源数据Schema的通道,若该通道下存在转储任务,则不允许修改已有的源数据Schema。 使用注册账户登录DIS控制台。 单击管理控制台左上角的,选择区域。 在左侧列表栏中选择通道管理。
Json格式上传流式数据 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下: 1 streamname="dis-test1"| #已存在的通道名 putRecords_sample.py文件中的putRecords_test方法中的records为需要上传的数据内容,数据上传格式如下:
角色:IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。该机制以服务为粒度,提供有限的服务相关角色用于授权。由于华为云各服务之间存在业务依赖关系,因此给用户授予角色时,可能需要一并授予依赖的其他角色,才能正确完成业务。角色并不能满足用户对精细化授权的要求,无法完全达到企业对权限最小化的安全管控要求。
配置参数如下: partitionId="shardId-0000000000" streamname=”dis-test1“ #已存在的通道名 5种游标设置使用参考如下: # startSeq与AT_SEQUENCE_NUMBER/AFTER_SEQUENCE_NUMBER搭配使用
eam_name} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。 stream_name 是 String 需要变更分区数量的通道名称。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 stream_name
region='',bodySerializeType='protobuf') 配置参数如下: 1 streamname="dis-test1" #已存在的通道名 参照该文件中的test方法,bodySerializeType="protobuf"选取protobuf格式上传。 proto
streamName; // 消费策略,只有当分区没有Checkpoint或者Checkpoint过期时,才会使用此配置的策略;如果存在有效的Checkpoint,则会从此Checkpoint开始继续消费 // 取值有: LATEST 从最新的数据开始消费,此策略会忽略通道中已有数据
删除通道 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下: 1 streamname = "" #已存在的通道名称 配置好以上参数后,执行deleteStream_sample.py文件默认调用deleteStream_test方法,获取响应204删除成功。
删除转储任务 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下: 1 2 streamname = "" #已存在的通道名称 task_name="xx" task_name配置为特定的转储任务名称,则删除通道下的该转储任务。 配置好以上参数后,执行del