检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
限最小化的安全管控要求。 如表1所示,包括了DIS的所有系统权限。其中“依赖关系”表示该系统权限对其它权限的依赖。由于华为云各服务之间存在业务交互关系,数据接入服务的权限依赖其他服务的权限实现功能。因此给用户授予数据接入服务的权限时,需要同时授予依赖的权限,数据接入服务的权限才能生效。
),然后发起加入消费组的请求(JoinGroup),服务端此时会开始给此消费组中的消费者分配分区,此过程大约需要等待20s,完成之后消费者会发起同步请求(SyncGroup)获取分配结果,等日志中输出Heartbeat {"state":"STABLE"}的信息,表示整个消费组都完成分配,可以正常消费数据了。
),然后发起加入消费组的请求(JoinGroup),服务端此时会开始给此消费组中的消费者分配分区,此过程大约需要等待20s,完成之后消费者会发起同步请求(SyncGroup)获取分配结果,等日志中输出Heartbeat {"state":"STABLE"}的信息,表示整个消费组都完成分配,可以正常消费数据了。
区域。 资源的价格 不同区域的资源价格可能有差异,请参见华为云服务价格详情。 如何选择可用区? 是否将资源放在同一可用区内,主要取决于您对容灾能力和网络时延的要求。 如果您的应用需要较高的容灾能力,建议您将资源部署在同一区域的不同可用区内。 如果您的应用要求实例之间的网络延时较低,则建议您将资源创建在同一可用区内。
根据企业用户的职能,设置不同的访问权限,以达到用户之间的权限隔离。 将DIS资源委托给更专业、高效的其他华为云账号或者云服务,这些账号或者云服务可以根据权限进行代运维。 如果华为云账号已经能满足您的要求,不需要创建独立的IAM用户,您可以跳过本章节,不影响您使用DIS服务的其它功能。
附加请求头字段,如指定的URI和HTTP方法所要求的字段。例如定义消息体类型的请求头“Content-Type”,请求鉴权信息等。 详细的公共请求消息头字段请参见表3。 表3 公共请求消息头 名称 描述 是否必选 示例 Host 请求的服务器信息,从服务API的URL中获取。值为h
返回该状态码,表明客户端尝试创建的资源已经存在,或者由于冲突请求的更新操作不能被完成。 410 Gone 客户端请求的资源已经不存在。 返回该状态码,表明请求的资源已被永久删除。 411 Length Required 服务器无法处理客户端发送的不带Content-Length的请求信息。 412
择“通道管理”页签,单击已创建的通道名称,进入所选通道的管理页面。选择“源数据类型”后的“创建源数据Schema”进行创建,参见图2。 创建通道时,关闭“Schema开关”。待通道创建成功后,选择“通道管理”页签,单击已创建的通道名称,进入所选通道的管理页面。选择“转储任务”页签
适用于不知道消费位置,则丢弃分区已有的数据,从新上传的数据开始消费的场景。 无 AT_TIMESTAMP 指定一个时间戳,会从此时间戳上传的数据开始读取,要求在获取游标的时候,有一个明确的13位时间戳。 (例如指定1541742263206,表示读取从2018-11-09 13:44:23开始上传的数据) 适用于不
mber定义的序列号)所在的记录开始读取数据。此类型为默认游标类型。- AFTER_SEQUENCE_NUMBER:从特定序列号(即starting-sequence-number定义的序列号)后的记录开始读取数据。- TRIM_HORIZON:从最早被存储至分区的有效记录开始读
} else { fmt.Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 204 正常返回 错误码 请参见错误码。 父主题: Checkpoint管理
shardId-0000000002 sequence_number 是 String 需要提交的序列号,用来记录该通道的消费检查点,需要保证该序列号处于有效范围内。 metadata 否 String 用户消费程序端的元数据信息。 元数据信息的最大长度为1000个字符。 最大长度:1000 响应参数 无 请求示例
中X-Subject-Token的值)。 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 sequence_number String 序列号,用来记录该通道的消费检查点。 metadata String 用户消费程序端的元数据信息。 请求示例 查询Checkpoint详情
} else { fmt.Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 正常返回 错误码 请参见错误码。 父主题: 监控管理
sequence_number String 需要提交的序列号,用来记录该通道的消费检查点,需要保证该序列号处于有效范围内。 latest_offset Long 索引位置, 最新的一条索引位置。 earliest_offset Long 索引位置, 最早的一条索引位置。 checkpoint_type
String 需要上传的数据。 上传的数据为序列化之后的二进制数据(Base64编码后的字符串)。 比如需要上传字符串“data”,“data”经过Base64编码之后是“ZGF0YQ==”。 explicit_hash_key 否 String 用于明确数据需要写入分区的哈希值,此哈希
ProcessingSchema object 根据源数据的时间戳和已配置的"partition_format"生成对应的转储时间目录。将源数据的时间戳使用“yyyy/MM/dd/HH/mm”格式生成分区字符串,用来定义写到OBS的Object文件所在的目录层次结构。 record_delimiter
小文件功能下线,删除“创建源数据类型是FILE的通道”。 2019-07-03 第十九次正式发布: Java SDK不兼容原生Kafka客户端,删除“连接Kafka consumer”。 2019-05-14 第十八次正式发布: 支持使用SDK实现数据的加密上传下载,修改初始化DIS客户端。
用户数据的字段分隔符,根据此分隔符分隔用户数据插入DWS数据表的相应列。 取值范围:“,”、“;”和“|”三种字符中的一个。 user_name 是 String 存储该通道数据的DWS数据库的用户名。 user_password 是 String 存储该通道数据的DWS数据库的密码。 kms_user_key_name