检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
自动传输到您选择的目标。 使用注册账户登录DIS控制台。 单击管理控制台左上角的，选择区域和项目。 在左侧列表栏中选择通道管理。 单击需要查看的通道名称，进入所选通道的管理页面，选择“转储管理”页签。也可选中待查看通道名称对应操作列，选择“更多”下拉列表中的“查看转储任务”。 单
选择2.11版本的即可。 在pom.xml上单击右键，选择“Maven > Reimport”，重新引入maven依赖库。 此时IDEA打开的DISSparkStreamingExample文件内没有错误即表示开发环境配置成功，此文件的逻辑是读取DIS通道中的数据并统计每个单词出现次数。
数据块是您的数据生产者添加到数据通道的重要数据。数据块的最大尺寸（Base64编码前的数据有效载荷）是1MB。 序列号：序列号是每个记录的唯一标识符。序列号由DIS在数据生产者调用PutRecord操作以添加数据到DIS数据通道时DIS服务自动分配的。同一分区键的序列号通常会随
用此配置的策略；如果存在有效的Checkpoint，则会从此Checkpoint开始继续消费 // 取值有： LATEST 从最新的数据开始消费，此策略会忽略通道中已有数据 // EARLIEST 从最老的数据开始消费，此策略会获取通道中所有的有效数据
单击管理控制台左上角的，选择区域和项目。 在左侧列表栏中选择“通道管理”。 单击需要查看监控信息的通道名称。进入监控页面。 在“通道监控”页签内单击“查看更多指标详情”，系统跳转至云监控服务的监控指标页面。 在监控页面，可查看所有监控指标的小图。 图1 查看监控指标 单击小图右上角的，可进入大图模式查看。
查询Checkpoint 参考初始化DIS客户端的操作初始化一个DIS客户端实例，实例名称为dic。 其中，“streamName”的配置值要与开通DIS通道中“通道名称”的值一致，“endpoint”，“ak”，“sk”，“region”，“projectId”信息请参见获取认证信息。
用户数据的字段分隔符，根据此分隔符分隔用户数据插入DWS数据表的相应列。 取值范围：“，”、“；”和“|”三种字符中的一个。 user_name 是 String 存储该通道数据的DWS数据库的用户名。 user_password 是 String 存储该通道数据的DWS数据库的密码。 kms_user_key_name
查询第一页数据时，不需要传入此参数，查询后续页码数据时，将查询前一页数据时响应体中的值带入此参数(action为count时无此参数)如果action为filter默认为0，必须为数字，不能为负数 tags 否 Array of Tags objects 返回结果包含该参数中所有标签对应的资源，该参数最
参数类型 描述 stream_name 是 String 需要变更分区数量的通道名称。 最大长度：64 target_partition_count 是 Integer 变更的目标分区数量。 取值为大于0的整数。 设置的值大于当前分区数量表示扩容，小于当前分区数量表示缩容。 注意： 每个
000000" #分区的唯一标识符 partitionId可通过查询通道详情获取，需要先传入当前设置的通道名称。 配置好以上参数，执行getCheckpoint_sample.py文件调用getCheckpoint_test方法，响应结果如下： 1 2 3 4 { "sequence_number":
String 在统一身份认证服务(IAM)中创建委托的名称，DIS需要获取IAM委托信息去访问您指定的资源。创建委托的参数设置如下：- 委托类型：云服务- 云服务：DIS- 持续时间：永久- “所属区域”为“全局服务”，“项目”为“对象存储服务”对应的“策略”包含“Tenant Admi
String 在统一身份认证服务(IAM)中创建委托的名称，DIS需要获取IAM委托信息去访问您指定的资源。创建委托的参数设置如下：- 委托类型：云服务- 云服务：DIS- 持续时间：永久- “所属区域”为“全局服务”，“项目”为“对象存储服务”对应的“策略”包含“Tenant Admi
功能介绍 该接口用于批量添加资源（通道等）标签。此接口为幂等接口：创建时如果请求体中存在重复key则报错。创建时，不允许设置重复key数据，如果数据库已存在该key，就覆盖value的值。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/strea
在有些场景可能对消费偏移量有更精确的管理，以保证消息不被重复消费以及消息不被丢失。假设对拉取到的消息需要进行写入数据库处理，或者用于其他网络访问请求等等复杂的业务处理，在这种场景下，所有的业务处理完成后才认为消息被成功消费，此时必须手动控制偏移量的提交。使用手动提交相关参数设置如下：
获取项目ID和账号ID 项目ID表示租户的资源，账号ID对应当前账号，IAM用户ID对应当前用户。用户可在对应页面下查看不同Region对应的项目ID、账号ID和用户ID。 注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。 在“API凭证”页面，查看账号名和账号ID、IAM用户
在OBS查看上传文件 登录对象存储服务管理控制台。 在左侧导航栏选择“桶列表”页签。 在右侧表格中，“桶名称”列单击对应的桶名称，即申请DIS通道中配置的“桶名称”。 在弹出的桶页面中单击左侧导航栏“对象”页签，查看已上传的文件。 创建数据库 在Console页面上方菜单栏中单击“
支持用户自己加密AK以保证安全，也可以使用明文的AK，如若需要对AK加密，请查看表格下关于AK/SK加密的使用说明。 获取方式请参见检查认证信息。 请根据实际情况配置 SK 是 用户的Secret Key。 说明： 支持用户自己加密SK以保证安全，也可以使用明文的SK，如若需要对SK加密，请查看表格下关于AK/SK加密的使用说明。
在有些场景可能对消费偏移量有更精确的管理，以保证消息不被重复消费以及消息不被丢失。假设对拉取到的消息需要进行写入数据库处理，或者用于其他网络访问请求等等复杂的业务处理，在这种场景下，所有的业务处理完成后才认为消息被成功消费，此时必须手动控制偏移量的提交。使用手动提交相关参数设置如下：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
