检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Project：用于将OpenStack的资源（计算资源、存储资源和网络资源）进行分组和隔离。Project可以是一个部门或者一个项目组。一个账户中可以创建多个Project。账户是租户对应的账号。一个Region有n个Project，但是一个Project只关联一个Region。不同项目中的DIS通道不可以相互连通。
种速度上限才会被限流），最高提取速度可达 10MB/秒，单次请求的记录总大小不能超过5MB（不包含partitionKey数据大小） 目前每个租户默认Partition配额范围为1～50个，租户可以根据需要配置Partition个数。 若需扩大配额，请提交工单增加配额，具体上限需要根据集群的实际负载情况进行计算。
https://iam.cn-north-4.myhuaweicloud.com/v3/auth/tokens 图1 URI示意图 为查看方便，在每个具体API的URI部分，只给出resource-path部分，并将请求方法写在一起。这是因为URI-scheme都是HTTPS，而Endpoint在同一
适用于不知道消费位置，但想从指定的时间或者从已知上次消费的停止时间开始消费的场景 若最老一条数据的上传时间为C，则timestamp>=c即可 若timestamp大于最新一条数据的时间戳或者是未来时间，则从最新一条数据之后开始读取。 样例代码 使用初始化DIS客户端初始化后的客户端实例通过DIS通道获取数据。
创建数据库 在Console页面上方菜单栏中单击“产品”，单击“大数据”分类中的“数据湖探索 DLI”。 创建demo数据库，在DLI控制台总览页面，选择“SQL作业”，单击“创建作业”，进入SQL作业编辑器。 在SQL作业编辑器左侧，选择“数据库”，单击创建数据库。 “de
功能介绍 该接口用于批量添加资源（通道等）标签。此接口为幂等接口：创建时如果请求体中存在重复key则报错。创建时，不允许设置重复key数据，如果数据库已存在该key，就覆盖value的值。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/stream
有的通道资源。 您可以在创建通道时添加标签，也可以在通道创建完成后，在通道的详情页添加标签，您最多可以给通道添加10个标签。 标签共由两部分组成：“标签键”和“标签值”，其中，“标签键”和“标签值”的命名规则如表1所示。 表1 标签命名规则 参数 规则 样例 标签键 不能为空。 对于同一个通道，标签键唯一。
转储任务”。 单击“添加转储任务”按钮，在弹出的“添加转储任务”页面配置转储相关配置项。具体参数解释请参见转储至OBS~~转储至MRS。 每个通道最多可创建5个转储任务。 单击“立即创建”。 在对应“任务名称”的操作列单击“更多 > 查看转储日志”，查看该通道的转储详情。转储参数说明如表1所示。
设置偏移量提交时间间隔 手动提交 在有些场景可能对消费偏移量有更精确的管理，以保证消息不被重复消费以及消息不被丢失。假设对拉取到的消息需要进行写入数据库处理，或者用于其他网络访问请求等等复杂的业务处理，在这种场景下，所有的业务处理完成后才认为消息被成功消费，此时必须手动控制偏移量的提交。使用手动提交相关参数设置如下：
单击“选择”，在“选择DWS集群”窗口选择一个集群。 此配置项仅支持选择，不可手动输入。 - DWS数据库 存储该通道数据的DWS数据库名称。 手动输入，不可配置为空。 - 数据库模式 一个数据库包含一个或多个命名的模式，模式又包含表。模式还包含其他命名的对象，包括数据类型、函数，以及操
设置偏移量提交时间间隔 手动提交 在有些场景可能对消费偏移量有更精确的管理，以保证消息不被重复消费以及消息不被丢失。假设对拉取到的消息需要进行写入数据库处理，或者用于其他网络访问请求等等复杂的业务处理，在这种场景下，所有的业务处理完成后才认为消息被成功消费，此时必须手动控制偏移量的提交。使用手动提交相关参数设置如下：
latest_offset Long 索引位置, 最新的一条索引位置。 earliest_offset Long 索引位置, 最早的一条索引位置。 checkpoint_type String Checkpoint类型。 LAST_READ：在数据库中只记录序列号。 枚举值： LAST_READ
{"data": "xxx","partition_id": partition_id} #可写入多条数据，数据格式如record1所示，每写一条数据使用下面的append方法传入records中。 配置好以上参数后，执行putRecords_sample.py文件调用putRecords_test方法，响应结果如下：
{"data": "xxx","partition_id": partition_id} #可写入多条数据，数据格式如record1所示，每写一条数据使用下面的append方法传入records中。 配置好以上参数后，执行protobuf_putRecords_sample.py文
通道的转储任务名称不可重复。任务名称由英文字母、数字、中划线和下划线组成。长度为1～64个字符。 - DLI数据库 单击“选择”，在“选择DLI数据库”窗口选择一个数据库。 此配置项仅支持选择，不可手动输入。 - DLI数据表 单击“选择”，在“选择DLI数据表”窗口选择一个数据
条数据超过25KB是按多条消息计算，不足25KB时，按单条消息计算。 说明： 只有DIS普通通道涉及此计费因子，高级通道不按消息数量收费，只根据使用分区时长计费。 分区时间 使用分区的时长，时长从创建DIS分区开始计入。普通通道和高级通道的分区使用时长计费标准不同。 普通通道分区使用时长计费详情请参见DIS分区计费。
参数最多包含10个key，每个key下面的value最多10个，结构体不能缺失，key不能为空或者空字符串。 tags_any 否 Array of Tags objects 返回结果包含该参数中任意一个标签对应的资源，该参数最多包含10个key，每个key下面的value最多1
dws_database_name 是 String 存储该通道数据的DWS数据库名称。 dws_schema 是 String 存储该通道数据的DWS数据库模式。 dws_table_name 是 String 存储该通道数据的DWS数据库模式下的数据表。 dws_delimiter 是 String
详情)接口获取，其sequenceNumberRange代表数据有效范围，第一个值为最老数据的sequenceNumber，最后一个值为下一条上传数据的sequenceNumber(最新数据的sequenceNumber为此值-1) 图3 下载数据 父主题： 管理通道
发自动扩容操作，扩容目标分区数=分区数/0.6，向上取整。 例如，有5个普通分区时，上传总带宽为5MB/秒。当上一分钟通道触发流控后、且通道上传流量达到4MB/秒以上时，触发自动扩容操作，目标分区数为5/0.6=8.3，向上取整后为9。 当通道上传流量和下载流量均小于30%时，触
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
