检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
是否必选 参数类型 描述 project_id 是 String 项目ID。 stream_name 是 String 需要变更分区数量的通道名称。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 stream_name 是 String 待更新的通道名称。 最大长度：64
管理源数据Schema 源数据Schema，即用户的JSON或CSV数据样例，用于描述JSON或CSV数据格式。DIS可以根据此JSON或CSV数据样例生成Avro schema, 将通道内上传的JSON或CSV数据转换为Parquet或CarbonData格式。 创建源数据Schema有如下三个入口：
才会被限流），最高提取速度可达 10MB/秒，单次请求的记录总大小不能超过5MB（不包含partitionKey数据大小） 分区数量：分区是DIS数据通道的基本吞吐量单位。通道的多个分区可以并发进行数据传输，以提升效率。 源数据类型：BLOB、JSON、CSV。 生命周期（小时）
）、事件级别（例如：正常或警告）和事件源类型（例如：通道或转储任务）。 支持的事件类别和事件 事件是租户通道状态发生变化的记录。它可以是由用户操作触发的（比如审计事件），也有可能是通道状态变化引起的（比如转储任务异常或转储任务恢复）。以下为当前DIS支持的事件和事件类别列表。 下表显示了事件源类型为通道的事件。
订阅事件通知 用户通过订阅DIS的事件通知，这样便能在特定通道或转储任务发生管理、监控或安全事件时收到通知消息。 创建订阅 使用注册账户登录DIS控制台。 单击“事件管理”。 在“事件管理”页面中单击“订阅 > 创建订阅”。 在“订阅设置”区域，设置订阅基本信息及事件过滤。 “订
table_blocksize：表的block大小，取值范围是1~2048MB，默认值是1024MB。 table_blocklet_size：文件内的Blocklet大小，默认值是64MB。 local_dictionary_enable：配置为true或者false，默认值是false。 sort_col
table_blocksize：表的block大小，取值范围是1~2048MB，默认值是1024MB。 table_blocklet_size：文件内的Blocklet大小，默认值是64MB。 local_dictionary_enable：配置为true或者false，默认值是false。 sort_col
步骤4：从DIS获取数据 功能简介 从DIS服务中下载数据。 样例代码 样例工程为DIS SDK桶中下载的“huaweicloud-sdk-dis-java-X.X.X.zip”压缩包中“\dis-sdk-demo\src\main\java\com\bigdata\dis\sd
使用SDK（Java） 准备环境 配置样例工程 初始化DIS客户端 创建通道 添加转储任务 更新转储任务 删除转储任务 查询转储列表 查询转储详情 删除通道 查询通道列表 查询通道详情 下载流式数据 上传流式数据 获取数据游标 创建APP 删除APP 新增Checkpoint 查询Checkpoint
单次请求返回的最大分区数。最小值是1，最大值是1000；默认值是100。 最小值：1 最大值：1000 缺省值：100 start_partition_id 否 String 从该分区值开始返回分区列表，返回的分区列表不包括此分区。 checkpoint_type 是 String Checkpoint类型。
interval.ms}毫秒执行一次偏移量的提交；手动提交需要由客户端自己控制偏移量的提交。 自动提交 在创建一个消费者时，默认是自动提交偏移量，默认的提交间隔是5000ms。使用自动提交相关参数设置如下： props.setProperty("enable.auto.commit",
interval.ms}毫秒执行一次偏移量的提交；手动提交需要由客户端自己控制偏移量的提交。 自动提交 在创建一个消费者时，默认是自动提交偏移量，默认的提交间隔是5000ms。使用自动提交相关参数设置如下： props.setProperty("enable.auto.commit",
准备环境 已安装python2.7或以上版本，配置好python环境变量。 已安装pycharm。 父主题： 使用SDK（Python）
使用Kafka Adapter上传与下载数据 Kafka Adapter概述 准备环境 上传数据 数据下载的消费模式 下载数据之消费位移 与原生KafkaConsumer接口适配说明 父主题： 使用DIS
参数类型 描述 project_id 是 String 项目ID。 stream_name 是 String 已创建的通道名称。 最大长度：60 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 通过
终端节点 终端节点（Endpoint）即调用API的请求地址，不同服务不同区域的终端节点不同。 DIS的终端节点Endpoint构造规则为dis.{region_id}.{域名}，您可以从地区和终端节点获取区域和终端节点信息。 父主题： 使用前必读
cs 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。 stream_name 是 String 通道名称。 最大长度：60 partition_id 是 String 分区编号。可定义为如下两种样式：- shardId-0000000000-
步骤3：发送数据到DIS 功能简介 将用户本地数据通过DIS通道不断上传至DIS服务。 目前数据支持存储至DIS和对象存储服务（Object Storage Service，简称OBS）MapReduce服务（MapReduce Service,简称MRS）、数据仓库服务（Data
参数类型 描述 project_id 是 String 项目ID。 stream_name 是 String 需要添加授权策略的通道名称。 最大长度：64 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
