检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
partitionId可通过查询通道详情获取，需要先传入当前设置的通道名称。 配置好以上参数，执行getCheckpoint_sample.py文件调用getCheckpoint_test方法，响应结果如下： 1 2 3 4 { "sequence_number": "10",
户端实例。 配置参数如下： 1 streamname="XXX" #已存在的通道名 执行list_dump_task_sample.py文件默认调用list_dump_task_test方法，获取响应200查询成功。 响应示例如下： 1 2 200 {'total_number':
py中Dump_switch方法参数值。 stream_type=“FILE” #文件类型通道 配置createstream_sample.py中Dump_switch_FILE方法参数值。 配置好参数后，执行createstream_sample.py文件默认调用createStream_test方法，获取响应201创建成功。
配置参数如下： 1 start_stream_name = "" #可设置为空，或是已存在的通道名 执行listStream_sample.py文件默认调用listStream_test方法，获取响应200查询成功。 通道列表的返回信息示例如下： 1 2 200 {'stream_names':
add_dump_task(streamname, task_name,'OBS',obs_Schema) 配置好以上参数后，执行add_dump_task_sample.py文件默认调用add_dump_task_test方法，获取响应201创建成功。 父主题： 使用SDK（Python）
withDataEncryptEnabled(true) .withProperty("data.password", "xxx") //xxx替换为用户配置的数据加密密钥 // 以下配置失败时的重试次数 .withProperty(DISConfig.PROPERTY_PRODUCER_RECORDS_RETRIES
根据用户配置的时间，周期性的将数据导入OBS，若某个时间段内无数据，则此时间段不会生成打包文件。 单位：秒 最小值：30 最大值：900 缺省值：300 consumer_strategy 否 String 偏移量。 LATEST：最大偏移量，即获取最新的数据。 TRIM_HORIZON：最小偏移量，即读取最早的数据。
roup)，服务端此时会开始给此消费组中的消费者分配分区，此过程大约需要等待20s，完成之后消费者会发起同步请求(SyncGroup)获取分配结果，等日志中输出Heartbeat {"state":"STABLE"}的信息，表示整个消费组都完成分配，可以正常消费数据了。 此过程的关键日志说明如下
支持，但是参数名改为exception.retries Kafka默认设置为0，DIS默认设置为8。 出现网络/服务端异常的重试次数，尽量保证数据上传成功 其他参数 参数 不支持 - 父主题： 使用Kafka Adapter上传与下载数据
进行弹性伸缩分区后，有如下注意事项： 上传数据时，不建议设置数据的PartitionKey，DIS会自动根据通道分区的数量将数据均匀散列到多个分片中。如果设置数据的PartitionKey，可能会导致数据倾斜，产生通道限流。 下载数据时，需要定期的使用descriptStrea
Key)是用户调用接口的访问密钥。 您可以通过如下方式获取访问密钥。 登录控制台，在用户名下拉列表中选择“我的凭证”。 进入“我的凭证”页面，选择“访问密钥 > 新增访问密钥”，如图1所示。 图1 单击新增访问密钥 单击“确定”，根据浏览器提示，保存密钥文件。密钥文件会直接保存到浏览器
从分区最老的数据开始消费，即读取分区内所有有效数据。 例如分区数据有效范围为[100, 200], 则会从100开始消费。 适用于不知道消费位置，则直接消费分区内所有有效数据的场景。 无 LATEST 从分区最新的数据之后开始消费，即不读取分区内的已有数据，而是从下一条上传的数据开始。
BLOB：存储在数据库管理系统中的一组二进制数据。 JSON：一种开放的文件格式，以易读的文字为基础，用来传输由属性值或者序列性的值组成的数据对象。 CSV：纯文本形式存储的表格数据，分隔符默认采用逗号。 缺省值：BLOB。 枚举值： BLOB JSON CSV data_duration
读取通道数据时，如何区分不同类型数据？ 不同类型的消息使用不同的通道； 使用同一个通道的不同分区。上传消息时，不同类型的消息指定不同的partition_key，消费时根据partition_key来区分不同类型消息。 父主题： 转储相关问题
commitSync()是同步提交，会阻塞线程直到提交消费偏移量执行结果返回。 另外还可以精细的控制对具体分区具体offset数据的确认，确认的offset为已接受数据最大offset+1。例如消费一批数据，最后一条的offset为100，则此时需要commit 101，这样下次消费就会从101开始，不会重复。代码样例如下：
使用DIS Spark Streaming下载数据 DIS Spark Streaming概述 准备DIS Spark Streaming的相关环境 自定义SparkStreaming作业 父主题： 使用DIS
入门 DIS使用流程简介 步骤1：开通DIS通道 步骤2：准备DIS应用开发环境 步骤3：发送数据到DIS 步骤4：从DIS获取数据 获取认证信息 连接OBS 自动创建委托
在业务交互关系，数据接入服务的权限依赖其他服务的权限实现功能。因此给用户授予数据接入服务的权限时，需要同时授予依赖的权限，数据接入服务的权限才能生效。 表1 DIS系统权限 系统角色 策略类别 描述 依赖关系 DIS Administrator 系统角色 对数据接入服务的所有执行权限。
ADVANCED data_type String 源数据类型。 BLOB：存储在数据库管理系统中的一组二进制数据。 JSON：一种开放的文件格式，以易读的文字为基础，用来传输由属性值或者序列性的值组成的数据对象。 CSV：纯文本形式存储的表格数据，分隔符默认采用逗号。 缺省值：BLOB。 枚举值：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
