检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
cursor type. %s 获取数据游标时，传入的游标类型cursor-type不合法 请参考API文档检查cursor-type字段的范围并修正。 400 DIS.4216 Invalid sequence_number. %s 获取数据游标时，传入的序列号starting-sequence-number不合法
partition_id String 分区的唯一标识符。 hash_range String 分区的可能哈希键值范围。 sequence_number_range String 分区的序列号范围。 parent_partitions String 父分区。 表6 CSVProperties 参数
含“Tenant Administrator”。如果已经创建过委托，可以使用IAM服务提供的查询委托列表接口，获取有效可用的委托名称。取值范围：长度不超过64位，且不可配置为空。如果有在Console控制台使用转储任务，会提示自动创建委托，自动创建的委托名称为：dis_admin_agency
mber为99；如超过生命周期之后，0~99的数据则不可用) 分区的数据有效范围可以通过调用describeStream(查询通道详情)接口获取，其sequenceNumberRange代表数据有效范围，第一个值为最老数据的sequenceNumber，最后一个值为下一条上传数据
数据转储周期 根据用户配置的时间，周期性的将数据导入目的地（OBS，MRS，DLI，DWS），若某个时间段内无数据，则此时间段不会生成打包文件。 取值范围：30～900。 单位：秒。 默认配置为300秒。 - 数据临时桶 用户数据先临时存储在OBS桶中，再转储到指定的转储服务，转储完成后临时桶中的数据会被清除。
以提升效率。 源数据类型：BLOB、JSON、CSV。 生命周期（小时）：存储在DIS中的数据保留的最长时间，超过此时长数据将被清除。取值范围：24~72的整数。单位：小时。 创建时间：显示通道创建的时间。格式为：yyyy/MM/dd HH:mm:ss GMT。其中，yyyy表示
listStreams(listStreamsRequest))); 表1 请求参数说明 参数名 类型 说明 limit long 单次请求返回通道列表的最大数量。 取值范围：1~100。 默认值：10。 exclusiveStartStreamName string 从该通道开始返回通道列表，返回的通道列表不包括此通道名称。
shardId-0000000002 sequence_number 是 String 需要提交的序列号，用来记录该通道的消费检查点，需要保证该序列号处于有效范围内。 metadata 否 String 用户消费程序端的元数据信息。 元数据信息的最大长度为1000个字符。 最大长度：1000 响应参数
Invalid cursor type. 获取数据游标时，传入的游标类型cursor-type不合法 请参考API文档检查cursor-type字段的范围并修正。 400 DIS.4216 Invalid sequence_number. 获取数据游标时，传入的序列号starting-sequence-number不合法
Query参数 参数 是否必选 参数类型 描述 partition-cursor 是 String 数据游标，需要先通过获取数据游标的接口获取。 取值范围：1~512个字符。 说明： 数据游标有效期为5分钟。 max_fetch_bytes 否 Integer 每个请求获取记录的最大字节数。
explicit_hash_key 否 String 用于明确数据需要写入分区的哈希值，此哈希值将覆盖“partition_key”的哈希值。 取值范围：0~long.max partition_id 否 String 通道的分区标识符。可定义为如下两种样式：- shardId-0000000000-
采用逗号。 缺省值：BLOB。 枚举值： BLOB JSON CSV data_duration 否 Integer 数据保留时长。 取值范围：24~72。 单位：小时。 空表示使用缺省值。 缺省值：24 auto_scale_enabled 否 Boolean 是否开启自动扩缩容。
shardId-0000000002 sequence_number String 需要提交的序列号，用来记录该通道的消费检查点，需要保证该序列号处于有效范围内。 latest_offset Long 索引位置, 最新的一条索引位置。 earliest_offset Long 索引位置, 最早的一条索引位置。
号分隔，记录携带所属的文件名并均匀分布在所有分区。 RANDOM_INT recordDelimiter 否 每条记录之间的分隔符。 取值范围：任意一个字符，且包含在双引号内。 取值不可为空，即该配置项不可配置为“”。 说明： 如果取值为特殊字符，使用反斜杠（\）转义，如分隔符为
stream_name 是 String 待更新的通道名称。 最大长度：64 data_duration 否 Integer 数据保留时长。 取值范围：24~72。 单位：小时。 空表示使用缺省值。 缺省值：24 data_type 否 String 源数据类型。 BLOB：存储在数据库管理系统中的一组二进制数据。
单击“使用计算值”将系统计算出的建议值应用于“分区数量”。 - 生命周期（小时） 存储在DIS中的数据保留的最长时间，超过此时长数据将被清除。 取值范围：24~72的整数。 24 源数据类型 BLOB：存储在数据库管理系统中的一组二进制数据。“源数据类型”选择“BLOB”，则支持的“转储服务类型”为“OBS”、“MRS”。
单击“使用计算值”将系统计算出的建议值应用于“分区数量”。 - 生命周期（小时） 存储在DIS中的数据保留的最长时间，超过此时长数据将被清除。 取值范围：24~72的整数。 24 源数据类型 BLOB：存储在数据库管理系统中的一组二进制数据。“源数据类型”选择“BLOB”，则支持的“转储服务类型”为“OBS”、“MRS”。
单击“使用计算值”将系统计算出的建议值应用于“分区数量”。 - 生命周期（小时） 存储在DIS中的数据保留的最长时间，超过此时长数据将被清除。 取值范围：24~72的整数。 24 源数据类型 BLOB：存储在数据库管理系统中的一组二进制数据。“源数据类型”选择“BLOB”，则支持的“转储服务类型”为“OBS”、“MRS”。
自定义SparkStreaming作业 获取DIS Spark Streaming Demo 这里获取“dis-spark-streaming-X.X.X.zip”压缩包。解压“dis-spark-streaming-X.X.X.zip”压缩包，解压之后获得以下目录： “dis-
安装前准备 检查依赖 服务器类型。 Linux x86-64（64位）服务器，常见的有EulerOS、Ubuntu、Debian、CentOS、OpenSUSE等。 Windows 7及以上版本。 已安装1.8.0及以上版本的Java。 请参见JRE地址下载JRE。 Linux服务器安装请参考如下步骤：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
