检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
SendRecordsRequest request = new SendRecordsRequest(); PutRecordsRequest body = new PutRecordsRequest(); List<PutRecordsRequestEntry>
#分区的唯一标识符。 seqNumber="0" #序列号 metadata="" #用户消费程序端的元数据信息,元数据信息的最大长度为1000个字符 partitionId可通过查询通道详情获取,需要先传入当前设置的通道名称。 配置好以上参数,执行commitCheckpoint_sample
取值范围:英文字母、数字、下划线和斜杠,最大长度为50个字符。 默认配置为空。 hdfs_prefix_folder 否 String 在MRS集群HDFS中存储通道文件的自定义目录,多级目录可用"/"进行分隔。 取值范围:0~50个字符。 默认配置为空。 obs_bucket_path
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
划线组成。长度为1~64个字符。 - 数据转储地址 存储该通道数据的OBS桶名称。桶名称在“对象存储服务”中“创建桶”时创建。 - 转储文件目录 在OBS中存储通道文件的自定义目录,多级目录可用“/”进行分隔,不能以“/”开头。 取值范围:0~50个字符。 默认配置为空。 - 时间目录格式
withProperty("data.password", "xxx") //xxx替换为用户配置的数据加密密钥 // 以下配置失败时的重试次数 .withProperty(DISConfig.PROPERTY_PRODUCER_RECORDS_RETRIES, "-1") .withProperty(DISConfig
任务名称 用户创建转储任务时,需要指定转储任务名称,同一通道的转储任务名称不可重复。任务名称由英文字母、数字、中划线和下划线组成。长度为1~64个字符。 - MRS集群 单击“选择”,在“选择集群”窗口选择一个MRS集群。仅支持转储至非Kerberos认证的MRS集群。 此配置项仅支持选择,不可手动输入。
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
订阅名称 设置订阅事件的名称。 名称只能包含大写字母、小写字母、数字、-和_,且必须由大写字母、小写字母或数字开头。 名称长度为1~64字符。 订阅通道 设置是否开启订阅指定通道的告警功能。 表示开启订阅指定通道告警功能,表示关闭订阅指定通道告警功能,默认为关闭状态。 开启后,
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
streamname="dis-test1"| #已存在的通道名 putRecords_sample.py文件中的putRecords_test方法中的records为需要上传的数据内容,数据上传格式如下: 1 2 3 4 records=[{"data": "abcdefd", "partition_id":
位置,LATEST表示从最新的数据开始读取;EARLIEST表示从最旧的数据开始读取;如果要指定每个分区的精确起始位置,则可以写为json字符串,例如{"0":23,"1":-1,"2":-2}表示第0分区起始位置是23,第1分区从最新数据的位置开始,第2分区从最老数据的位置开始
基本信息 通道名称 用户发送或者接收数据时,需要指定通道名称,通道名称不可重复。通道名称由英文字母、数字、中划线和下划线组成。长度为1~64个字符。 dis-Tido 通道类型 普通通道单分区容量:最高发送速度可达1MB/秒或1000条记录/秒(达到任意一种速度上限才会被限流),最高提取速度可达
https://dis.cn-north-1.myhuaweicloud.com group_id 是 DIS App名称,用于标识一个消费组,值可以为任意字符串 请根据实际情况配置 auto_offset_reset 否 指定数据从通道中开始消费的位置,支持: earliest:从通道中最早的数据开始消费
基本信息 通道名称 用户发送或者接收数据时,需要指定通道名称,通道名称不可重复。通道名称由英文字母、数字、中划线和下划线组成。长度为1~64个字符。 dis-Tido 通道类型 普通通道单分区容量:最高发送速度可达1MB/秒或1000条记录/秒(达到任意一种速度上限才会被限流),最高提取速度可达
基本信息 通道名称 用户发送或者接收数据时,需要指定通道名称,通道名称不可重复。通道名称由英文字母、数字、中划线和下划线组成。长度为1~64个字符。 dis-Tido 通道类型 普通通道单分区容量:最高发送速度可达1MB/秒或1000条记录/秒(达到任意一种速度上限才会被限流),最高提取速度可达
ConsumerRecords<String, String> records = consumer.poll(Long.MAX_VALUE); if (!records.isEmpty()) { for (TopicPartition partition : records.partitions())
ConsumerRecords<String, String> records = consumer.poll(Long.MAX_VALUE); if (!records.isEmpty()) { for (TopicPartition partition : records.partitions())