检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
含义与kafka设置相同,但默认值为50(kafka是0),目的是提高Rest接口的上传效率 batch.size 参数 支持 含义与kafka设置相同,但默认值为1MB(kafka是16KB),目的是匹配流控的大小 buffer.memory 参数 支持 同kafka的默认设置(32MB)
含义与kafka设置相同,但默认值为50(kafka是0),目的是提高Rest接口的上传效率 batch.size 参数 支持 含义与kafka设置相同,但默认值为1MB(kafka是16KB),目的是匹配流控的大小 buffer.memory 参数 支持 同kafka的默认设置(32MB)
最小长度:1 最大长度:36 value String 值。 长度不超过43个字符。 字符集:A-Z,a-z , 0-9,‘.’,‘-’,‘_’,UNICODE字符(\u4E00-\u9FFF)。 只能包含数字、字母、中划线“-”、下划线“_”。 最小长度:0 最大长度:43 请求示例
该Checkpoint关联App名称。 checkpoint_type 是 String Checkpoint类型。 LAST_READ:在数据库中只记录序列号。 枚举值: LAST_READ 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token
obuf格式上传。 protobuf_putRecords_sample.py文件中的protobuf_putRecords_test方法中的records为需要上传的数据内容,数据上传格式如下: 1 2 3 4 records=[{"data": "abcdefd", "partition_id":
Linux服务器安装请参考如下步骤: 使用root用户,进入“/opt”目录。 cd /opt 创建目录“jre”。 mkdir -p jre 设置JDK安装目录的权限。 chmod -R 640 jre/ 将压缩包上传到“jre”目录下,执行如下命令解压JRE安装包。 tar -zxvf
说明 取值 任务名称 用户创建转储任务时,需要指定转储任务名称,同一通道的转储任务名称不可重复。任务名称由英文字母、数字、中划线和下划线组成。长度为1~64个字符。 - MRS集群 单击“选择”,在“选择集群”窗口选择一个MRS集群。仅支持转储至非Kerberos认证的MRS集群。 此配置项仅支持选择,不可手动输入。
rtingOffsets;另外一个参数enable.auto.commit,设置为true会自动每隔5000ms(可通过设置auto.commit.interval.ms修改)提交一次offset,设置为false则不自动提交,用户可以手动调用commitAsync提交,参见示例代码中如下部分
tion/json,有其他取值时会在具体接口中专门说明。 是 application/json Content-Length 请求body长度,单位为Byte。 否 3495 X-Project-Id project id,项目编号。请参考获取项目ID章节获取项目编号。 否 e9
数据接入服务通道正常运行。 已删除的通道,云监控将默认该通道不存在,并在监控列表中删除,不再对其进行监控,但告警规则需要用户手动清理。 已在云监控页面设置告警规则,具体操作请参见设置告警规则。 操作步骤 使用注册账户登录DIS控制台。 单击管理控制台左上角的,选择区域和项目。 在左侧列表栏中选择“通道管理”。
F)。 最小长度:1 最大长度:36 value 否 String 值。 长度不超过43个字符。 字符集:A-Z,a-z , 0-9,‘.’,‘-’,‘_’,UNICODE字符(\u4E00-\u9FFF)。 只能包含数字、字母、中划线“-”、下划线“_”。 最小长度:0 最大长度:43
1分钟 dis03_stream_put_records 总输入记录数 该指标用于统计指定时间范围内,通道上传记录数。 单位:Count/s。 ≥ 0 Count/s 通道 1分钟 dis04_stream_get_records 总输出记录数 该指标用于统计指定时间范围内,通道下载记录数。
消费组标识,同一个消费组下的不同客户端可以同时消费同一个通道 String groupId; 断点消费必须指定checkpoint或者按照如下设置自动打上消费点 。 disConfig.put(DisConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, "true");
F)。 最小长度:1 最大长度:36 value 否 String 值。 长度不超过43个字符。 字符集:A-Z,a-z , 0-9,‘.’,‘-’,‘_’,UNICODE字符(\u4E00-\u9FFF)。 只能包含数字、字母、中划线“-”、下划线“_”。 最小长度:0 最大长度:43
DIS部署时通过物理区域划分,为项目级服务,需要在各区域(如华北-北京1)对应的项目(cn-north-1)中设置相关权限,并且该权限仅对此项目生效,如果需要所有区域都生效,则需要在所有项目都设置权限。访问DIS时,需要先切换至授权区域。 角色:IAM最初提供的一种根据用户的工作职能定义权限的
云服务实现了在多地域部署基础设施,具备高度的可扩展性和可靠性,用户可根据自身需要指定地域使用DIS服务,由此获得更快的访问速度和实惠的服务价格。 DIS对数据传输所需要的基础设置、存储、网络和配置进行管理。您无需为数据通道担心配置、部署、持续的硬件维护等。此外,DIS还可在云区域同步复制数据,为您提供数据高可用性和数据持久性。
传了[N3行/N4文件]。 Agent: Progress: [N1 records (B1 bytes) / N2 files (B2 bytes)] parsed, and [N3 records / N4 files] sent successfully to destinations
partitionId="shardId-0000000000" streamname=”dis-test1“ #已存在的通道名 5种游标设置使用参考如下: # startSeq与AT_SEQUENCE_NUMBER/AFTER_SEQUENCE_NUMBER搭配使用 r = cli
不能为空。 对于同一资源键值唯一。 字符集:A-Z,a-z , 0-9,‘-’,‘_’,UNICODE字符(\u4E00-\u9FFF)。 最大长度:36 values Array of strings 标签值列表。 如果values为空列表,则表示any_value。value之间为或的关系。
partitionId="shardId-0000000000" #分区的唯一标识符 partitionId可通过查询通道详情获取,需要先传入当前设置的通道名称。 配置好以上参数,执行getCheckpoint_sample.py文件调用getCheckpoint_test方法,响应结果如下: