检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
evel配置的的值,则日志也不会输出。 OFF maxBufferAgeMillis 否 最长上传等待时间。单位:毫秒 记录队列满则立即上传。 记录队列未满,等待此配 置项配置的时间后上传。 5000 connectionTimeOutSeconds 否 连接DIS接口超时时间。
maxBufferAgeMillis 否 最长上传等待时间。 单位:毫秒 记录队列满则立即上传。 记录队列未满,等待此配置项配置的时间后上传到DIS服务。 5000 maxBufferSizeRecords 否 记录队列缓存的最大记录数,如果队列达到此值则立刻上传这批数据。 500 partitionKeyOption
bin/start-dis-agent.sh 如果需要启动多个DIS Agent进程,则新启的Agent进程需要通过-c指定配置文件以及-n参数指定名称。 bash bin/start-dis-agent.sh -c config/anotherAgent.yml -n anotherAgent
linger.ms 参数 支持 含义与kafka设置相同,但默认值为50(kafka是0),目的是提高Rest接口的上传效率 batch.size 参数 支持 含义与kafka设置相同,但默认值为1MB(kafka是16KB),目的是匹配流控的大小 buffer.memory 参数 支持 同kafka的默认设置(32MB)
linger.ms 参数 支持 含义与kafka设置相同,但默认值为50(kafka是0),目的是提高Rest接口的上传效率 batch.size 参数 支持 含义与kafka设置相同,但默认值为1MB(kafka是16KB),目的是匹配流控的大小 buffer.memory 参数 支持 同kafka的默认设置(32MB)
maxBufferAgeMillis 否 最长上传等待时间。 单位:毫秒 记录队列满则立即上传。 记录队列未满,等待此配置项配置的时间后上传到DIS服务。 5000 maxBufferSizeRecords 否 记录队列缓存的最大记录数,如果队列达到此值则立刻上传这批数据。 500 partitionKeyOption
r-tasks 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。 stream_name 是 String 已创建的通道名称。 最大长度:60 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token
ream_name} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。 stream_name 是 String 需要变更分区数量的通道名称。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 stream_name
表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。 stream_name 是 String 已创建的通道的名称。 task_name 是 String 待删除的转储任务名称。 请求参数 表2 请求Header参数 参数 是否必选 参数类型
下载数据之消费位移 消费位移确认有自动提交与手动提交两种策略,在创建DISKafkaConsumer对象时,通过参数enable.auto.commit设定,true表示自动提交(默认)。 自动提交策略由消费者协调器(Coordinator)每隔${auto.commit.interval
下载数据之消费位移 消费位移确认有自动提交与手动提交两种策略,在创建DISKafkaConsumer对象时,通过参数enable.auto.commit设定,true表示自动提交(默认)。 自动提交策略由消费者协调器(Coordinator)每隔${auto.commit.interval
URI GET /v2/{project_id}/cursors 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。 表2 Query参数 参数 是否必选 参数类型 描述 stream-name 是 String 已创建的通道名称。 partition-id
IS通道运行状况,从而起到预警作用。 设置DIS通道的告警规则包括设置告警规则名称、监控对象、监控指标、告警阈值、监控周期和是否发送通知等参数。本节介绍了设置DIS通道告警规则的具体方法。 操作步骤 登录管理控制台。 选择“管理与监管 > 云监控服务 CES”。 在云监控服务的左侧导航树栏,选择“告警
r-tasks 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。 stream_name 是 String 已创建的通道名称。 最大长度:60 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token
r-tasks 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。 stream_name 是 String 已创建的通道名称。 最大长度:60 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token
表3 参数说明 参数名 参数类型 说明 partition_key String 用户上传数据时设置的partition_key。 说明: 上传数据时,如果传了partition_key参数,则下载数据时可返回此参数。如果上传数据时,未传partition_key参数,而是传入
表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。 app_name 是 String 需要查询的App名称。 stream_name 是 String 需要查询的通道名称。 最大长度:60 表2 Query参数 参数 是否必选 参数类型
/v2/{project_id}/checkpoints 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。
GET /v2/{project_id}/checkpoints 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。 表2 Query参数 参数 是否必选 参数类型 描述 stream_name 是 String 该Checkpoint所属的通道名称。
static void main(String[] args) { // 认证用的ak和sk直接写到代码中有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全; // 本示例以ak和sk保存在环境变量中来实现