检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
下载数据之消费位移 消费位移确认有自动提交与手动提交两种策略,在创建DISKafkaConsumer对象时,通过参数enable.auto.commit设定,true表示自动提交(默认)。 自动提交策略由消费者协调器(Coordinator)每隔${auto.commit.interval
下载数据之消费位移 消费位移确认有自动提交与手动提交两种策略,在创建DISKafkaConsumer对象时,通过参数enable.auto.commit设定,true表示自动提交(默认)。 自动提交策略由消费者协调器(Coordinator)每隔${auto.commit.interval
授权操作类型。 putRecords:上传数据。 getRecords:下载数据。 枚举值: putRecords getRecords effect String 授权影响类型。 accept:允许该授权操作。 枚举值: accept 请求示例 查询权限策略列表 GET https:/
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
AM委托授权DIS服务去访问用户的OBS、MRS、DWS或DLI资源。 使用账号首次进入界面添加转储任务时,系统会自动弹出创建委托界面。 单击 “同意授权”则平台会自动创建委托。 委托授权成功后,隶属于该账号下的IAM子用户也可添加转储任务。
AM委托授权DIS服务去访问用户的OBS、MRS、DWS或DLI资源。 使用账号首次进入界面添加转储任务时,系统会自动弹出创建委托界面。 单击 “同意授权”则平台会自动创建委托。 委托授权成功后,隶属于该账号下的IAM子用户也可添加转储任务。 父主题: 入门
DIS会自动根据通道分区的数量将数据均匀散列到多个分片中。如果设置数据的PartitionKey,可能会导致数据倾斜,产生通道限流。 下载数据时,需要定期的使用descriptStream接口检测通道分区数量的变化,以便DIS可以下载到所有分区的数据。 自动扩缩容 自动扩缩容原理
当程序从异常停止恢复时重传部分数据。 1 sendingRecordSize 否 单次调用DIS数据发送接口时的数据集大小。 说明: “batchSize”表示一个事务的批量值(如1000),而“sendingRecordSize”表示一个Rest请求的批量值(如250表示会发起四次请求)。当“batchS
The DLI database does not exist. 创建DLI转储任务时,传入的DLI数据库不存在 请检查传入的DLI数据库是否存在。 400 DIS.4338 The DLI table does not exist. 创建DLI转储任务时,传入的DLI数据表不存在 请
响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 records Array of Record objects 下载的记录列表。 next_partition_cursor String 下一个迭代器。 说明: 数据游标有效期为5分钟。 表5 Record 参数
支持的监控指标 功能说明 本节定义了数据接入服务上报云监控的监控指标的命名空间,监控指标列表和维度,用户可以通过云监控检索数据接入服务产生的监控指标和告警信息。 命名空间 SYS.DAYU 监控指标 DIS通道支持的监控指标如表1所示。 表1 DIS的监控指标 指标ID 指标名称
找通道。 说明: 上传数据到被授权的通道时,必须配置此参数。 records 是 Array of PutRecordsRequestEntry objects 待上传的记录列表。 表4 PutRecordsRequestEntry 参数 是否必选 参数类型 描述 data 是 String
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
false:关闭自动扩缩容。 默认不开启。 auto_scale_min_partition_count Integer 当自动扩缩容启用时,自动缩容的最小分片数。 auto_scale_max_partition_count Integer 当自动扩缩容启用时,自动扩容的最大分片数。
单次请求返回APP列表的最大数量。 最小值:1 最大值:100 缺省值:10 start_app_name 否 String 从该app名称开始返回app列表,返回的app列表不包括此app名称。 stream_name 否 String 返回该通道下的app列表。 请求参数 表3 请求Header参数
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
partitionId, cursor); GetRecordsRequest recordsRequest = new GetRecordsRequest(); GetRecordsResult recordResponse = null; while