检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
枚举值: DLI dli_destination_descriptor 否 DliDestinationDescriptorRequest object 转储目的地为DLI的参数列表。 表4 DliDestinationDescriptorRequest 参数 是否必选 参数类型 描述 task_name
查询通道列表 参考初始化DIS客户端的操作初始化一个DIS客户端实例,实例名称为dic。 使用DIS SDK列出当前活动的通道。 使用setLimit方法设定每次查询时返回的通道数量,若不指定则默认返回的通道数量上限为10。即通道数量少于等于10时显示实际通道数量,通道数量大于10时显示为10。
分钟,ss表示秒,GMT表示时区。例如:2017/05/09 08:00:00 GMT+08:00。 计费模式:目前仅支持按需付费方式。 操作:当前操作列表支持删除通道、扩缩容、查看授权管理、查看转储任务和变更源数据类型的操作。 父主题: 管理通道
中,并构建用于数据处理的应用程序。 成本低廉:DIS没有前期成本,您只需要为实际使用的资源付费即可。 并行处理:DIS可让您用多个应用程序同时处理同一个数据通道。 安全可靠:DIS可将数据保留24~72小时,以防数据在应用程序故障、个别机器故障或设施故障时丢失。
record) 接口 支持 发送单条数据 Future<RecordMetadata> send(ProducerRecord<K, V> record, Callback callback) 接口 支持 发送单条数据并设置回调处理函数 void close() 接口 支持 关闭Producer
record) 接口 支持 发送单条数据 Future<RecordMetadata> send(ProducerRecord<K, V> record, Callback callback) 接口 支持 发送单条数据并设置回调处理函数 void close() 接口 支持 关闭Producer
OBSDestinationDescriptorRequest obsDestinationDescriptorbody = new OBSDestinationDescriptorRequest(); obsDestinationDescriptorbody.withTaskName("newtask")
traffic_control_put traffic_control_get label_list 否 String 使用label用逗号拼接组成,用于批量查询多个label的指标。(label与label_list必须二选一,label_list与label同时存在时,以label_list为准) start_time
单击“选择”,在“选择DLI数据库”窗口选择一个数据库。 此配置项仅支持选择,不可手动输入。 - DLI数据表 单击“选择”,在“选择DLI数据表”窗口选择一个数据表。仅支持数据位置为DLI类型的数据表,且用户需具有该表的插入权限。 此配置项仅支持选择,不可手动输入。 配置此项必须已配置“DLI
单击“选择”,在“选择集群”窗口选择一个MRS集群。仅支持转储至非Kerberos认证的MRS集群。 此配置项仅支持选择,不可手动输入。 - HDFS路径 单击“选择”,在“选择HDFS文件路径”窗口按层级选择所需HDFS文件所在路径。 此处路径仅支持选择,不可手动输入。 配置此项必须已配置“MRS集群”。
partition_id 否 String 该Checkpoint所属的通道分区标识符。可定义为如下两种样式:- shardId-0000000000- 0比如一个通道有三个分区,那么分区标识符分别为0, 1, 2,或者shardId-0000000000, shardId-0000000001, shardId-0000000002
最早:最小偏移量,即读取最早的数据。 最新 CloudTable集群 单击“选择”,在“选择CloudTable集群”窗口选择一个集群名称。 此配置项不可配置为空。仅支持选择,不可手动输入。 cloudtable-demo CloudTable表类型 HBase和openTSDB两种。 HBase
步骤3:发送数据到DIS 功能简介 将用户本地数据通过DIS通道不断上传至DIS服务。 目前数据支持存储至DIS和对象存储服务(Object Storage Service,简称OBS)MapReduce服务(MapReduce Service,简称MRS)、数据仓库服务(Data
步骤3:发送数据到DIS 功能简介 将用户本地数据通过DIS通道不断上传至DIS服务。 目前数据支持存储至DIS和对象存储服务(Object Storage Service,简称OBS)MapReduce服务(MapReduce Service,简称MRS)、数据仓库服务(Data
已创建的通道名称。 partition_id 是 String 通道的分区标识符。可定义为如下两种样式:- shardId-0000000000- 0比如一个通道有三个分区,那么分区标识符分别为0, 1, 2,或者shardId-0000000000, shardId-0000000001, shardId-0000000002
可以点击这里查看。 compression_format String 数据的压缩类型,目前支持: snappy gzip zip 默认不压缩。 枚举值: snappy gzip zip csv_properties CSVProperties object CSV 格式数据的相关属性,比如分隔符
partition_id 是 String 该Checkpoint所属的通道分区标识符。可定义为如下两种样式:- shardId-0000000000- 0比如一个通道有三个分区,那么分区标识符分别为0, 1, 2,或者shardId-0000000000, shardId-0000000001, shardId-0000000002
通道唯一标识符。 rules Array of PrincipalRule objects 通道授权信息列表。 表4 PrincipalRule 参数 参数类型 描述 principal String 授权用户ID。 principal_name String 授权用户名。如果授权给租
records Array of Record objects 下载的记录列表。 next_partition_cursor String 下一个迭代器。 说明: 数据游标有效期为5分钟。 表5 Record 参数 参数类型 描述 partition_key String 用户上传数
参数类型 描述 partition_id String 通道的分区标识符。可定义为如下两种样式:- shardId-0000000000- 0比如一个通道有三个分区,那么分区标识符分别为0, 1, 2,或者shardId-0000000000, shardId-0000000001, shardId-0000000002