检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
否 body_compress_type 否 数据压缩类型,当前支持的压缩算法: lz4:综合来看效率最高的压缩算法,更加侧重压缩解压速度,压缩比并不是第一。 snappy:其目标不是最大限度压缩或者兼容其他压缩格式,而是旨在提供高速压缩速度和合理的压缩率。
连接OBS 介绍 DIS可以向对象存储服务(Object Storage Service,简称OBS)上传数据。 前提条件 已参考自动创建委托创建IAM委托,授权DIS服务去访问用户的OBS。 数据转储 用户在新增转储任务时可设置”数据转储地址”。
配置待更新的转储任务名称 OBSDestinationDescriptorRequest descriptor = new OBSDestinationDescriptorRequest(); descriptor.setTransferTaskName(taskName); // 转储至对象存储服务
表1 适配说明 原生KafkaProducer 类型 DISKafkaProducer 说明 Future<RecordMetadata> send(ProducerRecord<K, V> record) 接口 支持 发送单条数据 Future<RecordMetadata> send
record1 = {"data": "xxx","partition_id": partition_id} #可写入多条数据,数据格式如record1所示,每写一条数据使用下面的append方法传入records中。
总输入/输出记录数(个/秒) 用户指定时间范围内,指定通道的输入/输出记录数。单位:个/秒。 上传/下载请求成功次数(个/秒) 用户指定时间范围内,指定通道的上传/下载请求成功次数。单位:个/秒。
表1 DIS的监控指标 指标ID 指标名称 指标含义 取值范围 测量对象 监控周期(原始指标) dis01_stream_put_bytes_rate 总输入流量 该指标用于统计指定时间范围内,通道上传数据量。 单位:byte/s。
(), record.partition(), record.offset(), record.key()); } } // 数据处理完成之后异步提交当前
表1 适配说明 原生KafkaProducer 类型 DISKafkaProducer 说明 Future<RecordMetadata> send(ProducerRecord<K, V> record) 接口 支持 发送单条数据 Future<RecordMetadata> send
“服务类别”选择“云服务”,并在服务中选择DIS服务的终端节点,例如华东-上海二为com.myhuaweicloud.cn-east-2.dis。然后选择专线所在的VPC和子网即可。
deliver_time_interval': 30, 'retry_duration': 0, 'agency_name': 'all', 'partition_format': 'yyyy/MM/dd/HH/mm', 'destination_file_type': 'text', 'record_delimiter
表1 DIS系统权限 系统角色 策略类别 描述 依赖关系 DIS Administrator 系统角色 对数据接入服务的所有执行权限。 无 DIS Operator 系统角色 通道管理权限,拥有创建删除等管理通道的权限,但不能使用通道上传下载数据。