检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
stream_type:通道类型,“COMMON”表示普通分区,单分区支持最大1MB/s的写入速度和2MB/s的读取速度。 data_duration:通道生命周期,即通道分区中数据的保留时长。 请求响应成功后,返回201 Created,表示通道创建成功。
单击管理控制台左上角的,选择区域和项目。 在左侧列表栏中选择“通道管理”。 确认有通道用于数据上传且通道状态为“运行中”。 检查认证信息 检查AK/SK AK/SK (Access Key ID/Secret Access Key)是用户调用接口的访问密钥。
资源类型不合法 请检查资源类型是否合法。 400 DIS.4603 The resource does not exist. 资源不存在 请确认该资源是否已被删除。 400 DIS.4604 The key does not exist.
注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。 在“API凭证”页面,查看账号名和账号ID、IAM用户名和IAM用户ID,在项目列表中查看项目和项目ID。
项目编号获取步骤如下: 登录管理控制台。 单击用户名,在下拉列表中单击“基本信息”。 在基本信息页面单击“管理我的凭证”。 在“API凭证”页面的项目列表中查看项目ID。 图1 查看项目ID 父主题: 附录
在“事件管理”页面中单击“事件”,默认显示当前所有通道或转储任务已发生的事件。 在事件列表右上方的下拉列表中通过选择不同的筛选条件搜索事件。可从事件级别和事件源两个维度进行筛选。 在下拉列表中选择“所有事件级别”、“正常”或“警告”。
- 单击“立即购买”,弹出“规格确认”页面。 单击“提交”,完成通道接入。 父主题: 入门
注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。 在“API凭证”页面,查看账号名和账号ID、IAM用户名和IAM用户ID,在项目列表中查看项目和项目ID。 父主题: 使用Kafka Adapter上传与下载数据
请根据实际情况配置 type 是 Sink的类型。 com.cloud.dis.adapter.flume.sink.DISSink streamName 是 指定在DIS服务上创建的通道名称。 与DIS控制台“购买接入通道”时配置的“通道名称”取值一致。
2019-07-08 第二十次正式发布: 小文件功能下线,删除“创建源数据类型是FILE的通道”。 2019-07-03 第十九次正式发布: Java SDK不兼容原生Kafka客户端,删除“连接Kafka consumer”。
单击管理控制台左上角的,选择区域和项目。 参考步骤1:开通DIS通道申请开通DIS通道,并持续上传数据到新创建的DIS通道。本次范例上传的内容为hello world。
与原生KafkaConsumer接口适配说明 表1 接口适配说明 原生KafkaConsumer 类型 DISKafkaConsumer 说明 Set<TopicPartition> assignment() 接口 支持 获取consumer消费的通道与分区信息 Set<String
与原生KafkaConsumer接口适配说明 表1 接口适配说明 原生KafkaConsumer 类型 DISKafkaConsumer 说明 Set<TopicPartition> assignment() 接口 支持 获取consumer消费的通道与分区信息 Set<String
props.setProperty("enable.auto.commit", "true");// 显示设置偏移量自动提交 props.setProperty("auto.commit.interval.ms", "5000");// 设置偏移量提交时间间隔 手动提交 在有些场景可能对消费偏移量有更精确的管理
INFO Windows服务器上配置DIS Agent 使用文件管理器进入安装包解压后的目录,例如“C:\dis-agent-X.X.X”。 使用编辑器打开“agent.yml”文件,根据实际情况修改各配置项的值并保存。
Windows服务器上验证DIS Agent 使用文件管理器进入“logs”目录。 使用编辑器打开“dis-agent.log”文件查看日志。 显示如下信息,表示Agent正常运行。
表1 适配说明 原生KafkaProducer 类型 DISKafkaProducer 说明 Future<RecordMetadata> send(ProducerRecord<K, V> record) 接口 支持 发送单条数据 Future<RecordMetadata> send
表1 适配说明 原生KafkaProducer 类型 DISKafkaProducer 说明 Future<RecordMetadata> send(ProducerRecord<K, V> record) 接口 支持 发送单条数据 Future<RecordMetadata> send