检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用SDK(Python) 准备环境 配置样例工程 初始化DIS客户端 创建通道 添加转储任务 删除通道 删除转储任务 查询通道列表 查询转储列表 查询通道详情 查询转储详情 Json格式上传流式数据 Protobuf格式上传流式数据 下载流式数据 创建APP 删除APP 查询APP详情
通道管理 创建通道 查询通道列表 删除指定通道 查看通道详情 修改分区数量 更新通道信息 添加权限策略 查询权限策略列表 父主题: API说明
申请DIS通道 请参见开通DIS通道创建通道。 添加转储任务 使用注册账户登录DIS控制台。 在左侧列表栏中选择“通道管理”。 单击申请DIS通道中创建的通道名称,进入所选通道的管理页面,选择“转储管理”页签。 单击“添加转储任务”按钮,在弹出的“添加转储任务”页面配置转储相关配置项。 每个通道最多可创建5个转储任务。
使用SDK(Java) 准备环境 配置样例工程 初始化DIS客户端 创建通道 添加转储任务 更新转储任务 删除转储任务 查询转储列表 查询转储详情 删除通道 查询通道列表 查询通道详情 下载流式数据 上传流式数据 获取数据游标 创建APP 删除APP 新增Checkpoint 查询Checkpoint
创建,详细操作请参考《企业管理用户指南》。 - 现在配置 单击“现在配置”,呈现添加标签。 添加标签具体请参考管理通道标签。 - 暂不配置 暂不配置任何信息。 - 标签 标签是通道的标识。为通道添加标签,可以方便用户识别和管理拥有的通道资源。 - 单击“立即购买”,弹出“规格确认”页面。
2019-04-16 第十六次正式发布: 查询通道列表SDK增加响应参数说明,修改查询通道列表。 2019-03-18 第十五次正式发布: 新增如下内容: 添加转储任务~~查询转储详情 初始化DIS客户端 2019-02-23 第十四次正式发布: 修改如下内容: 获取认证信息 2019-01-17
yyyy/MM/dd/HH/mm:年/月/日/时/分 此配置项仅支持选择,不可手动输入。 - 记录分隔符 进行OBS转储时,分隔不同转储记录的分隔符。 取值范围: 逗号 "," 分号 ";" 竖线 "|" 换行符 "\n" NULL 此配置项仅支持选择,不可手动输入。 - 偏移量 最新:最大偏移量,即获取最新的有效数据。
展性和可靠性,用户可根据自身需要指定地域使用DIS服务,由此获得更快的访问速度和实惠的服务价格。 DIS对数据传输所需要的基础设置、存储、网络和配置进行管理。您无需为数据通道担心配置、部署、持续的硬件维护等。此外,DIS还可在云区域同步复制数据,为您提供数据高可用性和数据持久性。
DOMAIN[DOMAIN/IP] failed: connect timed out 可能原因:服务器连接DIS网关超时。 处理方法:检查Agent所在日志服务器的网络配置是否可以连接公网。 查看Agent是否上传日志。 “agent.yml”中配置的监控目录下有匹配的文件,日志中会输出类似如下日志,表示
图解数据接入服务DIS
使用Agent上传数据 DIS Agent概述 安装前准备 安装DIS Agent 配置DIS Agent 启动DIS Agent 验证DIS Agent 停止DIS Agent 父主题: 使用DIS
与原生KafkaConsumer接口适配说明 表1 接口适配说明 原生KafkaConsumer 类型 DISKafkaConsumer 说明 Set<TopicPartition> assignment() 接口 支持 获取consumer消费的通道与分区信息 Set<String>
使用DIS Logstash Plugin上传与下载数据 DIS Logstash Plugin概述 安装DIS Logstash Plugin前准备 在线安装DIS Logstash Plugin 离线安装DIS Logstash Plugin 配置DIS Logstash Plugin
使用DIS Flink Connector上传与下载数据 DIS Flink Connector概述 准备DIS Flink Connector的相关环境 自定义Flink Streaming作业 父主题: 使用DIS
附录 错误码 状态码 获取项目ID 介绍如何在控制台或者调用API获取项目ID。
监控管理 查询通道监控 查询分区监控 父主题: API说明
转储相关问题 DIS如何实现转储数据至DWS的特定列 Schema如何支持字段缺省或者为NULL 如何专线接入DIS 读取通道数据时,如何区分不同类型数据?
使用Kafka Adapter上传与下载数据 Kafka Adapter概述 准备环境 上传数据 数据下载的消费模式 下载数据之消费位移 与原生KafkaConsumer接口适配说明 父主题: 使用SDK
与原生KafkaConsumer接口适配说明 表1 接口适配说明 原生KafkaConsumer 类型 DISKafkaConsumer 说明 Set<TopicPartition> assignment() 接口 支持 获取consumer消费的通道与分区信息 Set<String>
异常信息 DIS服务端错误码