检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"] credentials = BasicCredentials(ak
and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"] credentials = BasicCredentials(ak
通过单击或来关闭或开启自定义时间戳开关。 关闭自定义时间戳开关,则写到OBS的Object文件所在的目录层次结构,将使用转储文件的生成时间。 例如系统在2018年10月16日生成转储文件,选择“时间目录格式”精确到日,则数据转储成功后,在OBS的存储目录为“桶名称/转储文件目录/2018/10/16”。
and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"] credentials = BasicCredentials(ak
验证DIS Agent Linux服务器上验证DIS Agent 使用PuTTY工具登录日志所在服务器。 进入DIS Agent的日志目录。 cd /opt/dis-agent-X.X.X/logs 查看日志。 tail -100f dis-agent.log 显示如下信息,表示Agent正常运行。
API说明 通道管理 App管理 Checkpoint管理 数据管理 转储任务管理 监控管理 标签管理
验证DIS Logstash Plugin 验证DIS Logstash Input 使用PuTTY工具远程登录Logstash所在服务器。 启动Logstash程序。 bin/logstash -f dis_to_local.conf 其中 -f 为用户编写的配置文件路径。 检查DIS
管理通道 通道列表简介 查看通道监控信息 变更源数据类型 管理源数据Schema 管理通道标签 管理App 授权管理 调试通道 弹性伸缩分区 删除通道
修订记录 发布日期 修订说明 2021-09-15 第三十四次正式发布 下线CloudTable转储任务。 2021-01-08 第三十三次正式发布 新增应用示例场景,规范化发布API说明和错误码。 2020-07-03 第三十二次正式发布 新增错误码,修改错误码说明。 2020-05-09
配置DIS Agent DIS Agent配置文件格式为“YAML”,各配置项与值之间必须以英文格式的“冒号+空格”形式分隔。 agent.yml文件模板可从“dis-agent”压缩包中获取,内容示例如下。具体配置项说明请参见表1。 --- # cloud region id region:
图解数据接入服务DIS
SDK_AK和HUAWEICLOUD_SDK_SK。 ak=os.environ.get("HUAWEICLOUD_SDK_AK"), sk=os.environ.get("HUAWEICLOUD_SDK_SK"),
使用Agent上传数据 DIS Agent概述 安装前准备 安装DIS Agent 配置DIS Agent 启动DIS Agent 验证DIS Agent 停止DIS Agent 父主题: 使用DIS
与原生KafkaConsumer接口适配说明 表1 接口适配说明 原生KafkaConsumer 类型 DISKafkaConsumer 说明 Set<TopicPartition> assignment() 接口 支持 获取consumer消费的通道与分区信息 Set<String>
使用DIS Logstash Plugin上传与下载数据 DIS Logstash Plugin概述 安装DIS Logstash Plugin前准备 在线安装DIS Logstash Plugin 离线安装DIS Logstash Plugin 配置DIS Logstash Plugin
使用DIS Flink Connector上传与下载数据 DIS Flink Connector概述 准备DIS Flink Connector的相关环境 自定义Flink Streaming作业 父主题: 使用DIS
转储相关问题 DIS如何实现转储数据至DWS的特定列 Schema如何支持字段缺省或者为NULL 如何专线接入DIS 读取通道数据时,如何区分不同类型数据?
附录 错误码 状态码 获取项目ID 介绍如何在控制台或者调用API获取项目ID。
使用Kafka Adapter上传与下载数据 Kafka Adapter概述 准备环境 上传数据 数据下载的消费模式 下载数据之消费位移 与原生KafkaConsumer接口适配说明 父主题: 使用SDK
与原生KafkaConsumer接口适配说明 表1 接口适配说明 原生KafkaConsumer 类型 DISKafkaConsumer 说明 Set<TopicPartition> assignment() 接口 支持 获取consumer消费的通道与分区信息 Set<String>