检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
验证DIS Agent Linux服务器上验证DIS Agent 使用PuTTY工具登录日志所在服务器。 进入DIS Agent的日志目录。 cd /opt/dis-agent-X.X.X/logs 查看日志。 tail -100f dis-agent.log 显示如下信息,表示Agent正常运行。
使用DIS Spark Streaming下载数据 DIS Spark Streaming概述 准备DIS Spark Streaming的相关环境 自定义SparkStreaming作业 父主题: 使用DIS
调用说明 数据接入服务提供了REST(Representational State Transfer)风格API,支持您通过HTTPS请求调用。 调用方法请参见如何调用API。 父主题: 使用前必读
停止DIS Agent 在Linux服务器上停止DIS Agent 使用PuTTY工具登录日志所在服务器。 进入DIS Agent安装目录。 cd /opt/dis-agent-X.X.X/ 停止DIS Agent。 bash bin/stop-dis-agent.sh 请确保使用bash执行脚本,否则使用sh、
HTTP方法 方法 说明 GET 请求服务器返回指定资源。 PUT 请求服务器更新指定资源。 POST 请求服务器新增资源或执行特殊操作。 DELETE 请求服务器删除指定资源,如删除对象等。 HEAD 请求服务器资源头部。 PATCH 请求服务器更新资源的部分内容。 当资源不存在的
支持的监控指标 功能说明 本节定义了数据接入服务上报云监控的监控指标的命名空间,监控指标列表和维度,用户可以通过云监控检索数据接入服务产生的监控指标和告警信息。 命名空间 SYS.DAYU 监控指标 DIS通道支持的监控指标如表1所示。 表1 DIS的监控指标 指标ID 指标名称
使用PuTTY工具远程登录Logstash所在服务器。 启动Logstash程序。 bin/logstash -f dis_to_local.conf 其中 -f 为用户编写的配置文件路径。 检查DIS Logstash Input下载数据是否正常。 向input指向的通道上传数据,如果Logstash
图解数据接入服务DIS
使用Kafka Adapter上传与下载数据 Kafka Adapter概述 准备环境 上传数据 数据下载的消费模式 下载数据之消费位移 与原生KafkaConsumer接口适配说明 父主题: 使用SDK
新增转储任务 将数据发送到DIS通道后,通过为通道添加转储任务,数据将自动传输到您选择的目标。 使用注册账户登录DIS控制台。 单击管理控制台左上角的,选择区域和项目。 在左侧列表栏中选择通道管理。 单击需要查看的通道名称,进入所选通道的管理页面,选择“转储管理”页签。也可选中待
使用Kafka Adapter上传与下载数据 Kafka Adapter概述 准备环境 上传数据 数据下载的消费模式 下载数据之消费位移 与原生KafkaConsumer接口适配说明 父主题: 使用DIS
云监控服务可以对数据接入服务通道的运行状态进行日常监控。您可以通过云监控管理控制台,直观地查看各项监控指标。 由于监控数据的获取与传输会花费一定时间,因此,云监控显示的是当前时间5~10分钟前的状态。如果您的数据接入服务通道刚刚创建完成,请等待5~10分钟后查看监控数据。 前提条件 数据接入服务通道正常运行。
户配置的source名称。 检查DIS Source下载数据是否正常。 向source指向的通道上传数据,如果flume没有报错且sink端能正常获取到数据,表示下载正常。 如果使用步骤 2中示例的配置,则从DIS获取的数据会输出到控制台上,其内容显示为字节数组格式。 登录DIS
前提条件 已安装PuTTY工具。 安装logstash-input-dis 使用PuTTY工具(或其他终端工具)远程登录Logstash服务器。 进入到Logstash的安装目录。 cd ${LOGSTASH_HOME} 执行安装命令。 bin/logstash-plugin install
根据界面提示信息,对账户进行充值。 充值成功后,关闭充值窗口,返回管理控制台首页。 单击“数据接入服务”,开通服务。 创建访问密钥。 DIS通过用户账户中的AK和SK进行签名验证,确保通过授权的账户才能访问指定的DIS资源。 登录DIS控制台。 单击页面右上角的用户名,选择“我的凭证”。
DIS数据包上传格式。(非原始数据格式) json:DIS数据包封装为json格式,满足普通使用。 protobuf:DIS数据包封装为二进制格式,可以减少体积约1/3,在数据量较大的情况下推荐使用此格式。 json body.compress.enabled 否 是否开启传输数据压缩。 false body
使用DIS Flink Connector上传与下载数据 DIS Flink Connector概述 准备DIS Flink Connector的相关环境 自定义Flink Streaming作业 父主题: 使用DIS
卸载Plugin(可选) 操作步骤 使用PuTTY工具远程登录Flume所在服务器。 停止Flume程序。 进入DIS Flume Plugin插件所在的目录。 cd ${FLUME_HOME} cd dis-flume-plugin 卸载DIS Flume Plugin。 dos2unix
离线安装需要获取插件包并执行安装脚本。 前提条件 已安装PuTTY工具。 操作步骤 使用PuTTY工具(或其他终端工具)远程登录Logstash服务器。 进入到Logstash的安装目录。 cd ${LOGSTASH_HOME} 上传“dis-logstash-plugins-X.X.X