检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
me”配置的通道的监控。如果显示有数据上传(绿色线条),表示DIS Logstash Output运行成功。 父主题: 使用DIS Logstash Plugin上传与下载数据
安装完成后,显示类似如下内容,表示安装成功。 Install dis-logstash-plugins successfully. 父主题: 使用DIS Logstash Plugin上传与下载数据
myhuaweicloud.com/获取“dis-logstash-Plugin-X.X.X.zip”压缩包。 父主题: 使用DIS Logstash Plugin上传与下载数据
Installing logstash-output-dis Installation successful 父主题: 使用DIS Logstash Plugin上传与下载数据
xml中的<scope>provided</scope>解除注释(防止以后打包会把flink依赖也打进来),然后停止数据上传程序。 父主题: 使用DIS Flink Connector上传与下载数据
提供高速压缩速度和合理的压缩率。 zstd:一种新的无损压缩算法,旨在提供快速压缩,并实现高压缩比。 lz4 父主题: 使用DIS Logstash Plugin上传与下载数据
登录DIS控制台,等待2分钟后,查看表2中“streamName”配置的通道的监控。如果显示有数据上传(绿色线条),表示DIS Sink运行成功。 父主题: 使用DIS Flume Plugin上传与下载数据
获取DIS Flume Plugin包 这里获取“dis-flume-Plugin-X.X.X.zip”压缩包。 父主题: 使用DIS Flume Plugin上传与下载数据
操作场景 云监控服务可以对数据接入服务通道的运行状态进行日常监控。您可以通过云监控管理控制台,直观地查看各项监控指标。 由于监控数据的获取与传输会花费一定时间,因此,云监控显示的是当前时间5~10分钟前的状态。如果您的数据接入服务通道刚刚创建完成,请等待5~10分钟后查看监控数据。
检查项目ID ProjectID表示租户的资源,每个Region都有一个唯一的项目ID。可在页面查看不同Region对应的项目ID值。 父主题: 使用DIS Spark Streaming下载数据
com ${region} YOU_AK YOU_SK YOU_PROJECTID YOU_STREAM_NAME latest 10 参数顺序与含义在示例代码中有,可以参考。 最终IDEA的配置如下图所示,确认无误后单击“OK”关闭此窗口。 在DISSparkStreamingExa
xx为project的ID,获取方法请参见获取项目ID。 scope参数定义了Token的作用域,下面示例中获取的Token仅能访问project下的资源。您还可以设置Token的作用域为某个账号下所有资源或账号的某个project下的资源,详细定义请参见获取用户Token。 POST
000000000" streamname=”dis-test1“ #已存在的通道名 5种游标设置使用参考如下: # startSeq与AT_SEQUENCE_NUMBER/AFTER_SEQUENCE_NUMBER搭配使用 r = cli.getCursor(streamname
使用DIS 检查与配置DNS信息 使用Agent上传数据 使用DIS Flume Plugin上传与下载数据 使用DIS Logstash Plugin上传与下载数据 使用Kafka Adapter上传与下载数据 使用DIS Spark Streaming下载数据 使用DIS Flink
通过设置DIS通道告警规则,用户可自定义监控目标与通知策略,及时了解DIS通道运行状况,从而起到预警作用。 设置DIS通道的告警规则包括设置告警规则名称、监控对象、监控指标、告警阈值、监控周期和是否发送通知等参数。本节介绍了设置DIS通道告警规则的具体方法。 操作步骤 登录管理控制台。 选择“管理与监管 > 云监控服务
数据管理 上传数据 下载数据 获取数据游标 父主题: API说明
12h 可自定义查看监控信息的时间段。 单击“自定义”页签后的,分别设置开始时间和结束时间。 其中,结束时间不能晚于当前的系统时间。 开始时间与结束时间的差值不超过72h。 分区监控 分区编号 流分区编号,默认从0开始。取值方式:从下拉框选择。 该分区的总输入/输出流量(KB/秒)
OBS。 数据转储 用户在新增转储任务时可设置”数据转储地址”。当“数据转储”设置为“OBS”时,DIS会将通道数据周期性导入OBS。 父主题: 入门
从而通过身份认证。 AK(Access Key ID):访问密钥ID。与私有访问密钥关联的唯一标识符;访问密钥ID和私有访问密钥一起使用,对请求进行加密签名。 SK(Secret Access Key):与访问密钥ID结合使用的密钥,对请求进行加密签名,可标识发送方,并防止请求被修改。
DIS实时从多种数据源采集数据。 DIS连续传输数据,自动将数据传输至MRS,DLI,DWS和OBS等服务做计算,分析和存储。 图1 数据流向 父主题: 一般性问题