检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
protobuf:DIS数据包封装为二进制格式,可以减少体积约1/3,在数据量较大的情况下推荐使用此格式。 json 父主题: 使用DIS Flume Plugin上传与下载数据
获取DIS Flume Plugin包 这里获取“dis-flume-Plugin-X.X.X.zip”压缩包。 父主题: 使用DIS Flume Plugin上传与下载数据
myhuaweicloud.com/获取“dis-logstash-Plugin-X.X.X.zip”压缩包。 父主题: 使用DIS Logstash Plugin上传与下载数据
提供高速压缩速度和合理的压缩率。 zstd:一种新的无损压缩算法,旨在提供快速压缩,并实现高压缩比。 lz4 父主题: 使用DIS Logstash Plugin上传与下载数据
me”配置的通道的监控。如果显示有数据上传(绿色线条),表示DIS Logstash Output运行成功。 父主题: 使用DIS Logstash Plugin上传与下载数据
安装完成后,显示类似如下内容,表示安装成功。 Install dis-logstash-plugins successfully. 父主题: 使用DIS Logstash Plugin上传与下载数据
Installing logstash-output-dis Installation successful 父主题: 使用DIS Logstash Plugin上传与下载数据
xml中的<scope>provided</scope>解除注释(防止以后打包会把flink依赖也打进来),然后停止数据上传程序。 父主题: 使用DIS Flink Connector上传与下载数据
操作场景 云监控服务可以对数据接入服务通道的运行状态进行日常监控。您可以通过云监控管理控制台,直观地查看各项监控指标。 由于监控数据的获取与传输会花费一定时间,因此,云监控显示的是当前时间5~10分钟前的状态。如果您的数据接入服务通道刚刚创建完成,请等待5~10分钟后查看监控数据。
检查项目ID ProjectID表示租户的资源,每个Region都有一个唯一的项目ID。可在页面查看不同Region对应的项目ID值。 父主题: 使用DIS Spark Streaming下载数据
com ${region} YOU_AK YOU_SK YOU_PROJECTID YOU_STREAM_NAME latest 10 参数顺序与含义在示例代码中有,可以参考。 最终IDEA的配置如下图所示,确认无误后单击“OK”关闭此窗口。 在DISSparkStreamingExa
xx为project的ID,获取方法请参见获取项目ID。 scope参数定义了Token的作用域,下面示例中获取的Token仅能访问project下的资源。您还可以设置Token的作用域为某个账号下所有资源或账号的某个project下的资源,详细定义请参见获取用户Token。 POST
000000000" streamname=”dis-test1“ #已存在的通道名 5种游标设置使用参考如下: # startSeq与AT_SEQUENCE_NUMBER/AFTER_SEQUENCE_NUMBER搭配使用 r = cli.getCursor(streamname
使用DIS 检查与配置DNS信息 使用Agent上传数据 使用DIS Flume Plugin上传与下载数据 使用DIS Logstash Plugin上传与下载数据 使用Kafka Adapter上传与下载数据 使用DIS Spark Streaming下载数据 使用DIS Flink
通过设置DIS通道告警规则,用户可自定义监控目标与通知策略,及时了解DIS通道运行状况,从而起到预警作用。 设置DIS通道的告警规则包括设置告警规则名称、监控对象、监控指标、告警阈值、监控周期和是否发送通知等参数。本节介绍了设置DIS通道告警规则的具体方法。 操作步骤 登录管理控制台。 选择“管理与监管 > 云监控服务
数据管理 上传数据 下载数据 获取数据游标 父主题: API说明
从而通过身份认证。 AK(Access Key ID):访问密钥ID。与私有访问密钥关联的唯一标识符;访问密钥ID和私有访问密钥一起使用,对请求进行加密签名。 SK(Secret Access Key):与访问密钥ID结合使用的密钥,对请求进行加密签名,可标识发送方,并防止请求被修改。
shardId-0000000002 表2 Query参数 参数 是否必选 参数类型 描述 label 否 String 分区监控指标。(label与label_list必须二选一,label_list与label同时存在时,以label_list为准) total_put_bytes_per_partition:分区总输入流量(Byte)
OBS。 数据转储 用户在新增转储任务时可设置”数据转储地址”。当“数据转储”设置为“OBS”时,DIS会将通道数据周期性导入OBS。 父主题: 入门
设置自动扩缩容的分区上限和下限,单击“确认”。 手动扩缩容 手动扩缩容规则 扩容分区时“目标分区数量”需大于当前分区数量,且小于等于租户剩余配额与当前分区数量的总和。 扩容分区时,首先将状态为“DELETED”的分区恢复为“ACTIVE”状态,成为可读写分区。其次将状态为“EXPIRE