检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
读取通道数据时,如何区分不同类型数据? 不同类型的消息使用不同的通道; 使用同一个通道的不同分区。上传消息时,不同类型的消息指定不同的partition_key,消费时根据partition_key来区分不同类型消息。 父主题: 转储相关问题
单击“事件管理”。 在“事件管理”页面中单击“订阅 > 创建订阅”。 在“订阅设置”区域,设置订阅基本信息及事件过滤。 “订阅事件”区域显示系统根据订阅设置筛选出的事件。 表1 订阅参数 参数名 参数解释 启用消息通知 设置是否开启事件订阅。 表示开启事件订阅,表示关闭事件订阅,默认为关闭状
m,则将下面的CustomFileStream与另外的DISStream模块删除或者注释)。 Linux服务器上配置DIS Agent 使用PuTTY 工具登录日志所在服务器。 执行cd /opt/dis-agent-X.X.X/命令,进入“dis-agent-X.X.X”文件夹。
毫秒/个。 当在消费通道中提交了checkpoint操作,如何提交请参见新增Checkpoint,支持按照App维度监控App在通道中消费的数据信息。根据实际情况在“通道管理”页面选择“通道监控”,开启“App监控”,设置App名称,即可查看。 图1 App监控 在监控指标视图右上角,单击可放大查看监控指标视图详情。
示例1:转储简单的Json数据。 源数据: { "id":"1", "date":"2018/10/16 11:00:05"} 配置如下: 根据待转储的源数据类型,分别设置“时间戳属性名”为“date”,数据类型为“String”,时间戳格式为“yyyy/MM/dd HH:mm:ss”。 因数据转储成功后,存
配额说明 创建通道应用的基础设施如下: 普通通道分区 高级通道分区 创建IoT实例应用的基础设施如下: 弹性云服务器 虚拟私有云VPC 弹性负载均衡ELB 弹性公网IP 其配额查看及修改请参见关于配额。
rtingOffsets;另外一个参数enable.auto.commit,设置为true会自动每隔5000ms(可通过设置auto.commit.interval.ms修改)提交一次offset,设置为false则不自动提交,用户可以手动调用commitAsync提交,参见示例代码中如下部分
登录华为云官方网站,访问设备接入服务。 单击“立即使用”进入设备接入控制台。 进入“规则”页面,单击页面右上角的“创建规则”,选择“数据转发”。 设置转发目标,转发至服务选择“数据接入服务DIS”。 有关创建 IoTDA数据转发规则的更多信息,请参见 IoTDA数据转发规则。 父主题: 使用DIS
Window”,在新窗口打开此工程。 在pom.xml上单击右键,选择“Maven > Reimport”,重新引入maven依赖库。 验证Flink Streaming Source作业 实际场景中,Flink Streaming作业需要提交在Flink集群上运行,但本次验证只介绍在本地IDE上测试,目的是了解s
根据企业的业务组织,在您的华为云账号中,给企业中不同职能部门的员工创建IAM用户,让员工拥有唯一安全凭证,并使用DIS资源。 根据企业用户的职能,设置不同的访问权限,以达到用户之间的权限隔离。 将DIS资源委托给更专业、高效的其他华为云账号或者云服务,这些账号或者云服务可以根据权限进行代运维。
压缩比并不是第一。 zstd:一种新的无损压缩算法,旨在提供快速压缩,并实现高压缩比。 lz4 PROXY_HOST 否 配置代理IP,请求走代理服务器的需要配置。 请根据实际情况配置 PROXY_PORT 否 配置代理端口。 80 PROXY_PROTOCOL 否 配置代理协议。支持http和https。
安装DIS Agent 前提条件 已安装PuTTY工具。 Linux服务器上安装DIS Agent 使用PuTTY工具登录日志所在服务器,即检查依赖的服务器。 将获取DIS Agent包中获取的“dis-agent-X.X.X.zip”安装包上传到“/opt”文件夹中。 解压“dis-agent-X
partitionId="shardId-0000000000" #分区的唯一标识符 partitionId可通过查询通道详情获取,需要先传入当前设置的通道名称。 配置好以上参数,执行getCheckpoint_sample.py文件调用getCheckpoint_test方法,响应结果如下:
数据接入服务面向实时数据,提供高效采集、传输、分发能力,提供丰富的接口,帮助您快速构建实时数据应用。 下面介绍如何调用创建通道API创建数据接入通道,API的调用方法请参见如何调用API。 通过IAM服务获取到的Token有效期为24小时,需要使用同一个Token鉴权时,可以先将Token缓存,避免频繁调用。
数据接入服务提供了REST(Representational State Transfer)风格API,支持您通过HTTPS请求调用。 调用方法请参见如何调用API。 父主题: 使用前必读
metadata="" #用户消费程序端的元数据信息,元数据信息的最大长度为1000个字符 partitionId可通过查询通道详情获取,需要先传入当前设置的通道名称。 配置好以上参数,执行commitCheckpoint_sample.py文件调用commitCheckpoint_test方法,响应201表示成功。