检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查询Checkpoint 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下: 1 2 3 streamname = "" #通道名称 appName="xx" # APP名称(APP是已存在状态) partitionId="shardId-0000000000"
上传流式数据 样例代码 使用初始化DIS客户端后的客户端实例将用户的流式数据通过DIS通道上传至DIS服务。 其中,“streamName”的配置值要与开通DIS通道中“通道名称”的值一致,“endpoint”,“ak”,“sk”,“region”,“projectId”信息请参见获取认证信息。
启动DIS Agent Linux服务器上启动DIS Agent 使用PuTTY工具登录日志所在服务器。 进入DIS Agent安装目录。其中“x.x.x”表示版本号。 cd /opt/dis-agent-x.x.x/ 启动DIS Agent。 bash bin/start-dis-agent
DIS使用SMN(Simple Message Notification,消息通知服务)发送DIS事件的通知,订阅DIS事件即可启用通知。在订阅中,用户需要指定一个或多个事件筛选条件。每当发生与所有筛选条件匹配的事件时,DIS就会通过该订阅发送通知。筛选条件包含事件类别(例如:管理、监控或安全)、
#分区的唯一标识符。 seqNumber="0" #序列号 metadata="" #用户消费程序端的元数据信息,元数据信息的最大长度为1000个字符 partitionId可通过查询通道详情获取,需要先传入当前设置的通道名称。 配置好以上参数,执行commitCheckpoint_sample
您可以创建App,也可进入通道管理页面,查看接入该通道的App详情。 创建App 使用注册账户登录DIS控制台。 单击管理控制台左上角的,选择区域和项目。 在左侧列表栏中选择“App管理”。 进入App管理页面,单击“创建App”,输入对应的名称,完成创建。 查看App 使用注册账户登录DIS控制台。 单击管理控制台左上角的,选择区域和项目。
在“SMN主题”下拉框中,选择合适的消息通知主题。 用户可以根据需要,通过以下操作新建消息通知主题。 单击“去创建SMN主题”,系统将跳转到消息通知服务的“主题”页面,用户可通过单击页面右上方的“创建主题”来新建主题,具体请参见《消息通知服务用户指南》中的“创建主题”章节。 在创建的主题行,单击“更多
计费项 DIS根据您的消息数量和使用分区时长计费。 表1 计费项信息 计费项 计费说明 消息数量 用户上传至DIS通道的消息数量,下载不计入消息数量。单条消息计量不超过25KB,即用户每次上传的单条数据超过25KB是按多条消息计算,不足25KB时,按单条消息计算。 说明: 只有DI
默认情况下,管理员创建的IAM用户没有任何权限,需要将其加入用户组,并给用户组授予角色,才能使得用户组中的用户获得对应的权限,这一过程称为授权。授权后,用户就可以基于被授予的权限对云服务进行操作。 如果云账号已经能满足您的要求,不需要创建独立的IAM用户进行权限管理,您可以跳过本章
参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下: 1 2 3 streamname = "" #通道名称 startSeq='0’ #序列号 partitionId="shardId-0000000000" 通过getCursor_test更改游标类型
检查依赖 服务器类型。 Linux x86-64(64位)服务器,常见的有EulerOS、Ubuntu、Debian、CentOS、OpenSUSE等。 Windows 7及以上版本。 已安装1.8.0及以上版本的Java。 请参见JRE地址下载JRE。 Linux服务器安装请参考如下步骤:
查看监控指标 操作场景 云监控服务可以对数据接入服务通道的运行状态进行日常监控。您可以通过云监控管理控制台,直观地查看各项监控指标。 由于监控数据的获取与传输会花费一定时间,因此,云监控显示的是当前时间5~10分钟前的状态。如果您的数据接入服务通道刚刚创建完成,请等待5~10分钟后查看监控数据。
DIS SDK能做什么 DIS概述 数据接入服务(Data Ingestion Service)为处理或分析流数据的自定义应用程序构建数据流管道,主要解决云服务外的数据实时传输到云服务内的问题。数据接入服务每小时可从数十万种数据源(如日志和定位追踪事件、网站点击流、社交媒体源等)中连续捕获、传送和存储数TB数据。
如何专线接入DIS 参见自动开通云专线开通云专线,然后使用开通专线的云账号访问虚拟私有云VPC。 选择“VPC终端节点 > 终端节点”,单击“购买终端节点”。 “服务类别”选择“云服务”,并在服务中选择DIS服务的终端节点,例如华东-上海二为com.myhuaweicloud.cn-east-2
询,识别出大型客户,加强服务,进一步提升客户满意度。 图2 场景示例图 数据接入备份 将大量滚动日志文件传输到云端做备份,用于数据丢失或异常后的恢复和故障分析。同时大量小文本文件可合并转储为大文件,提高数据处理性能。 图3 场景示例图 IOT分析应用 通过在车载设备中集成IoTD
通道列表简介 通道列表中可查看当前用户的已创建的所有通道信息。通道信息包括: 名称/ID:用户发送或者接收数据时,需要指定通道名称,通道名称不可重复。通道名称由英文字母、数字、中划线和下划线组成。长度为1~64个字符。 状态:通道的运行状态。 通道类型:普通和高级。 普通通道单分
新增Checkpoint 参考初始化DIS客户端的操作初始化一个DIS客户端实例,实例名称为dic。 使用DIS SDK创建Checkpoint,需要指定通道名称、APP名称、分区编号、序列号以及Checkpoint类型。 其中,“streamName”的配置值要与开通DIS通道中“Stream
StringSerializer.class.getName()); // 默认情况下不需要设置endpoint,会自动使用域名访问;如需使用指定的endpoint,解除如下注释并设置endpoint即可 // props.setProperty(DISConfig
StringSerializer.class.getName()); // 默认情况下不需要设置endpoint,会自动使用域名访问;如需使用指定的endpoint,解除如下注释并设置endpoint即可 // props.setProperty(DISConfig
SDK客户端实例。 在“dis-sdk-demo\src\main\resources”目录下的“dis.properties”文件中添加如下配置项。 ak/sk:用户在IAM中创建的AK/SK。 region:用户使用通道所在的区域。 endpoint:DIS的访问地址。 projectId:通道所在的资源ID。