检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
验证Plugin 验证DIS Source 使用PuTTY工具远程登录Flume所在服务器。 确认已配置好包含dis source的配置文件 可基于Flume自带的flume-conf.properties.template修改,文件样例如下所示: agent.sources =
准备环境 配置pom.xml文件 如果已有maven工程,在pom.xml中使用如下依赖即可。 <dependency> <groupId>com.huaweicloud.dis</groupId> <artifactId>huaweicloud-dis-kafk
准备环境 配置pom.xml文件 如果已有maven工程,在pom.xml中使用如下依赖即可。 <dependency> <groupId>com.huaweicloud.dis</groupId> <artifactId>huaweicloud-dis-kafk
存储该通道数据的DWS数据库名称。 dws_schema String 存储该通道数据的DWS数据库模式。 dws_table_name String 存储该通道数据的DWS数据库模式下的数据表。 dws_delimiter String 用户数据的字段分隔符,根据此分隔符分隔用户数据插入DWS数据表的相应列。
计费说明 计费项 DIS根据您的消息数量和使用分区时长计费。 表1 计费项信息 计费项 计费说明 消息数量 用户上传至DIS通道的消息数量,下载不计入消息数量。单条消息计量不超过25KB,即用户每次上传的单条数据超过25KB是按多条消息计算,不足25KB时,按单条消息计算。 说明:
使用DIS实时分析车辆位置 场景介绍 数据接入服务(Data Ingestion Service,简称DIS)实时采集车辆位置数据并上传到华为云的表格存储服务(CloudTable Service,简称CloudTable)中,用户可以使用CloudTable查询指定车辆在指定时间段的车辆位置。
事件通知概述 概述 DIS使用SMN(Simple Message Notification,消息通知服务)发送DIS事件的通知,订阅DIS事件即可启用通知。在订阅中,用户需要指定一个或多个事件筛选条件。每当发生与所有筛选条件匹配的事件时,DIS就会通过该订阅发送通知。筛选条件包
查看事件 介绍用户如何查找通道或转储任务发生的事件。 在“事件管理”页面中单击“事件”,默认显示当前所有通道或转储任务已发生的事件。 在事件列表右上方的下拉列表中通过选择不同的筛选条件搜索事件。可从事件级别和事件源两个维度进行筛选。 在下拉列表中选择“所有事件级别”、“正常”或“警告”。
安装DIS Agent 前提条件 已安装PuTTY工具。 Linux服务器上安装DIS Agent 使用PuTTY工具登录日志所在服务器,即检查依赖的服务器。 将获取DIS Agent包中获取的“dis-agent-X.X.X.zip”安装包上传到“/opt”文件夹中。 解压“dis-agent-X
配置样例工程 SDK下载的“huaweicloud-sdk-dis-java-X.X.X.zip ”最新版本压缩包中提供了SDK源码;DIS SDK桶中的“huaweicloud-sdk-dis-java-X.X.X.zip ”最新版本压缩包提供了示例工程,您可以在本地设备上使用
构造请求 本节介绍REST API请求的组成,并以调用IAM服务的获取用户Token说明如何调用API,该API获取用户的Token,Token可以用于调用其他API时鉴权。 您还可以通过这个视频教程了解如何构造请求调用API:https://bbs.huaweicloud.com/videos/102987
卸载DIS Logstash Plugin(可选) 操作步骤 使用PuTTY工具远程登录Logstash所在服务器。 停止Logstash程序。 进入DIS Logstash Plugins插件所在的目录。 cd ${LOGSTASH_HOME} cd logstash-plugins
卸载Plugin(可选) 操作步骤 使用PuTTY工具远程登录Flume所在服务器。 停止Flume程序。 进入DIS Flume Plugin插件所在的目录。 cd ${FLUME_HOME} cd dis-flume-plugin 卸载DIS Flume Plugin。 dos2unix
管理企业项目 企业项目是一种云资源管理方式。企业管理(Enterprise Management)提供面向企业客户的云上资源管理、人员管理、权限管理、财务管理等综合管理服务。区别于管理控制台上独立操控、配置云产品的方式,企业管理控制台以面向企业资源管理为出发点,帮助企业以公司、部
DIS对于从数据生产者快速移出数据,然后进行持续处理非常有用。以下是使用DIS的典型场景: 加速日志和数据传送获取:您无需等待批量处理数据,而是让数据生产者在生成数据后立即输入DIS数据通道,防止因数据生产者出现故障导致的数据损失。例如,系统和应用程序日志可以持续添加到数据通道并可在数秒内进行处理。
认证鉴权 调用接口有如下两种认证方式,您可以选择其中一种进行认证鉴权。 Token认证:通过Token认证通用请求。 AK/SK认证:通过AK(Access Key ID)/SK(Secret Access Key)加密调用请求。 仅当创建IAM用户时的访问方式勾选“编程访问”后
步骤3:发送数据到DIS 功能简介 将用户本地数据通过DIS通道不断上传至DIS服务。 目前数据支持存储至DIS和对象存储服务(Object Storage Service,简称OBS)MapReduce服务(MapReduce Service,简称MRS)、数据仓库服务(Data
步骤3:发送数据到DIS 功能简介 将用户本地数据通过DIS通道不断上传至DIS服务。 目前数据支持存储至DIS和对象存储服务(Object Storage Service,简称OBS)MapReduce服务(MapReduce Service,简称MRS)、数据仓库服务(Data
数据接入服务-成长地图 | 华为云 数据接入服务 数据接入服务(Data Ingestion Service,简称DIS)面向IoT、互联网等实时数据,提供高效采集、传输、分发能力,支持多种IoT协议,提供丰富的接口,帮助您快速构建实时数据应用。 产品介绍 图说DIS 图说ECS
配置Plugin DIS Flume Plugin 分为Source与Sink插件,安装包中的dis-flume-plugin.conf.template文件列出了配置方法,本节介绍各种插件的配置项具体含义。 dis-flume-plugin.conf.template只是一个d