检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
离线安装需要获取插件包并执行安装脚本。 前提条件 已安装PuTTY工具。 操作步骤 使用PuTTY工具(或其他终端工具)远程登录Logstash服务器。 进入到Logstash的安装目录。 cd ${LOGSTASH_HOME} 上传“dis-logstash-plugins-X.X.X
简称DIS)面向IoT、互联网等实时数据,提供高效采集、传输、分发能力,支持多种IoT协议,提供丰富的接口,帮助您快速构建实时数据应用。 产品介绍 图说DIS 图说ECS 立即使用 成长地图 由浅入深,带您玩转DIS 01 了解 了解华为云DIS的产品架构、功能和基础知识,有助于您更准确地匹配实际业务,让数据上云变得更简单、更方便。
项目ID表示租户的资源。用户可在“我的凭证 > > API凭证”页面下查看项目列表中不同Region对应的项目ID。 获取region和endpoint 请参见终端节点及区域说明。 父主题: 入门
项目ID表示租户的资源。用户可在“我的凭证 > > API凭证”页面下查看项目列表中不同Region对应的项目ID。 获取region和endpoint 请参见终端节点及区域说明。
验证Plugin 验证DIS Source 使用PuTTY工具远程登录Flume所在服务器。 确认已配置好包含dis source的配置文件 可基于Flume自带的flume-conf.properties.template修改,文件样例如下所示: agent.sources =
获取区域和Endpoint信息 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同。DIS的终端节点Endpoint构造规则为dis.{region_id}.{域名},您可以从地区和终端节点获取区域和终端节点信息。
选择“VPC终端节点 > 终端节点”,单击“购买终端节点”。 “服务类别”选择“云服务”,并在服务中选择DIS服务的终端节点,例如华东-上海二为com.myhuaweicloud.cn-east-2.dis。然后选择专线所在的VPC和子网即可。 图1 购买终端节点 创建终端节点成功之后,
AM用户名和IAM用户ID,在项目列表中查看项目ID。 获取endpoint 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同。本服务的Endpoint可从终端节点Endpoint获取。 安装Agent 在这里获取Agent安装包。 解压“dis-agent-X
添加根节点。 图4 直接创建源数据Schema-1 根节点添加完成后,选中已创建的根节点,按照同样的方法,配置“属性名”和“数据类型”,添加子节点。 图5 直接创建源数据Schema-2 选中根节点或者子节点前的复选框,单击“删除” ,可将节点删除。 选中根节点或者子节点前的复选
如果您的应用要求实例之间的网络延时较低,则建议您将资源创建在同一可用区内。 区域和终端节点 当您通过API使用资源时,您必须指定其区域终端节点。有关华为云的区域和终端节点的更多信息,请参阅地区和终端节点。
Sink程序调用DIS接口异常时尝试重新调用的次数。 建议使用默认值2147483647,表示会无限重试。 重试时会使用指数退避算法,并等待一段时间,以减轻异常时服务器压力。 2147483647 resultLogLevel 否 每次调用DIS接口后输出最新sequenceNumber到日志的级别。 有效值与级别由低到高为
使用前必读 概述 调用说明 终端节点 约束与限制 基本概念
String value = "Hello world[sync]. " + i; Future<RecordMetadata> future = producer.send(new ProducerRecord<>(streamName, key, value));
您需要规划数据接入服务所在的区域信息,并根据区域确定调用API的Endpoint。 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同。本服务的Endpoint您可以从终端节点Endpoint获取。 创建通道 如下示例是创建通道最简单的配置。 Token认证,具体操作请参考Token认证。
String value = "Hello world[sync]. " + i; Future<RecordMetadata> future = producer.send(new ProducerRecord<>(streamName, key, value));
将显示用户在企业项目服务中已创建的项目。系统还内置了一个缺省的企业项目“default”,如果用户没有为通道选择企业项目,将使用缺省项目“default”。 在通道创建过程中,如果通道与企业项目绑定成功,则通道创建成功,如果绑定失败,系统会发送告警,通道创建失败。 当删除DIS通
获取项目ID的接口为“GET https://{Endpoint}/v3/projects”,其中{Endpoint}为IAM的终端节点,可以从地区和终端节点获取。接口的认证鉴权请参见认证鉴权。 响应示例如下,其中projects下的“id”即为项目ID。当返回多个id,请依据实际的区域(name)获取。
SignedHeaders,Signature;} 请求头里的签名信息Authorization字段有误 请检查请求头里的Authorization字段是否包含Credential,SignedHeaders, Signature。 441 DIS.4110 Empty Signature header
YOU_PROJECTID YOU_STREAM_NAME latest GROUP_ID 参数顺序与含义在示例代码中有,可以参考。 // DIS终端节点,如 https://dis.cn-north-1.myhuaweicloud.com String endpoint;
什么是DIS? 数据接入服务(Data Ingestion Service)为处理或分析流数据的自定义应用程序构建数据流管道,主要解决云服务外的数据实时传输到云服务内的问题。数据接入服务每小时可从数十万种数据源(如IoT数据采集、日志和定位追踪事件、网站点击流、社交媒体源等)中连续捕获、传送和存储数TB数据。