正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
String 存储该通道数据的DWS数据库名称。 dws_schema 是 String 存储该通道数据的DWS数据库模式。 dws_table_name 是 String 存储该通道数据的DWS数据库模式下的数据表。 dws_delimiter 是 String 用户数据的字段分隔符,根
离线安装需要获取插件包并执行安装脚本。 前提条件 已安装PuTTY工具。 操作步骤 使用PuTTY工具(或其他终端工具)远程登录Logstash服务器。 进入到Logstash的安装目录。 cd ${LOGSTASH_HOME} 上传“dis-logstash-plugins-X.X.X
使用DIS Flume Plugin上传与下载数据 DIS Flume Plugin概述 安装DIS Flume Plugin前准备 安装Plugin 配置Plugin 验证Plugin 卸载Plugin(可选) 父主题: 使用DIS
在IAM控制台创建用户组,并授予数据接入服务的通道管理权限“DIS Operator”。 创建用户并加入用户组 在IAM控制台创建用户,并将其加入1中创建的用户组。 用户登录并验证权限 新创建的用户登录控制台,切换至授权区域,验证权限: 在“服务列表”中选择“数据接入服务”,进入DIS主界面
使用DIS Logstash Plugin上传与下载数据 DIS Logstash Plugin概述 安装DIS Logstash Plugin前准备 在线安装DIS Logstash Plugin 离线安装DIS Logstash Plugin 配置DIS Logstash Plugin
应用示例 操作场景 数据接入服务面向实时数据,提供高效采集、传输、分发能力,提供丰富的接口,帮助您快速构建实时数据应用。 下面介绍如何调用创建通道API创建数据接入通道,API的调用方法请参见如何调用API。 通过IAM服务获取到的Token有效期为24小时,需要使用同一个Tok
分区键和数据块组成。数据块是您的数据生产者添加到数据通道的重要数据。数据块的最大尺寸(Base64编码前的数据有效载荷)是1MB。 序列号:序列号是每个记录的唯一标识符。序列号由DIS在数据生产者调用PutRecord操作以添加数据到DIS数据通道时DIS服务自动分配的。同一分区
步骤2:准备DIS应用开发环境 用户开发DIS应用程序前,首先需要安装和配置应用开发环境。获取SDK和样例工程,并导入到用户的开发环境中。 前提条件 JDK(1.8版本或以上版本)工具已安装成功。 Eclipse工具已安装成功。 操作步骤 Eclipse中配置JDK。 打开Eclipse工具,选择“Window
Agent是数据接入服务(DIS)提供的一个客户端程序,具有如下功能: 持续查询文本文件,实时收集增量数据按分隔符解析并上传到DIS通道(通道源数据类型为BLOB/JSON/CSV)。 DIS Agent安装流程如图1所示。 图1 安装流程 父主题: 使用Agent上传数据
PROPERTY_PRODUCER_EXCEPTION_RETRIES, "-1") .build(); 若需在客户端将数据加密后再上传到DIS,DIS SDK提供了加密方法。即在构建disclient时增加参数DataEncryptEnabled和data.password。 1
可待通道创建成功后。到通道的管理页面创建数据Schema,详情请参见管理源数据Schema。 “源数据类型”为“JSON”和“CSV”时,可选择创建数据Schema。 源数据Schema 支持输入和导入源数据样例,源数据样例格式为JSON或者CSV,详细操作请参见管理源数据Schema。 在左侧文
String 用户数据转储CloudTable服务失败时,可选择将转储失败的数据备份至OBS服务,此参数为OBS服务的桶名称。 backup_file_prefix String 用户数据转储CloudTable服务失败时,可选择将转储失败的数据备份至OBS服务,此参数为OBS桶
什么是DIS? 数据接入服务(Data Ingestion Service)为处理或分析流数据的自定义应用程序构建数据流管道,主要解决云服务外的数据实时传输到云服务内的问题。数据接入服务每小时可从数十万种数据源(如IoT数据采集、日志和定位追踪事件、网站点击流、社交媒体源等)中连续捕获、传送和存储数TB数据。
可待通道创建成功后。到通道的管理页面创建数据Schema,详情请参见管理源数据Schema。 “源数据类型”为“JSON”和“CSV”时,可选择创建数据Schema。 源数据Schema 支持输入和导入源数据样例,源数据样例格式为JSON或者CSV,详细操作请参见管理源数据Schema。 在左侧文
请根据实际情况配置 region 是 将数据上传到指定Region的DIS服务。 cn-north-1 project_id 是 用户所属区域的项目ID。 获取方式请参见检查认证信息。 请根据实际情况配置 body_compress_enabled 否 是否开启传输数据压缩。 否 body_compress_type
setUserPassword(System.getenv("DB_PASSWORD")); //DIS调用KMS服务加密存储DWS的密码,保证用户数据安全:用户可通过数据加密服务(简称KMS)控制台的"秘钥管理"创建和查询KMS秘钥信息 descriptor.setKmsUserKeyName("qiyinshan");
财务管理等综合管理服务。区别于管理控制台上独立操控、配置云产品的方式,企业管理控制台以面向企业资源管理为出发点,帮助企业以公司、部门、项目等分级管理方式实现企业云上的人员、资源、权限、财务的管理。 已开通企业项目服务的用户,可以使用企业项目管理华为云上的云服务资源。 绑定企业项目
实时指标和报告:实时从DIS数据通道数据提取指标并生成报告。例如,数据接入服务应用程序可以处理系统和应用程序日志的指标和报告,因为数据被流入而不是等待收到批量数据。 实时数据分析:通过数据接入服务,可以运行实时通道数据分析。例如,可以通过API把数据实时添加到DIS数据通道中,并让您的DI