检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Agent上传数据 DIS Agent概述 安装前准备 安装DIS Agent 配置DIS Agent 启动DIS Agent 验证DIS Agent 停止DIS Agent 父主题: 使用DIS
网信息,将DNS服务器地址添加到弹性云服务器对应的子网中。 操作步骤 使用注册账户登录弹性云服务控制台,进入“云服务器控制台”页面。 在页面中单击用户将要使用的弹性云服务器,查看云服务器详情。 在云服务器详情页面中,单击“网卡”,打开相应的下拉菜单,查看弹性云服务器的子网名称。
查看监控指标 操作场景 云监控服务可以对数据接入服务通道的运行状态进行日常监控。您可以通过云监控管理控制台,直观地查看各项监控指标。 由于监控数据的获取与传输会花费一定时间,因此,云监控显示的是当前时间5~10分钟前的状态。如果您的数据接入服务通道刚刚创建完成,请等待5~10分钟后查看监控数据。
DIS SDK能做什么 DIS概述 数据接入服务(Data Ingestion Service)为处理或分析流数据的自定义应用程序构建数据流管道,主要解决云服务外的数据实时传输到云服务内的问题。数据接入服务每小时可从数十万种数据源(如日志和定位追踪事件、网站点击流、社交媒体源等)中连续捕获、传送和存储数TB数据。
请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型
了HBase表。 tbl1 备份开关 用户数据转储CloudTable服务失败时,是否将转储失败的数据备份至OBS服务。 开启:是,转储失败的数据备份至OBS服务。 关闭:否,转储失败的数据不备份至OBS服务。 开关默认关闭。 说明: 关闭开关,转储失败的数据会存储在DIS中,并
获取项目ID 介绍如何在控制台或者调用API获取项目ID。 调用API获取项目ID 项目ID可以通过调用查询指定条件下的项目信息API获取。 获取项目ID的接口为“GET https://{Endpoint}/v3/projects”,其中{Endpoint}为IAM的终端节点,
将用户本地数据通过DIS通道不断上传至DIS服务。 目前数据支持存储至DIS和对象存储服务(Object Storage Service,简称OBS)MapReduce服务(MapReduce Service,简称MRS)、数据仓库服务(Data Warehouse Service,简称DWS)、数据湖探索(Data
打包文件。 取值范围:30~900。 单位:秒。 默认配置为300秒。 - 数据临时桶 用户数据先临时存储在OBS桶中,再转储到指定的转储服务,转储完成后临时桶中的数据会被清除。 - 数据临时目录 需要转储的数据临时存储在OBS桶下此配置项配置的目录中,转储完成后临时目录中的数据会被清除。
DWS集群的用户名。 - 密码 DWS集群的密码。 - KMS密钥 集群的数据库加密密钥。 - 数据临时桶 用户数据先临时存储在OBS桶中,再转储到指定的转储服务,转储完成后临时桶中的数据会被清除。 - 数据临时目录 需要转储的数据临时存储在OBS桶下此配置项配置的目录中,转储完成后临时目录中的数据会被清除。
一般性问题 什么是DIS? 什么是分区? DIS主要应用于哪些场景? DIS有哪些特点和优势? DIS有哪些模块及各模块功能? 如何开通DIS通道? 数据存储在DIS和转储其他资源有什么区别? 如何校验软件包完整性? DIS如何发送和接收数据? 什么是流控? DIS对接EPS鉴权
DIS使用流程简介 DIS的使用流程如下: 步骤1:开通DIS通道 用户使用DIS前需要先开通DIS通道。 步骤2:准备DIS应用开发环境 用户开发DIS应用程序前,首先需要安装应用开发工具。然后获取SDK和样例工程,并导入到用户的开发环境中。 步骤3:发送数据到DIS 基于数据
管理App App表示应用程序标识符。当多个应用程序分别消费同一通道的数据时,为区分不同应用程序的消费检查点,使用App作为标识。 您可以创建App,也可进入通道管理页面,查看接入该通道的App详情。 创建App 使用注册账户登录DIS控制台。 单击管理控制台左上角的,选择区域和项目。
步骤4:从DIS获取数据 功能简介 从DIS服务中下载数据。 样例代码 样例工程为DIS SDK桶中下载的“huaweicloud-sdk-dis-java-X.X.X.zip”压缩包中“\dis-sdk-demo\src\main\java\com\bigdata\dis\sd
事件通知概述 概述 DIS使用SMN(Simple Message Notification,消息通知服务)发送DIS事件的通知,订阅DIS事件即可启用通知。在订阅中,用户需要指定一个或多个事件筛选条件。每当发生与所有筛选条件匹配的事件时,DIS就会通过该订阅发送通知。筛选条件包
返回结果 状态码 请求发送以后,您会收到响应,包含状态码、响应消息头和消息体。 状态码是一组从1xx到5xx的数字代码,状态码表示了请求响应的状态,完整的状态码列表请参见状态码。 对于获取用户Token接口,如果调用后返回状态码为“201”,则表示请求成功。 响应消息头 对应请求
查看事件 介绍用户如何查找通道或转储任务发生的事件。 在“事件管理”页面中单击“事件”,默认显示当前所有通道或转储任务已发生的事件。 在事件列表右上方的下拉列表中通过选择不同的筛选条件搜索事件。可从事件级别和事件源两个维度进行筛选。 在下拉列表中选择“所有事件级别”、“正常”或“警告”。
请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 表3 请求Body参数 参数 是否必选 参数类型 描述 stream_name
单击“去创建SMN主题”,系统将跳转到消息通知服务的“主题”页面,用户可通过单击页面右上方的“创建主题”来新建主题,具体请参见《消息通知服务用户指南》中的“创建主题”章节。 在创建的主题行,单击“更多 > 设置主题策略”,“可发布消息的服务”处勾选“DIS”,使消息通知服务发布DIS消息。 在创建的
支持的监控指标 功能说明 本节定义了数据接入服务上报云监控的监控指标的命名空间,监控指标列表和维度,用户可以通过云监控检索数据接入服务产生的监控指标和告警信息。 命名空间 SYS.DAYU 监控指标 DIS通道支持的监控指标如表1所示。 表1 DIS的监控指标 指标ID 指标名称