检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用限制 使用DIS前,您需要认真阅读并了解以下使用限制。 建议使用支持的浏览器登录DIS。 Google Chrome:48.0及更高版本 Mozilla FireFox:43.0及更高版本 Internet Explorer:9.0及更高版本 当使用Internet Explorer
管理通道 通道列表简介 查看通道监控信息 变更源数据类型 管理源数据Schema 管理通道标签 管理App 授权管理 调试通道 弹性伸缩分区 删除通道
简介 DIS SDK能做什么 内容导航
API说明 通道管理 App管理 Checkpoint管理 数据管理 转储任务管理 监控管理 标签管理
什么是DIS? 数据接入服务(Data Ingestion Service)为处理或分析流数据的自定义应用程序构建数据流管道,主要解决云服务外的数据实时传输到云服务内的问题。数据接入服务每小时可从数十万种数据源(如IoT数据采集、日志和定位追踪事件、网站点击流、社交媒体源等)中连续捕获
配置DIS Logstash Plugin DIS Logstash Plugins 分为Input与Output插件,本节介绍插件的各个配置项具体含义。 配置DIS Logstash Input 配置模板如下:(该模板为从DIS通道下载数据写入本地文件) input { dis
卸载DIS Logstash Plugin(可选) 操作步骤 使用PuTTY工具远程登录Logstash所在服务器。 停止Logstash程序。 进入DIS Logstash Plugins插件所在的目录。 cd ${LOGSTASH_HOME} cd logstash-plugins
准备DIS Flink Connector的相关环境 准备DIS应用开发环境 参考步骤1:开通DIS通道准备相应DIS环境。 安装Maven并配置本地仓库地址。 安装scala-sdk。 配置DIS Flink Connector依赖 项目中可通过以下配置引入DIS Flink Connector
步骤1:开通DIS通道 用户可以基于云管理平台Web界面开通DIS通道。 前提条件 使用DIS前需要注册公有云账户,再开通DIS。 操作步骤 使用注册账户登录DIS控制台。 单击管理控制台左上角的,选择区域和项目。 单击“购买接入通道”配置相关参数。 表1 接入通道参数说明 参数
获取项目ID 介绍如何在控制台或者调用API获取项目ID。 调用API获取项目ID 项目ID可以通过调用查询指定条件下的项目信息API获取。 获取项目ID的接口为“GET https://{Endpoint}/v3/projects”,其中{Endpoint}为IAM的终端节点,可以从地区和终端节点获取
自动创建委托 用户创建DIS通道,选择将数据转储到对象存储服务(Object Storage Service,简称OBS)、MapReduce服务(MRS)集群、数据仓库服务(Data Warehouse Service,简称DWS)或数据湖探索(Data Lake Insight
使用SDK 使用SDK(Java) 使用Kafka Adapter上传与下载数据 使用SDK(Python)
使用CES监控DIS 支持的监控指标 设置告警规则 查看监控指标
调用说明 数据接入服务提供了REST(Representational State Transfer)风格API,支持您通过HTTPS请求调用。 调用方法请参见如何调用API。 父主题: 使用前必读
返回结果 状态码 请求发送以后,您会收到响应,包含状态码、响应消息头和消息体。 状态码是一组从1xx到5xx的数字代码,状态码表示了请求响应的状态,完整的状态码列表请参见状态码。 对于获取用户Token接口,如果调用后返回状态码为“201”,则表示请求成功。 响应消息头 对应请求消息头
监控管理 查询通道监控 查询分区监控 父主题: API说明
管理通道标签 标签是通道的标识。为通道添加标签,可以方便用户识别和管理拥有的通道资源。 您可以在创建通道时添加标签,也可以在通道创建完成后,在通道的详情页添加标签,您最多可以给通道添加10个标签。 标签共由两部分组成:“标签键”和“标签值”,其中,“标签键”和“标签值”的命名规则如表
查看事件 介绍用户如何查找通道或转储任务发生的事件。 在“事件管理”页面中单击“事件”,默认显示当前所有通道或转储任务已发生的事件。 在事件列表右上方的下拉列表中通过选择不同的筛选条件搜索事件。可从事件级别和事件源两个维度进行筛选。 在下拉列表中选择“所有事件级别”、“正常”或“警告
安装DIS Logstash Plugin前准备 检查依赖 确认Logstash已安装并能正常运行。 确认使用的Java版本为1.8.0及以上版本。执行如下命令查看Java版本。 java -version 确认使用的JRuby版本为9.0.0.0及以上版本。执行如下命令查看JRuby