检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
验证Plugin 验证DIS Source 使用PuTTY工具远程登录Flume所在服务器。 确认已配置好包含dis source的配置文件 可基于Flume自带的flume-conf.properties.template修改,文件样例如下所示: agent.sources =
通道管理 创建通道 查询通道列表 删除指定通道 查看通道详情 修改分区数量 更新通道信息 添加权限策略 查询权限策略列表 父主题: API说明
启动DIS Agent Linux服务器上启动DIS Agent 使用PuTTY工具登录日志所在服务器。 进入DIS Agent安装目录。其中“x.x.x”表示版本号。 cd /opt/dis-agent-x.x.x/ 启动DIS Agent。 bash bin/start-dis-agent.sh
使用SDK(Java) 准备环境 配置样例工程 初始化DIS客户端 创建通道 添加转储任务 更新转储任务 删除转储任务 查询转储列表 查询转储详情 删除通道 查询通道列表 查询通道详情 下载流式数据 上传流式数据 获取数据游标 创建APP 删除APP 新增Checkpoint 查询
修订记录 发布日期 修订说明 2019-12-11 第二十四次正式发布: 增加dis-kafka-adapter,增加使用Kafka Adapter上传与下载数据。 2019-10-08 第二十三次正式发布: 优化Java和Python SDK。 2019-07-08 第二十次正式发布
创建用户并授权使用DIS 如果您需要对您所拥有的数据接入服务(DIS)进行精细的权限管理,您可以使用统一身份认证服务(Identity and Access Management,简称IAM),通过IAM,您可以: 根据企业的业务组织,在您的华为云账号中,给企业中不同职能部门的员工创建
自定义SparkStreaming作业 获取DIS Spark Streaming Demo 这里获取“dis-spark-streaming-X.X.X.zip”压缩包。解压“dis-spark-streaming-X.X.X.zip”压缩包,解压之后获得以下目录: “dis-spark-streaming-demo
删除指定通道的标签 功能介绍 该接口用于删除指定通道的标签。 调用方法 请参见如何调用API。 URI DELETE /v2/{project_id}/stream/{stream_id}/tags/{key} 表1 路径参数 参数 是否必选 参数类型 描述 project_id
配置Plugin DIS Flume Plugin 分为Source与Sink插件,安装包中的dis-flume-plugin.conf.template文件列出了配置方法,本节介绍各种插件的配置项具体含义。 dis-flume-plugin.conf.template只是一个dis
入门实践 当您参考开通DIS、从DIS获取数据等一系列操作后,可以根据自身的业务需求使用DIS提供的一系列常用实践。 表1 常用最佳实践 实践 描述 案例 使用DIS实时分析车辆位置 数据接入服务(Data Ingestion Service,简称DIS)实时采集车辆位置数据并上传到华为云的表格存储服务
查看通道监控信息 用户可以通过控制台查看通道的监控信息,支持按照App维度监控App在通道中消费的数据信息。 使用注册账户登录DIS控制台。 单击管理控制台左上角的,选择区域和项目。 在左侧列表栏中选择“通道管理”。 单击需要查看监控信息的通道名称,进入监控页面。 根据实际情况在“
应用示例 操作场景 数据接入服务面向实时数据,提供高效采集、传输、分发能力,提供丰富的接口,帮助您快速构建实时数据应用。 下面介绍如何调用创建通道API创建数据接入通道,API的调用方法请参见如何调用API。 通过IAM服务获取到的Token有效期为24小时,需要使用同一个Token
添加权限策略 功能介绍 本接口用于给指定通道添加权限策略。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/streams/{stream_name}/policies 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是
App管理 创建消费App 查询App列表 删除App 查看App详情 查看App消费状态 父主题: API说明
管理通道 通道列表简介 查看通道监控信息 变更源数据类型 管理源数据Schema 管理通道标签 管理App 授权管理 调试通道 弹性伸缩分区 删除通道
调试通道 用户在创建通道成功后 ,可在界面进行简单的上传和下载操作,验证通道的可用性。 通道分区状态为ACTIVE(可用)时,同时支持上传和下载。 通道分区状态为DELETED(删除中)时,仅支持下载,不支持上传。 使用注册账户登录DIS控制台。 单击管理控制台左上角的,选择区域和项目
弹性伸缩分区 用户在创建通道成功后,随着业务的发展和变化,对通道容量有了新的需求。弹性伸缩分区可以对已经创建成功的通道进行分区扩容或者分区缩容以满足用户这一需求,支持自动和手动扩缩容两种方式。 约束限制 每个通道在一小时内仅可操作实现10次自动扩容、10次手动扩容、1次缩容(包含手动缩容和自动缩容
构造请求 本节介绍REST API请求的组成,并以调用IAM服务的获取用户Token说明如何调用API,该API获取用户的Token,Token可以用于调用其他API时鉴权。 您还可以通过这个视频教程了解如何构造请求调用API:https://bbs.huaweicloud.com
转储任务管理 添加OBS转储任务 查询转储任务列表 删除转储任务 查询转储任务详情 批量启动转储任务 批量暂停转储任务 添加DWS转储任务 添加MRS转储任务 添加DLI转储任务 添加CloudTable转储任务 父主题: API说明
获取项目ID 介绍如何在控制台或者调用API获取项目ID。 调用API获取项目ID 项目ID可以通过调用查询指定条件下的项目信息API获取。 获取项目ID的接口为“GET https://{Endpoint}/v3/projects”,其中{Endpoint}为IAM的终端节点,可以从地区和终端节点获取