检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
授权管理 通过添加授权策略,可实现被授权的其他用户拥有DIS通道的上传和下载权限。 使用注册账户登录DIS控制台。 单击管理控制台左上角的,选择区域和项目。 在左侧列表栏中选择“通道管理”。 单击通道名称,进入所选通道的管理页面。 选择“授权管理”,单击“添加授权策略”, 选择授权模式
安装DIS Logstash Plugin前准备 检查依赖 确认Logstash已安装并能正常运行。 确认使用的Java版本为1.8.0及以上版本。执行如下命令查看Java版本。 java -version 确认使用的JRuby版本为9.0.0.0及以上版本。执行如下命令查看JRuby
安装DIS Flume Plugin前准备 检查依赖 确认Flume已经安装并能正常运行。 确认Flume版本为1.4.0及以上版本。进入Flume安装目录,执行如下命令查看Flume版本。 $ bin/flume-ng version | grep Flume 确认使用的Java
数据接入服务-成长地图 | 华为云 数据接入服务 数据接入服务(Data Ingestion Service,简称DIS)面向IoT、互联网等实时数据,提供高效采集、传输、分发能力,支持多种IoT协议,提供丰富的接口,帮助您快速构建实时数据应用。 产品介绍 图说DIS 图说ECS
事件通知概述 概述 DIS使用SMN(Simple Message Notification,消息通知服务)发送DIS事件的通知,订阅DIS事件即可启用通知。在订阅中,用户需要指定一个或多个事件筛选条件。每当发生与所有筛选条件匹配的事件时,DIS就会通过该订阅发送通知。筛选条件包含事件类别
添加DLI转储任务 功能介绍 本接口用于添加DLI转储任务。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/streams/{stream_name}/transfer-tasks 表1 路径参数 参数 是否必选 参数类型 描述 project_id
查询指定通道的标签信息 功能介绍 该接口用于查询指定通道的标签信息。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/stream/{stream_id}/tags 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
验证DIS Agent Linux服务器上验证DIS Agent 使用PuTTY工具登录日志所在服务器。 进入DIS Agent的日志目录。 cd /opt/dis-agent-X.X.X/logs 查看日志。 tail -100f dis-agent.log 显示如下信息,表示Agent
认证鉴权 调用接口有如下两种认证方式,您可以选择其中一种进行认证鉴权。 Token认证:通过Token认证通用请求。 AK/SK认证:通过AK(Access Key ID)/SK(Secret Access Key)加密调用请求。 仅当创建IAM用户时的访问方式勾选“编程访问”后,
安装前准备 检查依赖 服务器类型。 Linux x86-64(64位)服务器,常见的有EulerOS、Ubuntu、Debian、CentOS、OpenSUSE等。 Windows 7及以上版本。 已安装1.8.0及以上版本的Java。 请参见JRE地址下载JRE。 Linux服务器安装请参考如下步骤
添加MRS转储任务 功能介绍 本接口用于添加MRS转储任务。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/streams/{stream_name}/transfer-tasks 表1 路径参数 参数 是否必选 参数类型 描述 project_id
配置DIS Agent DIS Agent配置文件格式为“YAML”,各配置项与值之间必须以英文格式的“冒号+空格”形式分隔。 agent.yml文件模板可从“dis-agent”压缩包中获取,内容示例如下。具体配置项说明请参见表1。 --- # cloud region id region
查看通道监控信息 用户可以通过控制台查看通道的监控信息,支持按照App维度监控App在通道中消费的数据信息。 使用注册账户登录DIS控制台。 单击管理控制台左上角的,选择区域和项目。 在左侧列表栏中选择“通道管理”。 单击需要查看监控信息的通道名称,进入监控页面。 根据实际情况在“
检查与配置DNS信息 默认情况下,弹性云服务器已经配置了两个外网DNS服务器。 # Generated by NetworkManager search openstacklocal nameserver 114.114.114.114 nameserver 114.114.115.115
管理源数据Schema 源数据Schema,即用户的JSON或CSV数据样例,用于描述JSON或CSV数据格式。DIS可以根据此JSON或CSV数据样例生成Avro schema, 将通道内上传的JSON或CSV数据转换为Parquet或CarbonData格式。 创建源数据Schema
使用标签过滤资源(通道等) 功能介绍 该接口用于使用标签过滤资源(通道等)。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/stream/resource_instances/action 表1 路径参数 参数 是否必选 参数类型 描述 project_id
状态码 状态码是每次API请求响应的HTTPS状态码,表示本次HTTPS请求服务器返回的状态。 状态码 编码 状态说明 100 Continue 继续请求。 这个临时响应用来通知客户端,它的部分请求已经被服务器接收,且仍未被拒绝。 101 Switching Protocols 切换协议
自定义SparkStreaming作业 获取DIS Spark Streaming Demo 这里获取“dis-spark-streaming-X.X.X.zip”压缩包。解压“dis-spark-streaming-X.X.X.zip”压缩包,解压之后获得以下目录: “dis-spark-streaming-demo
查看App详情 功能介绍 本接口用于查询APP详情。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/apps/{app_name} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。 app_name
批量启动转储任务 功能介绍 此接口用于批量启动转储任务。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/streams/{stream_name}/transfer-tasks/action 表1 路径参数 参数 是否必选 参数类型 描述 project_id