检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
安装Plugin 前提条件 已安装PuTTY工具。 操作步骤 使用PuTTY工具(或其他终端工具)远程登录Flume服务器。 进入到Flume的安装目录。 cd ${FLUME_HOME} 上传“dis-flume-plugin-X.X.X.zip”安装包到此目录下。 解压安装包。
离线安装需要获取插件包并执行安装脚本。 前提条件 已安装PuTTY工具。 操作步骤 使用PuTTY工具(或其他终端工具)远程登录Logstash服务器。 进入到Logstash的安装目录。 cd ${LOGSTASH_HOME} 上传“dis-logstash-plugins-X.X.X
m,则将下面的CustomFileStream与另外的DISStream模块删除或者注释)。 Linux服务器上配置DIS Agent 使用PuTTY 工具登录日志所在服务器。 执行cd /opt/dis-agent-X.X.X/命令,进入“dis-agent-X.X.X”文件夹。
"Altitude":"null"} 本实践中,通过使用HBase shell客户端完成建表操作。 准备Linux弹性云服务器。假设该弹性云服务器名称为“ecs-385d”,具体操作请参见准备弹性云服务器。 安装客户端并启动Shell访问CloudTable集群,具体操作请参见使用HBaseShell访问集群。
验证Plugin 验证DIS Source 使用PuTTY工具远程登录Flume所在服务器。 确认已配置好包含dis source的配置文件 可基于Flume自带的flume-conf.properties.template修改,文件样例如下所示: agent.sources =
Source的类型。 com.cloud.dis.adapter.flume.source.DISSource streams 是 指定在DIS服务上创建的通道名称。 与DIS控制台“购买接入通道”时配置的“通道名称”取值一致。 ak 是 用户的Access Key。 获取方式请参见检查认证信息。
附录 错误码 状态码 获取项目ID 介绍如何在控制台或者调用API获取项目ID。
计费说明 计费项 DIS根据您的消息数量和使用分区时长计费。 表1 计费项信息 计费项 计费说明 消息数量 用户上传至DIS通道的消息数量,下载不计入消息数量。单条消息计量不超过25KB,即用户每次上传的单条数据超过25KB是按多条消息计算,不足25KB时,按单条消息计算。 说明:
用实践。 表1 常用最佳实践 实践 描述 案例 使用DIS实时分析车辆位置 数据接入服务(Data Ingestion Service,简称DIS)实时采集车辆位置数据并上传到华为云的表格存储服务(CloudTable Service,简称CloudTable)中,用户可以使用C
使用限制 使用DIS前,您需要认真阅读并了解以下使用限制。 建议使用支持的浏览器登录DIS。 Google Chrome:48.0及更高版本 Mozilla FireFox:43.0及更高版本 Internet Explorer:9.0及更高版本 当使用Internet Explorer
简介 DIS SDK能做什么 内容导航
IAM用户ID,在项目列表中查看项目和项目ID。 获取区域和Endpoint信息 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同。DIS的终端节点Endpoint构造规则为dis.{region_id}.{域名},您可以从地区和终端节点获取区域和终端节点信息。
如表1所示,包括了DIS的所有系统权限。其中“依赖关系”表示该系统权限对其它权限的依赖。由于华为云各服务之间存在业务交互关系,数据接入服务的权限依赖其他服务的权限实现功能。因此给用户授予数据接入服务的权限时,需要同时授予依赖的权限,数据接入服务的权限才能生效。 表1 DIS系统权限 系统角色 策略类别 描述 依赖关系
入门 DIS使用流程简介 步骤1:开通DIS通道 步骤2:准备DIS应用开发环境 步骤3:发送数据到DIS 步骤4:从DIS获取数据 获取认证信息 连接OBS 自动创建委托
连接OBS 介绍 DIS可以向对象存储服务(Object Storage Service,简称OBS)上传数据。 前提条件 已参考自动创建委托创建IAM委托,授权DIS服务去访问用户的OBS。 数据转储 用户在新增转储任务时可设置”数据转储地址”。当“数据转储”设置为“OBS”时,DIS会将通道数据周期性导入OBS。
异常信息 DIS服务端错误码
API概览 DIS提供的接口为符合RESTful API设计规范的自研接口。 通过DIS的自研接口,您可以使用DIS的如API说明所示的功能。
使用DIS采集增量驾驶行为日志数据 场景简介 数据接入服务(Data Ingestion Service,简称DIS)采集增量驾驶行为日志数据并上传到华为云对象存储服务(Object Storage Service,简称OBS),通过数据湖探索(Data Lake Insight
获取认证信息 获取AK/SK AK/SK (Access Key ID/Secret Access Key)是用户调用接口的访问密钥。由用户在Iam中创建,可在“我的凭证 > 访问密钥”页面下载生成。 获取项目ID 项目ID表示租户的资源。用户可在“我的凭证 > > API凭证”