检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
前提条件 已获取“PuTTY”工具。 已获取“WinSCP”工具。 操作步骤 使用“WinSCP”工具将“huaweicloud-sdk-dis-x.x.x.zip”上传至Linux系统任一目录。 x.x.x表示DIS SDK包的版本号。 使用“PuTTY”工具登录Linux系统,进入
sinks.loggerSink.channel = memoryChannel 启动Flume程序,启动命令请参考Apache Flume官网指导。 如果从Flume安装目录启动,示例命令如下所示: bin/flume-ng agent --conf-file conf/flume-conf
使用Kafka Adapter上传与下载数据 使用DIS SparkStreaming上传与下载数据 管理转储任务 新增转储任务 转储至OBS 转储至DLI 转储至DWS 转储至MRS 常见问题 了解更多常见问题、案例和解决方案 热门案例 什么是DIS? 什么是分区? 如何开通DIS通道
管理转储任务 新增转储任务 转储至OBS 转储至DLI 转储至DWS 转储至MRS
DIS使用流程简介 步骤1:开通DIS通道 步骤2:准备DIS应用开发环境 步骤3:发送数据到DIS 步骤4:从DIS获取数据 获取认证信息 连接OBS 自动创建委托
转储任务管理 添加OBS转储任务 查询转储任务列表 删除转储任务 查询转储任务详情 批量启动转储任务 批量暂停转储任务 添加DWS转储任务 添加MRS转储任务 添加DLI转储任务 添加CloudTable转储任务 父主题: API说明
-R 640 jre/ 将压缩包上传到“jre”目录下,执行如下命令解压JRE安装包。 tar -zxvf JRE包名.tar.gz 修改“/etc/profile”配置文件。 执行vim /etc/profile命令,进入“profile”文件。 在“JAVA_HOME”配置项里添加JDK的安装目录,内容如下。
确认Flume版本为1.4.0及以上版本。进入Flume安装目录,执行如下命令查看Flume版本。 $ bin/flume-ng version | grep Flume 确认使用的Java版本为1.8.0及以上版本。执行如下命令查看java版本。 java -version 检查DIS通道
由于频繁的错误访问导致用户ip被加入黑名单,请检查认证信息和请求是否有效,并稍后重试。 400 DIS.4310 OBS access error. 访问OBS失败 请检查用户是否有访问OBS的权限。 400 DIS.4329 app quota exceeded. APP配额超出限制 请释放APP的配额。
续捕获、传送和存储数TB数据。 数据流向 DIS实时从多种数据源采集数据。 DIS连续传输数据,自动将数据传输至MRS,DLI,DWS和OBS等服务做计算,分析和存储。 图1 数据流向 父主题: 一般性问题
验证DIS Agent Linux服务器上验证DIS Agent 使用PuTTY工具登录日志所在服务器。 进入DIS Agent的日志目录。 cd /opt/dis-agent-X.X.X/logs 查看日志。 tail -100f dis-agent.log 显示如下信息,表示Agent正常运行。
/v2/{project_id}/stream/tags 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。
tream_id}/tags 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。 stream_id 是 String 通道ID。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String
{key} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。 stream_id 是 String 通道ID。 key 是 String 标签键。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token
Ingestion Service,简称DIS)采集增量驾驶行为日志数据并上传到华为云对象存储服务(Object Storage Service,简称OBS),通过数据湖探索(Data Lake Insight,简称DLI)分析上传的日志数据,获取驾驶员的驾驶行为,以支持车企提供驾驶习惯优化等增值服务。
1552458085454 }, { "destination_type":"OBS", "task_name":"task_qTd9", "create_time":1552355757885
icies 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。 stream_name 是 String 需要添加授权策略的通道名称。 最大长度:64 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token
应用程序运行实时分析,让其他应用程序从同一个DIS数据通道中将数据发送至对象存储服务(Object Storage Service,简称OBS)。 安全可靠:DIS可将数据保留N*24小时,N的取值为1~7的整数,以防数据在应用程序故障、个别机器故障或设施故障时丢失。 父主题: 一般性问题
监控结束时间点,10位时间戳。 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 响应参数 状态码: 200 表4
请参见如何调用API。 URI GET /v2/{project_id}/apps 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。 表2 Query参数 参数 是否必选 参数类型 描述 limit 否 Integer 单次请求返回APP列表的最大数量。