检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查询App列表 功能介绍 本接口用于查询APP列表。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/apps 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。 表2 Query参数 参数 是否必选
查询通道列表 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下: 1 start_stream_name = "" #可设置为空,或是已存在的通道名 执行listStream_sample.py文件默认调用listStream_test方法,获取响应200查询成功。
查询APP列表 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 listApp_test 方法中的(limit可设置单次请求返回APP列表的最大数量取值范围:1~100)。 配置参数如下: 1 startAppName="app1" #APP名称(从该通道开始返回
缺省值:NOWHERE 枚举值: OBS obs_destination_descriptor 否 OBSDestinationDescriptorRequest object 转储目的地为OBS的参数列表。 表4 OBSDestinationDescriptorRequest 参数 是否必选
查询转储详情 参考初始化DIS客户端的操作初始化一个DIS客户端实例,实例名称为dic。 使用DIS SDK查询指定转储任务的详情。 1 2 3 4 5 6 7 DescribeTransferTaskRequest request = new DescribeTransferTaskRequest();
uest))); 表1 请求参数说明 参数名 类型 说明 limit long 单次请求返回通道列表的最大数量。 取值范围:1~100。 默认值:10。 exclusiveStartStreamName string 从该通道开始返回通道列表,返回的通道列表不包括此通道名称。
setTransferTaskName(taskName); // 配置DLI相关信息:数据库和内表名称。可通过数据湖探索(简称DLI)控制台创建和查询,DLI表需为内表 descriptor.setDliDatabaseName("dis_dli"); descriptor.setDliTa
-R 640 jre/ 将压缩包上传到“jre”目录下,执行如下命令解压JRE安装包。 tar -zxvf JRE包名.tar.gz 修改“/etc/profile”配置文件。 执行vim /etc/profile命令,进入“profile”文件。 在“JAVA_HOME”配置项里添加JDK的安装目录,内容如下。
默认配置为300秒。 - 源数据类型JSON/CSV==>转储文件格式Parquet 表3罗列了源数据类型为JSON,CSV,转储至OBS(对应转储文件格式Parquet)时需要配置的差异化参数,共性参数的配置请参见表1。 表3 转储Parquet格式文件的配置参数 参数 说明 取值 源数据Schema
缺省值:NOWHERE 枚举值: DLI dli_destination_descriptor 否 DliDestinationDescriptorRequest object 转储目的地为DLI的参数列表。 表4 DliDestinationDescriptorRequest 参数 是否必选
缺省值:NOWHERE 枚举值: MRS mrs_destination_descriptor 否 MRSDestinationDescriptorRequest object 转储目的地为MRS的参数列表。 表4 MRSDestinationDescriptorRequest 参数 是否必选
查询权限策略列表 功能介绍 本接口用于查询指定通道的权限策略列表。 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/streams/{stream_name}/policies 表1 路径参数 参数 是否必选 参数类型 描述 project_id
uet、carbon descriptor.setDestinationFileType(DestinationFileTypeEnum.TEXT.getType()); request.setObsDestinationDescriptor(descriptor); 配置“
Agent采集数据并上传数据至DIS。 DIS Agent介绍 DIS Agent概述 安装并配置DIS Agent 上传数据 启动Agent上传数据 查看数据上传结果 05 实践 通过提供针对多种场景的使用样例,方便您快速了解使用DIS完成实时数据的采集和分析。 案例介绍 使用DIS实时分析车辆位置
0及以上版本。执行如下命令查看Java版本。 java -version 确认使用的JRuby版本为9.0.0.0及以上版本。执行如下命令查看JRuby版本。 $ bin/jruby -v 检查DIS通道 使用注册账户登录DIS控制台。 单击管理控制台左上角的,选择区域和项目。 在左侧列表栏中选择“通道管理”。
在对应“任务名称”的操作列单击“更多 > 查看转储日志”,查看该通道的转储详情。转储参数说明如表1所示。 表1 DIS转储日志参数说明 参数 说明 开始时间 用户转储日志开始构建的时间。 格式:YYYY/MM/dd HH:mm:ss GTM YYYY:表示年份 MM:表示月份 dd:表示日期 HH:表示小时 mm:表示分钟
确认Flume版本为1.4.0及以上版本。进入Flume安装目录,执行如下命令查看Flume版本。 $ bin/flume-ng version | grep Flume 确认使用的Java版本为1.8.0及以上版本。执行如下命令查看java版本。 java -version 检查DIS通道 使用注册账户登录DIS控制台。
eartbeat {"state":"STABLE"}的信息,表示整个消费组都完成分配,可以正常消费数据了。 此过程的关键日志说明如下 Heartbeat {"state":"JOINING"} Heartbeat表示心跳请求,每10s发起一次,用于和服务端保持连接。如果超过1分
据Schema。 使用注册账户登录DIS控制台。 单击管理控制台左上角的,选择区域。 在左侧列表栏中选择通道管理。 单击通道名称。进入所选通道的管理页面。 单击“源数据类型”后的“查看已有源数据Schema”。 弹出源数据Schema文本框,单击,修改源数据Schema。 图6 修改源数据Schema