检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ect文件所在的目录层次结构,将使用转储文件的生成时间。 例如系统在2018年10月16日生成转储文件,选择“时间目录格式”精确到日,则数据转储成功后,在OBS的存储目录为“桶名称/转储文件目录/2018/10/16”。 开启自定义时间戳开关,则写到OBS的Object文件所在的
streamname="dis-test1" #已存在的通道名 参照该文件中的test方法,bodySerializeType="protobuf"选取protobuf格式上传。 protobuf_putRecords_sample.py文件中的protobuf_putRecords_test方
使用CloudTable查询指定车辆在指定时间段的车辆位置。 使用DIS采集增量驾驶行为日志数据 数据接入服务(Data Ingestion Service,简称DIS)采集增量驾驶行为日志数据并上传到华为云对象存储服务(Object Storage Service,简称OBS),通过数据湖探索(Data
此配置项仅支持选择,不可手动输入。 - HDFS路径 单击“选择”,在“选择HDFS文件路径”窗口按层级选择所需HDFS文件所在路径。 此处路径仅支持选择,不可手动输入。 配置此项必须已配置“MRS集群”。 转储文件目录 在MRS中存储通道文件的自定义目录,多级目录可用“/”进行分隔,不能以“/”开头。
端实例。 配置参数如下: 1 streamname="dis-test1"| #已存在的通道名 putRecords_sample.py文件中的putRecords_test方法中的records为需要上传的数据内容,数据上传格式如下: 1 2 3 4 records=[{"data":
打开pom.xml文件,选择<scope>provided</scope>这一行,并按Ctrl+/注释掉此行并保存。 右键单击pom.xml,选择“Maven > Reimport”,重新引入依赖包。 在DISFlinkStreamingSourceJavaExample文件内任意地方,右键选择“Create
DIS Agent概述 DIS Agent是数据接入服务(DIS)提供的一个客户端程序,具有如下功能: 持续查询文本文件,实时收集增量数据按分隔符解析并上传到DIS通道(通道源数据类型为BLOB/JSON/CSV)。 DIS Agent安装流程如图1所示。 图1 安装流程 父主题:
zip”压缩包中“\dis-sdk-demo\src\main\java\com\bigdata\dis\sdk\demo”路径下“ConsumerDemo.java”文件。 运行程序 出现类似信息表示下载数据成功: 14:55:42.954 [main] INFOcom.bigdata.dis.sdk.DISConfig
zip”压缩包中“\dis-sdk-demo\src\main\java\com\bigdata\dis\sdk\demo”路径下“ConsumerDemo.java”文件。 运行程序 出现类似信息表示下载数据成功: 14:55:42.954 [main] INFOcom.bigdata.dis.sdk.DISConfig
period. %s 查询监控信息的startTime无效 请传入有效的时间戳。 400 DIS.4204 The monitoring period cannot be longer than 7 days. 仅允许查询最近7天内的监控信息 请查询最近7天内的监控信息。 400 DIS
API说明 通道管理 App管理 Checkpoint管理 数据管理 转储任务管理 监控管理 标签管理
管理通道 通道列表简介 查看通道监控信息 变更源数据类型 管理源数据Schema 管理通道标签 管理App 授权管理 调试通道 弹性伸缩分区 删除通道
DIS User 创建通道 √ √ x 删除通道 √ √ x 查询通道列表 √ √ √ 查询通道详情 √ √ √ 查询通道监控信息 √ √ √ 查询分区监控信息 √ √ √ 获取通道消费信息 √ √ √ 变更分区数量 √ √ x 上传数据 √ x √ 获取数据游标 √ x √ 下载数据
getCursor(streamname, partitionId, cursorType='LATEST') 配置好以上参数,执行getCursor_sample.py文件调用getCursor_test方法,响应结果示例如下: 1 2 200 {"partition_cursor": "eyJnZXRJdG
add_dump_task(streamname, task_name,'OBS',obs_Schema) 配置好以上参数后,执行add_dump_task_sample.py文件默认调用add_dump_task_test方法,获取响应201创建成功。 父主题: 使用SDK(Python)
target_partition_count =”3” #变更后的数量值 配置好以上参数,执行changepartitionQuantity_sample.py文件调用changepartitionQuantity_test方法,响应结果如下: 1 2 3 4 5 { "stream_name":"stream_name_test"
配置参数如下: 1 streamname = "" #已存在的通道名称 配置好以上参数后,执行deleteStream_sample.py文件默认调用deleteStream_test方法,获取响应204删除成功。 父主题: 使用SDK(Python)
配置参数如下: 1 appname=”app1” #查询的APP名称 配置好以上参数,执行describeApp_sample.py文件调用describeApp_test方法。 响应结果如下: 1 2 200 {'app_name': 'app1', 'app_id':
配置参数如下: 1 appName = "" #待删除的APP名称 配置好以上参数,执行deleteApp_sample.py文件调用deleteApp_test方法,响应204表示删除成功。 父主题: 使用SDK(Python)