检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
程序开发完成后,右键选择“Run As > 1 Java Application”运行程序,如图1所示。 图1 运行上传数据程序 数据上传过程中可在Console控制台查看数据上传通道量信息。出现类似信息表示数据上传成功。 14:40:20.090 [main] INFOcom.bigdata.dis.sdk
程序开发完成后,右键选择“Run As > 1 Java Application”运行程序,如图1所示。 图1 运行上传数据程序 数据上传过程中可在Console控制台查看数据上传通道量信息。出现类似信息表示数据上传成功。 14:40:20.090 [main] INFOcom.bigdata.dis.sdk
使用注册账户登录DIS控制台。 单击管理控制台左上角的,选择区域。 在左侧列表栏中选择通道管理。 单击通道名称。进入所选通道的管理页面。 单击“源数据类型”后的“查看已有源数据Schema”。 弹出源数据Schema文本框,单击,修改源数据Schema。 图6 修改源数据Schema 当通道中存在转储任
Agent采集数据并上传数据至DIS。 DIS Agent介绍 DIS Agent概述 安装并配置DIS Agent 上传数据 启动Agent上传数据 查看数据上传结果 05 实践 通过提供针对多种场景的使用样例,方便您快速了解使用DIS完成实时数据的采集和分析。 案例介绍 使用DIS实时分析车辆位置
"xxxxxxxxxxxxxxxxxx" } } } } 获取Token后,再调用其他接口时(以数据开发组件的“查询连接列表”接口为例),您需要在请求消息头中添加“X-Auth-Token”,其值即为Token。例如Token值为“ABCDEFJ....
交通资源的调配。 图1 场景示例图 实时文件传输 实时检测客户应用系统中产生的文件,并采集上传到云上,进行离线分析、存储查询及机器学习,对客户进行分类和信息查询,识别出大型客户,加强服务,进一步提升客户满意度。 图2 场景示例图 数据接入备份 将大量滚动日志文件传输到云端做备份,
e); } 运行程序 右键选择“Run As > 1 Java Application”运行程序,若程序运行成功,可以在控制台查看到类似如下信息: 1 2 3 4 5 6 15:19:29.298 [main] INFO com.bigdata.dis.sdk.demo
#序列号 metadata="" #用户消费程序端的元数据信息,元数据信息的最大长度为1000个字符 partitionId可通过查询通道详情获取,需要先传入当前设置的通道名称。 配置好以上参数,执行commitCheckpoint_sample.py文件调用commit
值为1 缺省值:1000 offset 否 String 索引位置, 从offset指定的下一条数据开始查询。 查询第一页数据时,不需要传入此参数,查询后续页码数据时,将查询前一页数据时响应体中的值带入此参数(action为count时无此参数)如果action为filter默认为0,必须为数字,不能为负数
DIS Agent概述 DIS Agent是数据接入服务(DIS)提供的一个客户端程序,具有如下功能: 持续查询文本文件,实时收集增量数据按分隔符解析并上传到DIS通道(通道源数据类型为BLOB/JSON/CSV)。 DIS Agent安装流程如图1所示。 图1 安装流程 父主题:
添加转储任务 删除通道 删除转储任务 查询通道列表 查询转储列表 查询通道详情 查询转储详情 Json格式上传流式数据 Protobuf格式上传流式数据 下载流式数据 创建APP 删除APP 查询APP详情 查询APP列表 新增Checkpoint 查询Checkpoint 变更分区数量
初始化DIS客户端 创建通道 添加转储任务 更新转储任务 删除转储任务 查询转储列表 查询转储详情 删除通道 查询通道列表 查询通道详情 下载流式数据 上传流式数据 获取数据游标 创建APP 删除APP 新增Checkpoint 查询Checkpoint 变更分区数量 父主题: 使用SDK
'DISFlinkStreamingSinkJavaExample'”,即可启动作业。 如果没有其他错误,可以到DIS控制台通道监控页面查看数据是否上传成功。 在本地运行作业验证无误之后,请把pom.xml中的<scope>provided</scope>解除注释(防止以后打包
2019-05-07 第十七次正式发布: 查询通道列表SDK增加分页功能说明,修改查询通道列表。 2019-04-16 第十六次正式发布: 查询通道列表SDK增加响应参数说明,修改查询通道列表。 2019-03-18 第十五次正式发布: 新增如下内容: 添加转储任务~~查询转储详情 初始化DIS客户端
选择授权模式,再在“被授权用户”文本框中,设置用户信息。 支持通配符"*",表示授权所有账号; 支持添加多账号,用","隔开 支持授权某账号下的特定用户,输入账号名,单击"查询用户"按钮,选择用户。 图1 添加权限 父主题: 管理通道
√ x 查询通道列表 √ √ √ 查询通道详情 √ √ √ 查询通道监控信息 √ √ √ 查询分区监控信息 √ √ √ 获取通道消费信息 √ √ √ 变更分区数量 √ √ x 上传数据 √ x √ 获取数据游标 √ x √ 下载数据 √ x √ 创建APP √ √ √ 查询APP详情
监控管理 查询通道监控 查询分区监控 父主题: API说明
转储任务管理 添加OBS转储任务 查询转储任务列表 删除转储任务 查询转储任务详情 批量启动转储任务 批量暂停转储任务 添加DWS转储任务 添加MRS转储任务 添加DLI转储任务 添加CloudTable转储任务 父主题: API说明
标签管理 给指定通道添加标签 查询指定通道的标签信息 删除指定通道的标签 批量添加资源标签 查询指定区域所有标签集合 使用标签过滤资源(通道等) 批量删除资源标签 父主题: API说明
Checkpoint管理 提交Checkpoint 查询Checkpoint详情 删除Checkpoint 父主题: API说明