检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
择“通道管理”页签,单击已创建的通道名称,进入所选通道的管理页面。选择“源数据类型”后的“创建源数据Schema”进行创建,参见图2。 创建通道时,关闭“Schema开关”。待通道创建成功后,选择“通道管理”页签,单击已创建的通道名称,进入所选通道的管理页面。选择“转储任务”页签
生技术的核心 GO语言深入之道 介绍几个Go语言及相关开源框架的插件机制 跟唐老师学习云网络 唐老师将自己对网络的理解分享给大家 智能客服 您好!我是有问必答知识渊博的的智能问答机器人,有问题欢迎随时求助哦! 社区求助 华为云社区是华为云用户的聚集地。这里有来自容器服务的技术牛人,为您解决技术难题。
实时收集城市各交通枢纽的车辆通行数据,缓存在通道中,分析平台周期读取通道中的数据分析后将结果应用到调度系统,实现对停车场开放时长和交通资源的调配。 图1 场景示例图 实时文件传输 实时检测客户应用系统中产生的文件,并采集上传到云上,进行离线分析、存储查询及机器学习,对客户进行分类和信息查询,识别
使用Token前请确保Token离过期有足够的时间,防止调用API的过程中Token过期导致调用API失败。 Token在计算机系统中代表令牌(临时)的意思,拥有Token就代表拥有某种权限。Token认证就是在调用API的时候将Token加到请求消息头,从而通过身份认证,获得操作API的权限。 Token
限最小化的安全管控要求。 如表1所示,包括了DIS的所有系统权限。其中“依赖关系”表示该系统权限对其它权限的依赖。由于华为云各服务之间存在业务交互关系,数据接入服务的权限依赖其他服务的权限实现功能。因此给用户授予数据接入服务的权限时,需要同时授予依赖的权限,数据接入服务的权限才能生效。
seqNumber="0" #序列号 metadata="" #用户消费程序端的元数据信息,元数据信息的最大长度为1000个字符 partitionId可通过查询通道详情获取,需要先传入当前设置的通道名称。 配置好以上参数,执行commitCheckpoint_sample.
授权管理 通过添加授权策略,可实现被授权的其他用户拥有DIS通道的上传和下载权限。 使用注册账户登录DIS控制台。 单击管理控制台左上角的,选择区域和项目。 在左侧列表栏中选择“通道管理”。 单击通道名称,进入所选通道的管理页面。 选择“授权管理”,单击“添加授权策略”, 选择授
使用初始化DIS客户端后的客户端实例将用户的流式数据通过DIS通道上传至DIS服务。 其中,“streamName”的配置值要与开通DIS通道中“通道名称”的值一致,“endpoint”,“ak”,“sk”,“region”,“projectId”信息请参见获取认证信息。 批量上传流式数据的主体代码如下:
DIS Agent概述 DIS Agent是数据接入服务(DIS)提供的一个客户端程序,具有如下功能: 持续查询文本文件,实时收集增量数据按分隔符解析并上传到DIS通道(通道源数据类型为BLOB/JSON/CSV)。 DIS Agent安装流程如图1所示。 图1 安装流程 父主题:
用此配置的策略;如果存在有效的Checkpoint,则会从此Checkpoint开始继续消费 // 取值有: LATEST 从最新的数据开始消费,此策略会忽略通道中已有数据 // EARLIEST 从最老的数据开始消费,此策略会获取通道中所有的有效数据
单击“下载”,选择游标类型并输入对应的序列号,确认完成。下载成功后,您可以文本形式获取响应体。 输入的序列号,需要在分区的数据有效范围内。分区的数据有效范围,可以通过调用describeStream(查询通道详情)接口获取,其sequenceNumberRange代表数据有效范围,第一个值为最老数据的sequ
当您参考开通DIS、从DIS获取数据等一系列操作后,可以根据自身的业务需求使用DIS提供的一系列常用实践。 表1 常用最佳实践 实践 描述 案例 使用DIS实时分析车辆位置 数据接入服务(Data Ingestion Service,简称DIS)实时采集车辆位置数据并上传到华为云的表格存储服务(CloudTable
TypeEnum.TEXT.getType()); // 设置从DIS通道拉取数据时的初始偏移量: 默认LATEST,从通道内最新上传的记录开始读取; TRIM_HORIZON,从通道内最早的未过期记录开始读取 descriptor.setConsumerStrategy(Pa
String 查询记录数(action为count时无此参数)如果action为filter默认为1000,limit最多为1000,不能为负数,最小值为1 缺省值:1000 offset 否 String 索引位置, 从offset指定的下一条数据开始查询。 查询第一页数据时,
400 DIS.4202 Empty request. 用户的请求为空 请传入有效的请求。 400 DIS.4203 Invalid monitoring period. %s 查询监控信息的startTime无效 请传入有效的时间戳。 400 DIS.4204 The monitoring
2019-05-07 第十七次正式发布: 查询通道列表SDK增加分页功能说明,修改查询通道列表。 2019-04-16 第十六次正式发布: 查询通道列表SDK增加响应参数说明,修改查询通道列表。 2019-03-18 第十五次正式发布: 新增如下内容: 添加转储任务~~查询转储详情 初始化DIS客户端
默认配置为300秒。 - 数据临时桶 用户数据先临时存储在OBS桶中,再转储到指定的转储服务,转储完成后临时桶中的数据会被清除。 - 数据临时目录 需要转储的数据临时存储在OBS桶下此配置项配置的目录中,转储完成后临时目录中的数据会被清除。 配置为空时,数据直接存储在OBS桶内。 - 源数据类
标签管理 给指定通道添加标签 查询指定通道的标签信息 删除指定通道的标签 批量添加资源标签 查询指定区域所有标签集合 使用标签过滤资源(通道等) 批量删除资源标签 父主题: API说明
添加转储任务 删除通道 删除转储任务 查询通道列表 查询转储列表 查询通道详情 查询转储详情 Json格式上传流式数据 Protobuf格式上传流式数据 下载流式数据 创建APP 删除APP 查询APP详情 查询APP列表 新增Checkpoint 查询Checkpoint 变更分区数量
因数据转储成功后,存储的目录结构取决于源数据的时间戳和时间目录格式定义的年月日层级。本示例中,时间目录格式精确到日,所以数据最终存储目录结构为“桶名称/转储文件目录/2010/10/12”。 源数据时间戳 时间戳的属性名。 说明: 请输入您待上传的源数据中定义的时间戳对应的字段名称。 时间戳的格式,从下拉框中选择。