检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
限最小化的安全管控要求。 如表1所示,包括了DIS的所有系统权限。其中“依赖关系”表示该系统权限对其它权限的依赖。由于华为云各服务之间存在业务交互关系,数据接入服务的权限依赖其他服务的权限实现功能。因此给用户授予数据接入服务的权限时,需要同时授予依赖的权限,数据接入服务的权限才能生效。
Kafka Adapter概述 dis-kafka-adapter是数据接入服务(DIS)提供的一个sdk,支持原本使用Kafka Client上传数据的用户,以类似原来的操作将数据上传到DIS。 目前只支持Java版本。 父主题: 使用Kafka Adapter上传与下载数据
身份凭证(密码和访问密钥)。 在我的凭证下,您可以查看账号ID和用户ID。通常在调用API的鉴权过程中,您需要用到账号、用户和密码等信息。 项目 区域默认对应一个项目,这个项目由系统预置,用来隔离物理区域间的资源(计算资源、存储资源和网络资源),以默认项目为单位进行授权,用户可以
Kafka Adapter概述 dis-kafka-adapter是数据接入服务(DIS)提供的一个sdk,支持原本使用Kafka Client上传数据的用户,以类似原来的操作将数据上传到DIS。 目前只支持Java版本。 父主题: 使用Kafka Adapter上传与下载数据
有用。以下是使用DIS的典型场景: 加速日志和数据传送获取:您无需等待批量处理数据,而是让数据生产者在生成数据后立即输入DIS数据通道,防止因数据生产者出现故障导致的数据损失。例如,系统和应用程序日志可以持续添加到数据通道并可在数秒内进行处理。 实时指标和报告:实时从DIS数据通
DIS可以向对象存储服务(Object Storage Service,简称OBS)上传数据。 前提条件 已参考自动创建委托创建IAM委托,授权DIS服务去访问用户的OBS。 数据转储 用户在新增转储任务时可设置”数据转储地址”。当“数据转储”设置为“OBS”时,DIS会将通道数据周期性导入OBS。
添加转储任务 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 参照添加转储任务配置方法中的参数值。 配置如下参数: streamname='dis—test1' #已存在的通道名 task_name='113' 以添加OBS转储服务为例:value参数值设定与key对应
DIS可以向对象存储服务(Object Storage Service,简称OBS)上传数据。 前提条件 已参考自动创建委托创建IAM委托,授权DIS服务去访问用户的OBS。 数据转储 用户在新增转储任务时可设置”数据转储地址”。当“数据转储”设置为“OBS”时,DIS会将通道数据周期性导入OBS。 父主题:
DIS Flink Connector概述 DIS Flink Connector是数据接入服务(DIS)提供的一个sdk。 DIS Flink Connector支持将DIS作为数据源创建Stream对接Flink。 父主题: 使用DIS Flink Connector上传与下载数据
Lake Insight,简称DLI),具体存储位置在新增转储任务的“数据转储”中配置。 DIS为临时存储器,存储在DIS中的数据最长保留时间为3中配置的“生命周期”的值。 样例代码 样例工程为DIS SDK桶中下载的“huaweicloud-sdk-dis-java-X.X.X.
Lake Insight,简称DLI),具体存储位置在新增转储任务的“数据转储”中配置。 DIS为临时存储器,存储在DIS中的数据最长保留时间为步骤 3中配置的“生命周期”的值。 样例代码 样例工程为DIS SDK桶中下载的“huaweicloud-sdk-dis-java-X.X.X
使用初始化DIS客户端后的客户端实例将用户的流式数据通过DIS通道上传至DIS服务。 其中,“streamName”的配置值要与开通DIS通道中“通道名称”的值一致,“endpoint”,“ak”,“sk”,“region”,“projectId”信息请参见获取认证信息。 批量上传流式数据的主体代码如下:
使用Token前请确保Token离过期有足够的时间,防止调用API的过程中Token过期导致调用API失败。 Token在计算机系统中代表令牌(临时)的意思,拥有Token就代表拥有某种权限。Token认证就是在调用API的时候将Token加到请求消息头,从而通过身份认证,获得操作API的权限。 Token
终端节点 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同。 DIS的终端节点Endpoint构造规则为dis.{region_id}.{域名},您可以从地区和终端节点获取区域和终端节点信息。 父主题: 使用前必读
19 20 21 //需配置转储任务的全量参数,不支持更新单个参数 UpdateTransferTaskRequest request = new UpdateTransferTaskRequest(); // 配置待更新的转储任务所属通道的名称 request.setStreamName(streamName);
DIS Spark Streaming概述 DIS Spark Streaming是数据接入服务(DIS)提供的一个sdk,支持将DIS作为数据源创建DStream对接SparkStreaming。 DIS Spark Streaming使用流程如图1所示。 图1 DIS Spark
使用设备接入IoTDA写入数据至DIS 设备接入服务(IoT Device Access)是华为云的物联网平台,提供海量设备连接上云、设备和云端双向消息通信、批量设备管理、远程控制和监控、OTA升级、设备联动规则等能力,并可将设备数据灵活流转到华为云数据接入服务(DIS),帮助物
TypeEnum.TEXT.getType()); // 设置从DIS通道拉取数据时的初始偏移量: 默认LATEST,从通道内最新上传的记录开始读取; TRIM_HORIZON,从通道内最早的未过期记录开始读取 descriptor.setConsumerStrategy(Pa
支持的事件类别和事件 事件是租户通道状态发生变化的记录。它可以是由用户操作触发的(比如审计事件),也有可能是通道状态变化引起的(比如转储任务异常或转储任务恢复)。以下为当前DIS支持的事件和事件类别列表。 下表显示了事件源类型为通道的事件。 表1 事件源类型为通道的事件 事件源类型