检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用DIS Flink Connector上传与下载数据 DIS Flink Connector概述 准备DIS Flink Connector的相关环境 自定义Flink Streaming作业 父主题: 使用DIS
使用Kafka Adapter上传与下载数据 Kafka Adapter概述 准备环境 上传数据 数据下载的消费模式 下载数据之消费位移 与原生KafkaConsumer接口适配说明 父主题: 使用SDK
与原生KafkaConsumer接口适配说明 表1 接口适配说明 原生KafkaConsumer 类型 DISKafkaConsumer 说明 Set<TopicPartition> assignment() 接口 支持 获取consumer消费的通道与分区信息 Set<String>
修订记录 发布日期 修订说明 2019-12-11 第二十四次正式发布: 增加dis-kafka-adapter,增加使用Kafka Adapter上传与下载数据。 2019-10-08 第二十三次正式发布: 优化Java和Python SDK。 2019-07-08 第二十次正式发布:
异常信息 DIS服务端错误码
使用SDK(Python) 准备环境 配置样例工程 初始化DIS客户端 创建通道 添加转储任务 删除通道 删除转储任务 查询通道列表 查询转储列表 查询通道详情 查询转储详情 Json格式上传流式数据 Protobuf格式上传流式数据 下载流式数据 创建APP 删除APP 查询APP详情
如何开通DIS通道? 使用注册账户登录DIS控制台。 单击管理控制台左上角的,选择区域和项目。 单击“购买接入通道”配置相关参数。 表1 接入通道参数说明 参数 参数解释 参数示例 计费模式 按需计费 按需计费 区域 指的是云服务所在的物理位置。您可以在下拉框中选择并切换区域。 华北-北京1
转储相关问题 DIS如何实现转储数据至DWS的特定列 Schema如何支持字段缺省或者为NULL 如何专线接入DIS 读取通道数据时,如何区分不同类型数据?
业以公司、部门、项目等分级管理方式实现企业云上的人员、资源、权限、财务的管理。 已开通企业项目服务的用户,可以使用企业项目管理华为云上的云服务资源。 绑定企业项目 用户可以在创建通道时为通道选择所属的企业项目,从而将DIS通道与企业项目进行关联,详情请参见步骤1:开通DIS通道。
数据接入服务(Data Ingestion Service,简称DIS)采集增量驾驶行为日志数据并上传到华为云对象存储服务(Object Storage Service,简称OBS),通过数据湖探索(Data Lake Insight,简称DLI)分析上传的日志数据,获取驾驶员的驾
使用设备接入IoTDA写入数据至DIS 设备接入服务(IoT Device Access)是华为云的物联网平台,提供海量设备连接上云、设备和云端双向消息通信、批量设备管理、远程控制和监控、OTA升级、设备联动规则等能力,并可将设备数据灵活流转到华为云数据接入服务(DIS),帮助物联网行业用户快速完成设备联网及行业应用集成。
跟唐老师学习云网络 唐老师将自己对网络的理解分享给大家 智能客服 您好!我是有问必答知识渊博的的智能问答机器人,有问题欢迎随时求助哦! 社区求助 华为云社区是华为云用户的聚集地。这里有来自容器服务的技术牛人,为您解决技术难题。
连接OBS 介绍 DIS可以向对象存储服务(Object Storage Service,简称OBS)上传数据。 前提条件 已参考自动创建委托创建IAM委托,授权DIS服务去访问用户的OBS。 数据转储 用户在新增转储任务时可设置”数据转储地址”。当“数据转储”设置为“OBS”时,DIS会将通道数据周期性导入OBS。
接收用户获取数据的请求,在鉴权后输出对应的用户数据。 按时老化存储在系统中的用户数据。 根据用户配置,将用户数据存储到对象存储服务(Object Storage Service,简称OBS)、MapReduce服务(MapReduce Service,简称MRS)、数据仓库服务(Data Warehouse
可以: 根据企业的业务组织,在您的华为云账号中,给企业中不同职能部门的员工创建IAM用户,让员工拥有唯一安全凭证,并使用DIS资源。 根据企业用户的职能,设置不同的访问权限,以达到用户之间的权限隔离。 将DIS资源委托给更专业、高效的其他华为云账号或者云服务,这些账号或者云服务可以根据权限进行代运维。
安装DIS Agent 前提条件 已安装PuTTY工具。 Linux服务器上安装DIS Agent 使用PuTTY工具登录日志所在服务器,即检查依赖的服务器。 将获取DIS Agent包中获取的“dis-agent-X.X.X.zip”安装包上传到“/opt”文件夹中。 解压“dis-agent-X
tbl1 备份开关 用户数据转储CloudTable服务失败时,是否将转储失败的数据备份至OBS服务。 开启:是,转储失败的数据备份至OBS服务。 关闭:否,转储失败的数据不备份至OBS服务。 开关默认关闭。 说明: 关闭开关,转储失败的数据会存储在DIS中,并在“生命周期”配置的时间到达时将数据清除。
准备环境 已从Oracle官网下载并安装JDK1.8或以上版本,配置好JAVA环境变量。 已从Eclipse官网下载并安装Eclipse IDE for Java Developers最新版本。 已在Eclipse中配置好JDK。 父主题: 使用SDK(Java)
与其他服务的关系 介绍DIS与其他服务的关系。 对象存储服务(Object Storage Service,简称OBS) 在用户购买接入通道时选择数据转储至OBS,用户上传的数据会存储至对象存储服务(OBS)。 统一身份认证服务(Identity and Access Management,简称IAM)
如果云账号已经能满足您的要求,不需要创建独立的IAM用户进行权限管理,您可以跳过本章节,不影响您使用数据接入服务的其它功能。 IAM是华为云提供权限管理的基础服务,无需付费即可使用,您只需要为您账号中的资源进行付费。关于IAM的详细介绍,请参见《IAM产品介绍》。 DIS权限