检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
下载数据时,需要定期的使用descriptStream接口检测通道分区数量的变化,以便DIS可以下载到所有分区的数据。
图2 查看节点IP 父主题: 转储相关问题
用户SDK 提供Java接口,供用户上传与下载数据。 提供数据加密功能。 关键能力 无限扩展:DIS数据通道的吞吐量每小时可从数MB扩展到数TB,PUT记录每秒钟可从数千次扩展到数百万。
用户可在对应页面下查看不同Region对应的项目ID、账号ID和用户ID。 注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。 在“API凭证”页面,查看账号名和账号ID、IAM用户名和IAM用户ID,在项目列表中查看项目和项目ID。
node下做数据排序; no_sort:即不排序,在需要快速入库时使用,可以在入库后系统闲时通过Compaction命令再建立索引; batch_sort:表示在一个node下,内存排序后直接生成CarbonData文件,不再进行node下的全排序;使用该配置,可以提升加载速度,但查询性能不如
logstash endpoint 是 DIS对应Region的数据接口地址。
图1 查看Apps 单击实际的App名称,可查看App对该通道数据的消费详情。 图2 查看App详情 父主题: 管理通道
(例如上传一条数据到新分区,其sequenceNumber起始为0,上传100条之后,则最后一条的sequenceNumber为99;如超过生命周期之后,0~99的数据则不可用) 分区的数据有效范围可以通过调用describeStream(查询通道详情)接口获取,其sequenceNumberRange
选择本地(可通过环境变量去查找)python安装目录下的“\Lib\site-packages \dis_sdk_python”样例工程的存储位置。
入门 DIS使用流程简介 步骤1:开通DIS通道 步骤2:准备DIS应用开发环境 步骤3:发送数据到DIS 步骤4:从DIS获取数据 获取认证信息 连接OBS 自动创建委托
使用DIS Flume Plugin上传与下载数据 DIS Flume Plugin概述 安装DIS Flume Plugin前准备 安装Plugin 配置Plugin 验证Plugin 卸载Plugin(可选) 父主题: 使用DIS
使用DIS Spark Streaming下载数据 DIS Spark Streaming概述 准备DIS Spark Streaming的相关环境 自定义SparkStreaming作业 父主题: 使用DIS
IAM权限管理 创建用户并授权使用DIS
管理转储任务 新增转储任务 转储至OBS 转储至DLI 转储至DWS 转储至MRS
使用DIS 检查与配置DNS信息 使用Agent上传数据 使用DIS Flume Plugin上传与下载数据 使用DIS Logstash Plugin上传与下载数据 使用Kafka Adapter上传与下载数据 使用DIS Spark Streaming下载数据 使用DIS Flink
使用SDK 使用SDK(Java) 使用Kafka Adapter上传与下载数据 使用SDK(Python)