检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
兼容性 支持的JDK版本:1.8.0及以上版本。 支持的Python版本:2.7及以上版本。 父主题: 相关资源
分区数量:分区是DIS数据通道的基本吞吐量单位。通道的多个分区可以并发进行数据传输,以提升效率。 源数据类型:BLOB、JSON、CSV。 生命周期(小时):存储在DIS中的数据保留的最长时间,超过此时长数据将被清除。取值范围:24~72的整数。单位:小时。 创建时间:显示通道创建的时间。格式为:yyyy/MM/dd
默认配置为300秒。 - 数据临时桶 用户数据先临时存储在OBS桶中,再转储到指定的转储服务,转储完成后临时桶中的数据会被清除。 - 数据临时目录 需要转储的数据临时存储在OBS桶下此配置项配置的目录中,转储完成后临时目录中的数据会被清除。 配置为空时,数据直接存储在OBS桶内。 - 源数据类
查看事件 介绍用户如何查找通道或转储任务发生的事件。 在“事件管理”页面中单击“事件”,默认显示当前所有通道或转储任务已发生的事件。 在事件列表右上方的下拉列表中通过选择不同的筛选条件搜索事件。可从事件级别和事件源两个维度进行筛选。 在下拉列表中选择“所有事件级别”、“正常”或“警告”。
ion> partitions) 接口 支持 分区的offset设置为最旧的值 void seekToEnd(Collection<TopicPartition> partitions) 接口 支持 分区的offset设置为最新的值 long position(TopicPartition
使用DIS Spark Streaming下载数据 DIS Spark Streaming概述 准备DIS Spark Streaming的相关环境 自定义SparkStreaming作业 父主题: 使用DIS
JREs”配置JDK环境变量,显示如图2所示。 右侧窗口中显示已配置好的JDK变量,执行1.c.i完成JDK变量配置。 如需配置多个不同的变量对应不同版本的JDK,请执行1.c.ii~1.c.iv。 图2 Installed JREs 勾选已安装的JDK,单击“OK”。 单击“Add”按钮,弹出“Add
data_type String 源数据类型。 BLOB:存储在数据库管理系统中的一组二进制数据。 JSON:一种开放的文件格式,以易读的文字为基础,用来传输由属性值或者序列性的值组成的数据对象。 CSV:纯文本形式存储的表格数据,分隔符默认采用逗号。 缺省值:BLOB。 枚举值: BLOB
通专线的云账号访问虚拟私有云VPC。 选择“VPC终端节点 > 终端节点”,单击“购买终端节点”。 “服务类别”选择“云服务”,并在服务中选择DIS服务的终端节点,例如华东-上海二为com.myhuaweicloud.cn-east-2.dis。然后选择专线所在的VPC和子网即可。
使用SDK(Python) 准备环境 配置样例工程 初始化DIS客户端 创建通道 添加转储任务 删除通道 删除转储任务 查询通道列表 查询转储列表 查询通道详情 查询转储详情 Json格式上传流式数据 Protobuf格式上传流式数据 下载流式数据 创建APP 删除APP 查询APP详情
sequence_number String 数据上传到的序列号。序列号是每个记录的唯一标识符。序列号由DIS在数据生产者调用PutRecords操作以添加数据到DIS数据通道时DIS服务自动分配的。同一分区键的序列号通常会随时间变化增加。PutRecords请求之间的时间段越长,序列号越大。 error_code
// 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全; // 本示例以ak和sk保存在环境变量中来实现身份验证为例,运行本示例前请先在本地环境中设置环境变量HUAWEIC
String 需要删除的通道名称。 最大长度:60 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 响应参数
} else { fmt.Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 正常返回 错误码 请参见错误码。 父主题: 监控管理
String 需要查询的App名称。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 响应参数 状态码:
String 用户Token。 通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 表3 请求Body参数 参数 是否必选 参数类型 描述 app_name 是 String APP的名称,用户数据消费程序的唯一标识符,需要先通过创建App接口创建。
在https://github.com/huaweicloud/huaweicloud-sdk-java-dis中下载DIS的Java SDK压缩包。 获取DIS SDK软件包及校验文件后,需要对软件包的完整性进行校验,参考如何校验软件包完整性?。 父主题: 相关资源
用户Token。 通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 sequence_number String 序列号,用来记录该通道的消费检查点。 metadata
ion> partitions) 接口 支持 分区的offset设置为最旧的值 void seekToEnd(Collection<TopicPartition> partitions) 接口 支持 分区的offset设置为最新的值 long position(TopicPartition
String 需要删除的App名称。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 响应参数 无 请求示例