检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Json格式上传流式数据 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下: 1 streamname="dis-test1"| #已存在的通道名 putRecords_sample.py文件中的putRecords_test方法中的records为需要上传的数据内容,数据上传格式如下:
内容导航 SDK开发指南指导您如何安装和配置开发环境、如何通过调用DIS SDK提供的接口函数进行二次开发。 章节 内容 DIS SDK能做什么 内容导航 简要介绍DIS的概念和DIS SDK的概念。 SDK下载 兼容性 如何校验软件包完整性? 介绍使用DIS SDK进行二次开发过程中涉及到的资源信息。
Protobuf格式上传流式数据 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 初始化DIS客户端,加入一项参数bodySerializeType,如下所示: cli = disclient(endpoint='', ak=os.environ.get("HUAWEICLOUD_SDK_AK")
左侧文本框中单击,可在右侧文本框中根据源数据样例生成Avro schema。例如: 右侧文本框中单击,可修改已生成的Avro schema。例如: 文本框中单击“格式化”,可格式化解析数据。例如: 文本框中单击,可删除源数据样例。 创建源数据Schema(直接创建方式) 找到创建源数据Schema入口后,按照如下方法创建源数据Schema:
下载流式数据 Json格式下载 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下: 1 2 3 streamname = "" #通道名称 startSeq='0’ #序列号 partitionId="shardId-0000000000"
send(ProducerRecord<K, V> record, Callback callback) 接口 支持 发送单条数据并设置回调处理函数 void close() 接口 支持 关闭Producer void close(long timeout, TimeUnit timeUnit)
send(ProducerRecord<K, V> record, Callback callback) 接口 支持 发送单条数据并设置回调处理函数 void close() 接口 支持 关闭Producer void close(long timeout, TimeUnit timeUnit)
Development Kit)是对DIS服务提供的REST API进行的封装,以简化用户的开发工作。用户直接调用DIS SDK提供的接口函数即可实现使用DIS服务业务能力的目的。 父主题: 简介
开始时间 用户转储日志开始构建的时间。 格式:YYYY/MM/dd HH:mm:ss GTM YYYY:表示年份 MM:表示月份 dd:表示日期 HH:表示小时 mm:表示分钟 ss:表示秒 GMT:表示时区 例如:2018/03/19 14:04:43 GMT+08:00 结束时间
时。 创建时间:显示通道创建的时间。格式为:yyyy/MM/dd HH:mm:ss GMT。其中,yyyy表示年份,MM表示月份,dd表示日期,HH表示小时,mm表示分钟,ss表示秒,GMT表示时区。例如:2017/05/09 08:00:00 GMT+08:00。 计费模式:目前仅支持按需付费方式。
格式作为层级的目录中。 当选择的时间目录格式精确到日时,存储目录为“桶名称/转储文件目录/年/月/日”。 取值范围: N/A:置空,不使用日期时间目录。 yyyy:年 yyyy/MM:年/月 yyyy/MM/dd:年/月/日 yyyy/MM/dd/HH:年/月/日/时 yyyy/
使用SDK(Python) 准备环境 配置样例工程 初始化DIS客户端 创建通道 添加转储任务 删除通道 删除转储任务 查询通道列表 查询转储列表 查询通道详情 查询转储详情 Json格式上传流式数据 Protobuf格式上传流式数据 下载流式数据 创建APP 删除APP 查询APP详情
bash dis-encrypt.sh 控制台打印的“Encrypt result:”后面的字符串即为加密后的结果。通过这种方式分别加密MySQL密码和用户SK,并将密文配置到配置文件中即可。 配置DIS Source 表1 DIS Source配置项说明 配置项 是否必填 说明 默认值
更新转储任务 参考初始化DIS客户端的操作初始化一个DIS客户端实例,实例名称为dic。 使用DIS SDK更新转储任务,需要指定通道名称、转储任务名称,转储周期,转储目标服务等信息。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
存储该通道数据的DWS数据库名称。 手动输入,不可配置为空。 - 数据库模式 一个数据库包含一个或多个命名的模式,模式又包含表。模式还包含其他命名的对象,包括数据类型、函数,以及操作符。同一个对象名可以在不同的模式里使用而不会导致冲突。 - DWS数据表 存储该通道数据的DWS数据库模式下的数据表。 - 数据分隔符
修订记录 发布日期 修订说明 2021-09-15 第三十四次正式发布 下线CloudTable转储任务。 2021-01-08 第三十三次正式发布 新增应用示例场景,规范化发布API说明和错误码。 2020-07-03 第三十二次正式发布 新增错误码,修改错误码说明。 2020-05-09
格式作为层级的目录中。 当选择的时间目录格式精确到日时,存储目录为“桶名称/转储文件目录/年/月/日”。 取值范围: N/A:置空,不使用日期时间目录。 yyyy:年 yyyy/MM:年/月 yyyy/MM/dd:年/月/日 yyyy/MM/dd/HH:年/月/日/时 yyyy/
修订记录 发布日期 修订说明 2019-12-11 第二十四次正式发布: 增加dis-kafka-adapter,增加使用Kafka Adapter上传与下载数据。 2019-10-08 第二十三次正式发布: 优化Java和Python SDK。 2019-07-08 第二十次正式发布:
将转储文件的生成时间使用“yyyy/MM/dd/HH/mm”格式生成分区字符串,用来定义写到OBS的Object文件所在的目录层次结构。- N/A:置空,不使用日期时间目录。- yyyy:年- yyyy/MM:年/- yyyy/MM/dd:年/月/日- yyyy/MM/dd/HH:年/月/日/时- y
目录中存放程序运行产生的日志文件,其中dis-agent.log文件记录程序运行状况,dis-agent-2022-10-28.log等带日期的log文件记录文件上传记录,每天生成一个日志文件。 为此,用户也可以在dis-agent程序安装路径下的conf文件夹修改log4j2.