检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
修订记录 发布日期 修订说明 2019-12-11 第二十四次正式发布: 增加dis-kafka-adapter,增加使用Kafka Adapter上传与下载数据。 2019-10-08 第二十三次正式发布: 优化Java和Python SDK。 2019-07-08 第二十次正式发布:
转储至OBS 源数据类型JSON/BLOB/CSV==>转储文件格式Text 表1 转储Text格式文件的配置参数 参数 说明 取值 任务名称 用户创建转储任务时,需要指定转储任务名称,同一通道的转储任务名称不可重复。任务名称由英文字母、数字、中划线和下划线组成。长度为1~64个字符。
DIS对于从数据生产者快速移出数据,然后进行持续处理非常有用。以下是使用DIS的典型场景: 加速日志和数据传送获取:您无需等待批量处理数据,而是让数据生产者在生成数据后立即输入DIS数据通道,防止因数据生产者出现故障导致的数据损失。例如,系统和应用程序日志可以持续添加到数据通道并可在数秒内进行处理。
认证鉴权 调用接口有如下两种认证方式,您可以选择其中一种进行认证鉴权。 Token认证:通过Token认证通用请求。 AK/SK认证:通过AK(Access Key ID)/SK(Secret Access Key)加密调用请求。 仅当创建IAM用户时的访问方式勾选“编程访问”后
据样例生成Avro schema。例如: 右侧文本框中单击,可修改已生成的Avro schema。例如: 文本框中单击“格式化”,可格式化解析数据。例如: 文本框中单击,可删除源数据样例。 创建源数据Schema(直接创建方式) 找到创建源数据Schema入口后,按照如下方法创建源数据Schema:
参数为false/off,导入时遇到非法字符进行报错,中断导入。 须知: Windows平台下OBS若按照文本格式读取数据文件,遇到0x1A会作为EOF符号结束数据读入造成解析错误,这是Windows平台的实现约束。由于OBS不支持BINARY形式读取,可将相应数据文件交由Linux平台下的OBS读取。 说明: 导入非法字符容错规则如下:
上传数据 代码样例 “ak”、“sk”和“projectId”信息的获取请参见检查认证信息。 package com.huaweicloud.dis.demo.adapter; import com.huaweicloud.dis.DISConfig; import com.huaweicloud
上传数据 代码样例 “ak”、“sk”和“projectId”信息的获取请参见检查认证信息。 package com.huaweicloud.dis.demo.adapter; import com.huaweicloud.dis.DISConfig; import com.huaweicloud