检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
2018-11-28 第十一次正式发布: 修改如下内容: 初始化DIS客户端 创建通道 下载流式数据 2018-11-07 第十次正式发布。 修改如下内容: 如何校验软件包完整性? 2018-09-25 第九次正式发布。 新增如下内容: 准备环境~~获取数据游标 2018-08-19 第八次正式发布。
DIS通道与新的企业项目进行关联,DIS通道与原企业项目的关联关系将被自动解除。详细操作,请参考《企业管理用户指南》的“企业项目管理 > 如何管理资源”章节。
需要转储的数据临时存储在OBS桶下此配置项配置的目录中,转储完成后临时目录中的数据会被清除。 配置为空时,数据直接存储在OBS桶内。 - 容错选项 通过单击或来关闭或开启容错选项开关。 fill_missing_fields 当数据导入时,若数据源文件中一行的最后一个字段缺失的处理方式。 取值范围:true
在“通道管理”页面中单击需要扩缩容的通道名称。 单击通道详情页面的“自动扩缩容”菜单后的编辑按钮。 系统弹出“变更自动扩缩容参数”对话框,将自动扩缩容的开关开启。 图1 变更自动扩缩容参数 设置自动扩缩容的分区上限和下限,单击“确认”。 手动扩缩容 手动扩缩容规则 扩容分区时“目标分区数量”需大于
withProperty(DISConfig.PROPERTY_CONNECTION_TIMEOUT, "60") // 单位:秒 .build(); 若需要开启传输压缩,请使用如下方法初始化DIS客户端: 1 2 3 4 5 6 7 8 9 10 11 12 13 // 创建DIS客户端实例
在数据量较大的情况下推荐使用此格式。 json body.compress.enabled 否 是否开启传输数据压缩。 false body.compress.type 否 开启压缩时选择的数据压缩格式,目前支持的压缩格式如下: lz4:综合来看效率最高的压缩算法,更加侧重压缩解压速度
什么是分区? 分区(Partition)是DIS数据通道的基本吞吐量单位。创建通道时,将指定所需的分区数量。 普通通道单分区容量:最高发送速度可达1MB/秒或1000条记录/秒(达到任意一种速度上限才会被限流),最高提取速度可达 2MB/秒,单次请求的记录总大小不能超过1MB(不
在数据量较大的情况下推荐使用此格式。 json body.compress.enabled 否 是否开启传输数据压缩。 false body.compress.type 否 开启压缩时选择的数据压缩格式,目前支持的压缩格式如下: lz4:综合来看效率最高的压缩算法,更加侧重压缩解压速度
izer (kafka必须配置)。 enable.auto.commit 参数 支持 同kafka的默认设置,默认为true true表示启用自动提交,每隔${auto.commit.interval.ms}的时间提交一次offset; false表示不自动提交offset auto
izer (kafka必须配置)。 enable.auto.commit 参数 支持 同kafka的默认设置,默认为true true表示启用自动提交,每隔${auto.commit.interval.ms}的时间提交一次offset; false表示不自动提交offset auto
配置此项必须已配置“CloudTable集群”并创建了HBase表。 tbl1 备份开关 用户数据转储CloudTable服务失败时,是否将转储失败的数据备份至OBS服务。 开启:是,转储失败的数据备份至OBS服务。 关闭:否,转储失败的数据不备份至OBS服务。 开关默认关闭。 说明: 关闭开关,转储失败的数据会存