检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用限制 使用DIS前,您需要认真阅读并了解以下使用限制。 建议使用支持的浏览器登录DIS。 Google Chrome:48.0及更高版本 Mozilla FireFox:43.0及更高版本 Internet Explorer:9.0及更高版本 当使用Internet Explorer
约束与限制 您能创建的通道和实例的数量与配额有关系,如果您想查看服务配额、扩大配额,具体请参见服务配额。 详细的限制请参见具体API的说明。 父主题: 使用前必读
变更分区数量 参见初始化DIS客户端的操作初始化一个DIS客户端实例。 配置参数如下: 1 2 streamname = "" #已存在的running状态通道名 target_partition_count =”3” #变更后的数量值 配置好以上参数,执行change
变更分区数量 参考初始化DIS客户端的操作初始化一个DIS客户端实例,实例名称为dic。 其中,“streamName”的配置值要与开通DIS通道中“通道名称”的值一致,“endpoint”,“ak”,“sk”,“region”,“projectId”信息请参见获取认证信息。 1
单击“源数据类型”后的,从下拉框中选择对应的源数据类型,可修改创建通道时已设置的源数据类型。或者选择待修改源数据类型通道对应的操作列,选择“更多 > 变更源数据类型”,弹出变更源数据类型对话框,修改创建通道时已设置的源数据类型。 “源数据类型”为“BLOB”、“JSON”、“CSV”的通道,当该通道无转储任务
ConsumerRecords<String, String> records = consumer.poll(Long.MAX_VALUE); if (!records.isEmpty()) { for (TopicPartition partition : records.partitions())
streamname="dis-test1"| #已存在的通道名 putRecords_sample.py文件中的putRecords_test方法中的records为需要上传的数据内容,数据上传格式如下: 1 2 3 4 records=[{"data": "abcdefd", "partition_id":
Warehouse Service,简称DWS)、数据湖探索(Data Lake Insight,简称DLI)。 服务维护 负责服务的安装、升级。 负责服务的配置、巡检、日志收集与分析、运行监控。 负责服务工单处理。 用户SDK 提供Java接口,供用户上传与下载数据。 提供数据加密功能。
TRIM_HORIZON:最小偏移量,即读取最早的数据。 缺省值:LATEST 枚举值: LATEST TRIM_HORIZON dli_database_name 是 String 存储该通道数据的DLI数据库名称。 dli_table_name 是 String 存储该通道数据的DLI表名称。 说明: 仅支持数
no_sort:即不排序,在需要快速入库时使用,可以在入库后系统闲时通过Compaction命令再建立索引; batch_sort:表示在一个node下,内存排序后直接生成CarbonData文件,不再进行node下的全排序;使用该配置,可以提升加载速度,但查询性能不如LOCAL_SORT; -
当程序从异常停止恢复时重传部分数据。 1 sendingRecordSize 否 单次调用DIS数据发送接口时的数据集大小。 说明: “batchSize”表示一个事务的批量值(如1000),而“sendingRecordSize”表示一个Rest请求的批量值(如250表示会发起四次
String 存储该通道数据的DWS集群名称。 dws_cluster_id 是 String 存储该通道数据的DWS集群ID。 dws_database_name 是 String 存储该通道数据的DWS数据库名称。 dws_schema 是 String 存储该通道数据的DWS数据库模式。
载数据getRecords_test采用test方法;test方法较test_0方法,增加参数bodySerializeType="protobuf"。 配置好以上参数,执行protobuf_getrecords_sample.py文件调用getRecords_test方法,响应结果如下。
使用前必读 概述 调用说明 终端节点 约束与限制 基本概念
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
从系统期待的块开始上传。 400 DIS.4223 The file size exceeds the limit. 文件的容量超过了DIS的限制 请拆分文件并再上传。 400 DIS.4224 The sequence number is out of range. 获取数据游标时
no_sort:即不排序,在需要快速入库时使用,可以在入库后系统闲时通过Compaction命令再建立索引; batch_sort:表示在一个node下,内存排序后直接生成CarbonData文件,不再进行node下的全排序;使用该配置,可以提升加载速度,但查询性能不如LOCAL_SORT; -
请检查传入的MRS HDFS路径是否存在。 400 DIS.4337 The DLI database does not exist. 创建DLI转储任务时,传入的DLI数据库不存在 请检查传入的DLI数据库是否存在。 400 DIS.4338 The DLI table does not
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]