正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
功能介绍 HBase通过加载配置文件来获取配置项。 加载配置文件是一个比较耗时的操作,如非必要,请尽量使用同一个Configuration对象。 样例代码未考虑多线程同步的问题,如有需要,请自行增加。其它样例代码也一样,不再一一进行说明。 代码样例 下面代码片段在com.huawei
port:HTTP的端口。 创建导入任务的详细语法可以通过HELP STREAM LOAD命令查看。Stream Load中所有与导入任务相关的参数均设置在Header中。相关参数描述如下表所示。 表1 参数说明 参数 说明 签名参数 user/passwd Stream load由于创建导
e接口重新启用表。 注[1] 指的是代码样例中的“admin.modifyTable(tableName, htd); //注[1]”。 设置已有表的冷热分离功能。 public void testModifyTable() { LOG.info("Entering testModifyTable
Schema区分维度表和指标表。频繁更新的维度表也可以放在MySQL外部表中。而如果只有少量更新, 可以直接放在Doris中。在Doris中存储维度表时,可对维度表设置更多的副本,提升Join的性能。 父主题: Doris数据表和数据模型
样例代码 此章节主要介绍CloudTable ClickHouse冷热分离的使用命令,以及冷数据如何自动存储到obs桶中。 样例代码 创建ClickHouse冷热分离表test_table。 CREATE TABLE IF NOT EXISTS test_table ( `timestamp`
1%~100% 租户最大占用内存资源的百分比。 并发数 1~2147483647 租户最大可运行查询任务的并发数。该值是对单个FE的限定。例如设置并发数为1,Doris有三个FE节点,则从集群角度看,最大可运行的SQL数为3。 队列长度 1~2147483647 租户最大等待执行的查
优势。本样例工程以城市+区域+时间作为RowKey,列都存储在info列族中。 当天整点写入数据,同时一天前数据查询频率较低,节省存储空间设置冷热分离,将一天前数据自动归档到冷存储。 父主题: 开发HBase冷热分离应用
两部分信息统一存放在一张表中。 表中的列按照是否设置了AggregationType,分为Key(维度列)和Value(指标列)。没有设置AggregationType的,如user_id、date、age、sex称为Key,而设置了AggregationType的称为Value。
建议在配置文件或者环境变量中密文存放,使用时解密,确保安全; // 本示例以密码保存在环境变量中为例,运行本示例前请先在本地环境中设置环境变量CK_PASSWORD String password = System.getenv("CK_PASSWORD");
String 语言类型。 表3 请求Body参数 参数 是否必选 参数类型 描述 cluster 是 Cluster object 创建集群参数对象实体。 表4 Cluster 参数 是否必选 参数类型 描述 auth_mode 否 String 是否开启IAM权限认证。 false:不开启
冷热分离粒度是基于Part的,当达到容量上限或冷却时间时会将当前满足条件的Part全部上传到OBS并删除本地数据,之后新导入的数据生成的新Part达到容量上限或冷却时间后也会上传到OBS。 查询数据:用户在数据表上进行对应的查询,ClickHouse会根据对应表的存储策略信息查询
oncurrent_num 5 否 int 未更改 - (0,10) 5 该参数限制了一个例行导入作业最大的子任务并发数。建议维持默认值。设置过大,可能导致同时并发的任务数过多,占用集群资源。 dynamic_partition_enable true 否 boolean 未更改
IAMConstants.IAM_USER_PASSWORD, userPassword); 参考创建Connection,使用更新后的conf对象创建HBase的连接。 父主题: 样例代码说明
boost::shared_ptr<TProtocol> protocol(new TBinaryProtocol(transport)); // 设置表名 std::string ns("default"); std::string table("test"); TTableName
支持的数据格式 不同的导入方式支持的数据格式不同。 表1 导入方式说明 导入方式 支持格式 Broker Load parquet、orc、obs Stream Load csv、json、parquet、orc 导入说明 Doris的数据导入实现有以下共性特征,这里分别介绍,以帮助大家更好的使用数据导入功能。
删除数据迁移策略前,请检查关联该策略的所有表是否都已经删除,否则删除数据迁移策略会失败。 删除含数据迁移策略的数据表后,为了保证数据的安全,冷数据在obs桶最多保留时间25小时,且数据保留期间会计费。 父主题: Doris冷热分离应用
备注:此字段废弃。 lemon_num String Lemon节点个数。 备注:此字段废弃 storage_type String 集群底层存储类型: OBS HDFS storage_quota String 集群存储配额。 used_storage_size String 当前使用存储空间。