检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
max_routine_load_task_concurrent_num 5 否 int 未更改 - (0,10) 5 该参数限制了一个例行导入作业最大的子任务并发数。建议维持默认值。设置过大,可能导致同时并发的任务数过多,占用集群资源。 dynamic_partition_enable true 否
集群管理列表默认按时间顺序排列,时间最近的集群显示在最前端。集群管理列表参数说明如表1和表2所示。 表1 集群管理列表参数 参数 参数说明 集群名称 集群的名称,创建集群时设置。 集群状态 集群的运行状态信息。集群状态包括创建中、服务中、亚健康、创建失败和冻结。 任务状态 集群任务的状态信息。请参见表4。 引擎类型
Shell访问集群章节。 Doris客户端安装步骤请参见使用MySQL客户端访问集群章节。 ClickHouse客户端安装步骤请参见使用客户端访问集群章节。 弹性云服务器是否与集群在相同可用区、虚拟私有云、子网和安全组。 在弹性云详情页面和集群详情页面对比。 安全组的出入规则是否正确。 在集群详情页面单
安全组,以保证网络连通。 前提条件 Linux环境已安装JDK,版本号需要和IntelliJ IDEA导出Jar包使用的JDK版本一致,并设置好Java环境变量。 编译并运行程序 导出jar包。 进入IntelliJ IDEA,选择“File > Project Structure
表1 参数说明 参数 说明 用户名 新建用户的名字。 IP地址 指定访问用户的IP网段或者具体IP地址。 密码 新建用户的密码。 说明: 设置密码规则: 8~16个字符。 至少包含以下字符中的4种:大写字母、小写字母、数字、特殊字符($@!%*?&)。 不能与用户或倒序的用户名相同。
增加条件过滤和查询数据周期过滤,缩小数据查询范围。例如查询指定分区,通过指定分区字段会减少底层数据库扫描的文件数量,提升查询性能。例如:700个分区的千列大表,需要查询一个分区中有7000万数据,其他699个分区中无数据,虽然只有一个分区有数据,其他分区无数据,但是查询指定分区为百毫秒级性能,没有指定分区查询性能为1~2秒左右,性能相差20倍。
和Value(指标列)。没有设置AggregationType的,如user_id、date、age、sex称为Key,而设置了AggregationType的称为Value。 当导入数据时,对于Key列相同的行会聚合成一行,而Value列会按照设置的AggregationTyp
hive_catalog.DB.test_table; 元数据缓存设置 创建Catalog时可以采用参数file.meta.cache.ttl-second来设置Hive分区文件缓存自动失效时间,也可以将该值设置为0来禁用分区文件缓存,时间单位为:秒。示例如下: CREATE CATALOG
[FORMAT format] 示例: 查看ClickHouse集群信息。 select * from system.clusters; 显示当前节点设置的宏。 select * from system.macros; 查看数据库容量。 select sum(rows) as "总行数",
下载样例工程 前提条件 确认表格存储服务已经安装,并正常运行。 下载样例工程 下载样例代码工程。 下载完成后,将样例代码工程安装包解压到本地,得到一个Eclipse的JAVA工程。如图1所示。 图1 样例代码工程目录结构 Maven配置 样例工程中已经包含了hbase的客户端jar包,也可以替换成开源的HBase
如果在创建集群的时候未开启冷热分离特性,可在集群详情页面或者集群列表的操作列开启冷热分离。 节点已使用容量占节点总容量的比值超过冷热分存策略设置的比例,数据将被自动移动到冷存储卷。如图片中当热存储卷已使用容量超过80%时,热存储中的数据将被自动的移动到冷存储中。 冷热分离场景下,热盘不支持缩容。
host: 10.x.x.x 分析原因 用户导入数据速度过快,频繁小批量数据导入会产生过多数据版本,超过max_tablet_version_num设置的值,则报错E-235。 处理办法 通过报错信息查看报错表。例如:tablet writer write failed, tablet_id=27xxx2
法律或其他要求。 可用区 一个可用区是一个或多个物理数据中心的集合,有独立的风火水电,AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连,以满足用户跨AZ构建高可用性系统的需求。 项目 区域默认对应一个项目,这个项目由系统预置,用
解决办法 尽量一次性写入数据,避免磁盘负载频繁变化。 手动删除垃圾文件,并调低垃圾文件超时时间,待数据均衡,且垃圾文件较少时,再调回垃圾超时时间,回收站时间设置请参考设置回收站时间。 父主题: 通用类
应用容器化改造介绍 应用容器化改造流程 步骤1:对应用进行分析 步骤2:准备应用运行环境 步骤2:准备应用运行环境 步骤2:准备应用运行环境 更多 云服务器卡顿 应用容器化改造介绍 应用容器化改造流程 步骤1:对应用进行分析 步骤2:准备应用运行环境 更多 Ping不通 应用容器化改造介绍 应用容器化改造流程
如果选择多个分桶列,则数据分布更均匀。如果一个查询条件不包含所有分桶列的等值条件,那么该查询会触发所有分桶同时扫描,这样查询的吞吐会增加,单个查询的延迟随之降低。这个方式适合大吞吐低并发的查询场景。 如果仅选择一个或少数分桶列,则对应的点查询可以仅触发一个分桶扫描。此时,当多个点查询并发时
JRE”选项选择JDK版本。如图4所示,选中“Alternate JRE”后,选择JDK版本。 图4 选择JRE 单击“Finish”关闭窗口完成设置。 设置Eclipse的文本文件编码格式,解决乱码显示问题。 在Eclipse的菜单栏中,选择“Window > Preferences”。 弹出“Preferences”窗口。
导入的原子性保证 Doris的每一个导入任务,不论是使用Broker Load进行批量导入,还是使用INSERT语句进行单条导入,都是一个完整的事务操作。导入事务可以保证一批次内的数据原子生效,不会出现部分数据写入的情况。 同时,每个导入任务都会有一个Label。这个Label在数
计算规格:8U16G 存储规格:高IO 节点数量:3 Doris集群流水账单 按需计费CloudTable按秒计费,每一个小时整点结算一次费用,您可以在流水账单中核对每一个计费周期的信息是否和实际相符,具体如表所示。 表2 Doris集群流水账单 产品类型 CloudTable服务 产品
database_name 数据库的名称,默认为当前选择的数据库。 table_name 本地表名。 ON CLUSTERClickHouse集群名 在每一个节点上都创建一个本地表,固定为ON CLUSTER ClickHouse集群名。 name1,name2 列名。 ENGINE = engine_name()