检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建Connection 功能介绍 HBase通过ConnectionFactory.createConnection(configuration)方法创建Connection对象。传递的参数为上一步创建的Configuration。 Connection封装了底层与各实际服务器
Doris数据表和数据模型 数据表 数据模型 最佳实践 父主题: 建表
JDBC通过ssl方式连接doris(验证证书) 在应用层进行代码重试和负载均衡时,代码重试需要应用自己多个配置doris前端节点地址。比如发现一个连接异常退出,就自动在其他连接上进行重试。 前提条件:集群必须开启HTTPS。 下载证书请在集群详情页面下载。 在已安装mysql客
JDBC通过非ssl方式连接doris 在应用层进行代码重试和负载均衡时,代码重试需要应用自己多个配置doris前端节点地址。比如发现一个连接异常退出,就自动在其他连接上进行重试。 JDBC Connector 如果使用mysql jdbc connector来连接Doris,可以使用jdbc的自动重试机制:
HASH(sessionid, visitorid) BUCKETS 10; 大宽表与Star Schema 业务方建表时, 为了和前端业务适配, 往往不对维度信息和指标信息加以区分, 而将Schema定义成大宽表,这种操作对于数据库其实不是那么友好,我们更建议用户采用星型模型。 Schema中字段数比较多
JDBC通过ssl方式连接doris(无需验证证书) 在应用层进行代码重试和负载均衡时,代码重试需要应用自己多个配置doris前端节点地址。比如发现一个连接异常退出,就自动在其他连接上进行重试。 前提条件:集群必须开启HTTPS。 下载证书请在集群详情页面下载。 样例代码: public
的健康状态并及时获取系统的关键信息。 监控功能 集群监控功能整体分为FE指标监控和BE指标监控两个模块。在每个模块中用户都可调整监控数据的时间范围:方便查看不同时间的历史数据。也可调整监控数据的时间粒度:方便在不同维度层次查看数据。如果想实时查看监控数据,可以开启自动刷新。平台可
当Doris集群中FE节点故障数大于等于一半或故障BE数量大于等于3时,Doris集群为异常状态。 查询超时时间默认为300秒。如果在300秒内未完成查询,该查询将被Doris系统取消。用户可以使用此参数自定义应用程序的超时时间,并实现类似等待(超时)的阻塞模式。 mysql> SHOW VARIABLES
数据分布 数据分片 Doris表按两层结构进行数据划分,分别是分区和分桶。 每个分桶文件就是一个数据分片(Tablet),Tablet是数据划分的最小逻辑单元。每个Tablet包含若干数据行。各个Tablet之间的数据没有交集,并且在物理上是独立存储的。 一个Tablet只属于一
图2 选择JAR file 勾选“src”和“conf”目录,导出Jar包到指定位置。单击两次“Next”。 图3 选择导出路径 单击“Finish”,完成导出Jar包。 执行Jar包。 在Linux客户端下执行Jar包的时候,先将应用开发环境中生成的Jar包拷贝上传至客户端安装目
在Linux中调测程序 安装客户端时编译并运行程序 未安装客户端时编译并运行程序 查看调测结果 父主题: 调测程序
在Windows中调测程序 编译并运行程序 查看调测结果 父主题: 调测程序
数据的集合。 一张表包括行(Row)和列(Column)。Row即用户的一行数据。Column用于描述一行数据中不同的字段,可以根据实际情况采用不同的数据类型(如整型、字符串、布尔型等)。 从OLAP场景看,Column可以分为两大类:Key和Value。Key表示维度列,Value表示指标列。
查看调测结果 运行结果中没有异常或失败信息即表明运行成功。 图1 运行成功 日志说明:日志级别默认为INFO,可以通过调整日志打印级别(DEBUG,INFO,WARN,ERROR,FATAL)来显示更详细的信息。可以通过修改log4j.properties文件来实现,如: hbase
查看调测结果 运行结果中没有异常或失败信息即表明运行成功。 图1 运行成功 在Windows环境运行样例代码时会出现下面的异常,但是不影响业务: java.io.IOException: Could not locate executable null\bin\winutils.exe
并及时获取系统的关键信息。 监控功能 集群监控功能整体分为计算节点指标监控和ZooKeeper指标监控两个模块。在每个模块中用户都可调整监控数据的时间范围:方便查看不同时间的历史数据。也可调整监控数据的时间粒度:方便在不同维度层次查看数据。如果想实时查看监控数据,可以开启自动刷新
集群监控指标查看:对接CES服务,可以查看Doris集群相关的监控指标,用户以图形化的方式呈现集群运行状况。当指标出现异常时,通过消息通知用户和管理员,及时人工介入。 重启集群:因长时间不重启导致系统运行缓慢等情况下,用户需要重启集群。重启操作将有可能会导致正在运行中的业务数据丢失,如果需要执行重启操作
核对每一个计费周期的信息是否和实际相符,具体如表所示。 表2 Doris集群流水账单 产品类型 CloudTable服务 产品 Doris集群 计费模式 按需 消费时间 2023/07/24 14:20:00~2023/07/24 15:20:00时间段计费系统将生成相应的流水账单,对应每一个周期,分别如下:
如果在创建集群的时候未开启冷热分离特性,可在集群详请页面或者集群列表的操作列开启冷热分离。 节点已使用容量占节点总容量的比值超过冷热分存策略设置的比例,数据将被自动移动到冷存储卷。如图片中当热存储卷已使用容量超过80%时,热存储中的数据将被自动的移动到冷存储中。 图1 开启冷热分离 修改冷热分离策略
HBase会依赖用户写入数据的时间戳(毫秒)和时间分界点来判断数据的冷热。数据开始存储在热存储上,随着时间的推移慢慢往冷存储上迁移。同时用户可以任意变更数据的冷热分界点,数据可以从热存储到冷存储,也可以从冷存储到热存储。 父主题: HBase冷热分离