检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何调整数据均衡的灵敏度,调整后有哪些影响? Doris的数据磁盘空间如果不加以控制,会因磁盘写满而导致进程不可写。因此我们监测磁盘的使用率和剩余空间,通过设置不同的警戒水位,来控制Doris系统中的各项操作,尽量避免发生磁盘被写满的情况。 如何调整数据均衡的灵敏度? BE定期(
Hive 创建hive catalog 通过连接Hive Metastore,或者兼容Hive Metastore的元数据服务,Doris可以自动获取Hive的库表信息,并进行数据查询。 除了Hive外,很多其他系统也会使用Hive Metastore存储元数据。所以通过Hive
创建MRS Hive连接 使用catalog连接非安全认证hive on hdfs 使用catalog连接kerberos安全认证hive on hdfs 使用catalog连接非安全认证hive on obs 使用catalog连接kerberos安全认证hive on obs
type 对接外部数据类型。 hive.metastore.uris hive元数据uri,可在hive-site.xml配置文件查看。 hive.server2.thrift.sasl.qop 可在hive-site.xml配置文件查看。 hive.server2.authentication
type 对接外部数据类型。 hive.metastore.uris hive元数据uri,可在hive-site.xml配置文件查看。 hive.metastore.sasl.enabled 可在hive-site.xml配置文件查看。 hive.server2.thrift.sasl
参数说明 参数 说明 type 对接外部数据类型。 hive.metastore.uris hive元数据uri,可在hive-site.xml配置文件查看。 hive.metastore.sasl.enabled 可在hive-site.xml配置文件查看。 dfs.nameservices
AWS_REGION obs region,在obs页面查看。 hive.metastore.sasl.enabled hive元数据uri,可在hive-site.xml配置文件查看。 hive.version Hive版本。 yarn.resourcemanager.address
许多客户的Hive表数据在OBS或HDFS上,需要Doris对接Hive外表,且Hive集群分为安全集群与非安全集群,所以可以使用以下4种方式进行数据查询: 使用catalog连接非安全认证hive on hdfs。 使用catalog连接kerberos安全认证hive on hdfs。
JDBC通过ssl方式连接doris(无需验证证书) 在应用层进行代码重试和负载均衡时,代码重试需要应用自己多个配置doris前端节点地址。比如发现一个连接异常退出,就自动在其他连接上进行重试。 前提条件:集群必须开启HTTPS。 下载证书请在集群详情页面下载。 样例代码: public
Doris连接管理 连接管理概述 创建MRS Hive连接 父主题: Doris集群管理
JDBC通过非ssl方式连接doris 在应用层进行代码重试和负载均衡时,代码重试需要应用自己多个配置doris前端节点地址。比如发现一个连接异常退出,就自动在其他连接上进行重试。 JDBC Connector 如果使用mysql jdbc connector来连接Doris,可以使用jdbc的自动重试机制:
路由添加请联系技术人员。 公网访问CloudTable集群 ClickHouse/Doris 绑定ELB,通过ELB绑定的EIP,为集群提供公网访问的能力,同时提供负载均衡能力。更多信息请参见什么是ELB章节。 无法访问对端集群。 连通CloudTable集群和线下数据中心 ClickHouse/Doris
JDBC通过ssl方式连接doris(验证证书) 在应用层进行代码重试和负载均衡时,代码重试需要应用自己多个配置doris前端节点地址。比如发现一个连接异常退出,就自动在其他连接上进行重试。 前提条件:集群必须开启HTTPS。 下载证书请在集群详情页面下载。 在已安装mysql客户端
开启opentsdb组件 opentsdb此功能只支持HBase的1.3.1版本。 功能介绍 开启opentsdb组件。 URI POST /v2/{project_id}/clusters/{cluster_id}/components/{component_name} 表1 路径参数
多源数据目录 概述 Hive 父主题: 数据湖分析
为了提升系统的计算能力、存储能力,用户可以通过节点扩容来扩容集群。节点扩容将会产生相应的费用。用户可根据实际需要或业务情况,动态的增加节点的个数,集群将自适应的实现负载均衡,保证业务不中断,平滑扩容。 注意事项 扩容过程中,不会自动重启集群,保证业务不中断,平滑扩容。 如果扩容失败,“任务状态”将显示为“节
关闭https会给企业服务带来风险。 创建集群开启https选项,后续无法关闭。 创建集群未开启https选项,后续无法开启。 配置好参数,单击“立即购买”。 进入“规格详情”页面,确认集群规格订单信息,单击“提交”,成功提交集群创建任务,集群创建成功后,进入详情页面查看通道开启状态。 打开安全和非安全通道步骤
一个平台满足统一的数据仓库建设需求,简化繁琐的大数据软件栈。Doris构建的统一数仓,替换了原来由Spark、Hive、Kudu、HBase、Phoenix组成的旧架构,架构大大简化。 数据湖联邦查询:通过外表的方式联邦分析位于Hive中的数据,在避免数据拷贝的前提下,查询性能大幅提升。 父主题: 应用场景
创建数据表开启标签索引 功能介绍 建表功能同创建表,在此基础上,表属性配置标签索引schema。 样例代码 public void testCreateTable() { LOG.info("Entering testCreateTable."); HTableDescriptor
扩容过程,不影响当前系统运行以及正在执行的任务,并且不会影响当前系统的性能,数据均衡会自动进行,集群会在几个小时到一天不等的时间内恢复到负载均衡的状态。Doris集群目前不支持纵向扩容,而Doris本身有多种方式可以实现纵向扩容,因此需要对Doris集群增加纵向扩容服务。 新增节点按照当前集群的计费模式进行计费。