检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何调整数据均衡的灵敏度,调整后有哪些影响? Doris的数据磁盘空间如果不加以控制,会因磁盘写满而导致进程不可写。因此我们监测磁盘的使用率和剩余空间,通过设置不同的警戒水位,来控制Doris系统中的各项操作,尽量避免发生磁盘被写满的情况。 如何调整数据均衡的灵敏度? BE定期(
access key,获取方式请参见对象存储服务的获取访问密钥(AK/SK)章节。 AWS_SECRET_KEY secret key,获取方式请参见对象存储服务的获取访问密钥(AK/SK)章节。 AWS_ENDPOINT obs地址,获取方式见请参见对象存储服务的获取终端节点章节。 AWS_REGION
access key,获取方式请参见对象存储服务的获取访问密钥(AK/SK)章节。 AWS_SECRET_KEY secret key,获取方式请参见对象存储服务的获取访问密钥(AK/SK)章节。 AWS_ENDPOINT obs地址,获取方式见请参见对象存储服务的获取终端节点章节。 AWS_REGION
样例代码 此章节主要介绍CloudTable ClickHouse冷热分离的使用命令,以及冷数据如何自动存储到obs桶中。 样例代码 创建ClickHouse冷热分离表test_table。 CREATE TABLE IF NOT EXISTS test_table ( `timestamp`
登录表格存储服务管理控制台。 单击管理控制台左上角的,选择区域。 在左侧导航树,单击集群管理。 在集群列表中找到需要查看的集群,在对应的操作列中,单击查看监控信息,系统会跳到该集群的“云服务监控”页面。 待查看集群,其状态必须为“服务中”。 图1 查看监控信息 在集群的“云服务监控”页
sec) fs.obs.access.key, fs.obs.secret.key,fs.obs.endpoint获取方式如下所示: fs.obs.access.key与fs.obs.secret.key的获取方式请参见对象存储服务的获取访问密钥(AK/SK)章节。 fs.obs.end
查看调测结果 运行结果中没有异常或失败信息即表明运行成功。 图1 运行成功 日志说明:日志级别默认为INFO,可以通过调整日志打印级别(DEBUG,INFO,WARN,ERROR,FATAL)来显示更详细的信息。可以通过修改log4j.properties文件来实现,如: hbase
查看ClickHouse集群监控信息 登录表格存储服务管理控制台。 单击管理控制台左上角的,选择区域。 在左侧导航树,单击集群管理。 在集群列表中找到需要查看的集群,在对应的操作列中,单击查看监控信息,系统会跳到该集群的“云服务监控”页面。 待查看集群,其状态必须为“服务中”。 在集群的“云服务监控”页面中,单击
'V2' ); 将OBS数据导入到Doris表。 构造text数据100条,该数据与Doris表字段对应,将数据上传到OBS桶。 fs.obs.access.key, fs.obs.secret.key,fs.obs.endpoint获取方式如下所示: fs.obs.access.key与fs
减去写入时间大于TTL设置的值,则会在系统后台执行并调用OBS SDK数据写入OBS,随后将本地文件删除。 查询数据:用户在表上进行对应的查询时,Doris会根据对应Partition使用的Policy信息找到对应的OBS并行文件系统的相关路径,并根据不同Tablet下的Rows
冷热分离粒度是基于Part的,当达到容量上限或冷却时间时会将当前满足条件的Part全部上传到OBS并删除本地数据,之后新导入的数据生成的新Part达到容量上限或冷却时间后也会上传到OBS。 查询数据:用户在数据表上进行对应的查询,ClickHouse会根据对应表的存储策略信息查询
使用catalog连接kerberos安全认证hive on hdfs 使用catalog连接非安全认证hive on obs 使用catalog连接kerberos安全认证hive on obs 父主题: Doris连接管理
Doris参数配置 操作场景 创建完Doris集群后,用户可以在表格存储服务控制台中多次修改集群Doris配置参数,对集群的性能进行调优。 修改集群静态参数需要重启集群,可能会导致业务的中断。 集群无运行中的任务时,才能修改参数。 CloudTable Doris集群重启过程中,不允许修改集群参数。
access key,获取方式请参见对象存储服务的获取访问密钥(AK/SK)章节。 AWS_SECRET_KEY secret key,获取方式请参见对象存储服务的获取访问密钥(AK/SK)章节。 AWS_ENDPOINT obs地址,获取方式见请参见对象存储服务的获取终端节点章节。 AWS_REGION
了解更多VPC的相关信息,请参见虚拟私有云。 对象存储服务OBS CloudTable使用对象存储服务(Object Storage Service,简称OBS)存储集群数据的备份和快照,实现安全、高可靠和低成本的存储需求。 了解更多OBS的相关信息,请参见对象存储服务。 云数据迁移CDM Clo
Metastore,或者兼容Hive Metastore的元数据服务自动获取Hive库表信息,并进行表数据查询,从而避免了传统外部数据目录多需要手动映射以及数据迁移的复杂工程。 背景 许多客户的Hive表数据在OBS或HDFS上,需要Doris对接Hive外表,且Hive集群分为
3版本,可选:3.X。 用户名 MRS集群的用户名。 密码 MRS集群mrs_user_name对应的密码。 OBS支持 打开按钮,则支持OBS。关闭按钮则不支持OBS。 配置好参数后,单击测试。如果测试失败请检查用户名和密码是否正确。 测试完成后,单击确定按钮,连接设置页面会出现一条新的连接记录。
3版本,可选:3.X。 用户名 MRS集群的用户名。 密码 MRS集群mrs_user_name对应的密码。 OBS支持 打开按钮,则支持OBS。关闭按钮则不支持OBS。 配置好参数后,单击测试。如果测试失败请检查用户名和密码是否正确。 测试完成后,单击确定按钮,连接设置页面会出现一条新的连接记录。
Leader提供元数据读写服务,Follower和Observer只有读取权限,无写入权限。 Follower Follower只有元数据读取权限,无写入权限,Follower参与Leader选举。 Observer Observer主要用于扩展集群的查询并发能力,可选部署。Observer不参与选主,不会增加集群的选主压力。
CloudTable集群能够提供什么服务? 为什么要选择CloudTable服务? 创建CloudTable HBase集群要准备什么? 使用CloudTable服务时需要关注什么? CloudTable HBase集群支持哪些压缩算法? 能停止CloudTable服务吗? CloudTabl