检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
OpenTSDB简介 OpenTSDB是一个基于HBase的分布式、可伸缩的时间序列数据库。OpenTSDB的设计目标是用来采集大规模集群中的监控类信息,并可实现数据的秒级查询,解决海量监控类数据在普通数据库中查询存储的局限性。 OpenTSDB使用场景有如下几个特点: 采集指标在某一
Doris冷热分离使用实践 登录安装了MySQL的节点,执行以下命令,连接Doris数据库。 若集群已启用Kerberos认证(安全模式),需先执行以下命令再连接Doris数据库: export LIBMYSQL_ENABLE_CLEARTEXT_PLUGIN=1 mysql -u数据库登录用户 -p -PFE查询连接端口
备份Doris数据 登录安装了MySQL的节点,执行以下命令,连接Doris数据库。 如果集群已启用Kerberos认证(安全模式),需先执行以下命令再连接Doris数据库: export LIBMYSQL_ENABLE_CLEARTEXT_PLUGIN=1 mysql -u数据库登录用户 -p数据库登录用户密码
`_hoodie_commit_time`>'20210308211131'")// 开始查询,和hive增量查询语句一样 .show(100, false) 读优化视图:cow表读优化视图等同于实时视图。 父主题: Hudi读操作
FlinkSQL行级过滤 本章节适用于MRS 3.3.1及以后版本。 使用场景 使用FlinkSQL时支持设置行级别过滤条件,可以使指定用户只能访问授权过的行,隐藏未授权的行数据。 前提条件 集群已启用Kerberos认证(安全模式),已安装Ranger、Hive、Flink等服务且服务运行正常。
generic-jdbc-connector 架构名称 数据库模式名。 表名 数据库表名,用于最终保存传输的数据。 临时表 数据库临时表的表名,用于临时保存传输过程中的数据,字段需要和“表名”配置的表一致。 oracle-partition-connector 架构名称 数据库模式名。 表名 数据库表名,用于最终保存传输的数据。
overwrite directory "/path1" ...,写成功之后,会将旧数据移除到回收站,并且同时限制该目录不能为Hive元数据库中已经存在的数据库路径。 进入Hive服务配置页面: MRS 3.x之前版本,单击集群名称,登录集群详情页面,选择“组件管理 > Hive > 服
衡和查询效率。 查询吞吐利用查询SQL的分桶剪裁优化避免了全桶扫描,以提升查询性能。 分桶列的选取:优先考虑数据较为均匀且常用于查询条件的列作为分桶列。 可使用以下方法分析是否会导致数据倾斜: SELECT a, b, COUNT(*) FROM tab GROUP BY a,b;
),需先执行以下命令再连接Doris数据库: export LIBMYSQL_ENABLE_CLEARTEXT_PLUGIN=1 mysql -u数据库登录用户 -p -PFE查询连接端口 -hDoris FE实例IP地址 执行命令后输入数据库登录用户密码。 Doris FE的查
examples包的“Demo”类的createDatabase方法中。 通过on cluster语句在集群中创建表1中以databaseName参数值为数据库名的数据库。 private void createDatabase(String databaseName, String clusterName)
MapReduce任务commit阶段优化 操作场景 默认情况下,如果一个MR任务会产生大量的输出结果文件,那么该job在最后的commit阶段,会耗费较长的时间将每个task的临时输出结果commit到最终的结果输出目录。特别是在大集群中,大Job的commit过程会严重影响任务的性能表现。
MapReduce任务commit阶段优化 操作场景 默认情况下,如果一个MR任务会产生大量的输出结果文件,那么该job在最后的commit阶段,会耗费较长的时间将每个task的临时输出结果commit到最终的结果输出目录。特别是在大集群中,大Job的commit过程会严重影响任务的性能表现。
Hive的元数据信息,存储在MySQL等数据库中。MRS Hive集群的元数据会默认存储到MRS DBService(华为的Gaussdb数据库),也可以选择RDS(MySQL)作为外置元数据库。 Hive的业务数据,存储在HDFS文件系统或OBS对象存储中。 MySQL数据迁移到MRS集群Hive分区表
'2022-04-22'); 登录安装了MySQL的节点,执行以下命令,连接Doris数据库。 如果集群已启用Kerberos认证(安全模式),需先执行以下命令再连接Doris数据库: export LIBMYSQL_ENABLE_CLEARTEXT_PLUGIN=1 mysql -u数据库登录用户 -p数据库登录用户密码
nodemanager.resource.memory-mb”的值,请根据集群的节点内存实际情况调大该值。 保存配置并重启受影响的服务或实例。 父主题: 性能优化类
在集群外节点连接开启Kerberos认证的集群,HTTP在Kerberos数据库中无法找到相应的记录 问题 presto-examples-1.0-SNAPSHOT-jar-with-dependencies.jar在集群内节点运行时正常,但在集群外节点运行PrestoJDBCE
Hive读写权限”。 在数据库列表中单击指定的数据库名称,显示数据库中的表。 在指定表的“权限”列,勾选“插入”。 设置在默认数据库中,导入数据到其他用户表的权限 在“配置资源权限”的表格中选择“待操作集群的名称 > Hive > Hive读写权限”。 在数据库列表中单击指定的数据库名称,显示数据库中的表。
ClickHouse企业级能力增强 通过ELB访问ClickHouse ClickHouse开启mysql_port配置 父主题: 使用ClickHouse
数据目录SSD和HDD的配置导致建表时偶现报错 使用Stream Load时报RPC超时错误 使用MySQL客户端连接Doris数据库时报错“plugin not enabled”如何处理 FE启动失败 BE匹配错误IP导致启动失败 MySQL客户端连接Doris报错“Read timed out” BE运行数据导入或查询任务报错
LIMIT { count | ALL } 下面的查询限制返回的行数为5: SELECT * FROM fruit LIMIT 5; LIMIT ALL与省略LIMIT的作用一样。 FETCH FIRST FETCH { FIRST | NEXT } [ count ] { ROW