正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SHOW显示数据库和表信息 本章节主要介绍ClickHouse显示数据库和表信息的SQL基本语法和使用说明。 基本语法 show databases show tables 使用示例 --查询数据库 show databases; ┌─name────┐ │ default
角色名 产生告警的角色名称。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 数据库进入只读模式,业务数据丢失。 数据库进入只读模式,上层服务写业务操作相关数据丢失。 可能原因 磁盘配置无法满足业务需求,磁盘使用率达到上限。 处理步骤 检查磁盘使用率是否达到上限
性能优化类 Hadoop压力测试工具如何获取? 如何提高集群Core节点的资源使用率? 如何配置knox内存? 如何调整manager-executor进程内存? 如何设置Spark作业执行时自动获取更多资源? spark.yarn.executor.memoryOverhead设置不生效如何处理?
用数据库连接器来说,导出、导入速度更快。 使用mysql-fastpath-connector时,要求在NodeManager节点上有MySQL的mysqldump和mysqlimport命令,并且此两个命令所属MySQL客户端版本与MySQL服务器版本兼容,如果没有这两个命令或版本不兼容,请参考http://dev
重置DBService数据库omm用户密码 操作场景 MRS集群中DBService数据库omm用户的默认密码为随机密码,建议定期重置DBService数据库omm用户的密码,以提升系统运维安全性。 该章节仅适用于MRS 3.2.0-LTS.1及之后的版本,MRS 3.2.0-LTS
安装了Hive组件的集群支持连接“RDS服务PostgreSQL数据库”,且Postgres数据库版本号为PostgreSQL14。 安装了Hive或Ranger组件的集群支持连接“RDS服务MySQL数据库”,且MySQL数据库版本为MySQL 5.7.x/MySQL 8.0。 仅MRS 3
要启动聚合算法优化,在Spark客户端的“spark-defaults.conf”配置文件中进行设置。 表1 参数介绍 参数 描述 默认值 spark.sql.codegen.aggregate.map.twolevel.enabled 是否开启聚合算法优化: true:开启 false:不开启
作。 Count Distinct聚合问题 当使用聚合函数count distinct完成去重计数时,处理值为空的情况会使Reduce产生很严重的数据倾斜,可以将空值单独处理,如果是计算count distinct,可以通过where子句将该值排除掉,并在最后的count dis
对应所有文件的HDFS ACL权限。 数据库授权 用户在Hive和HDFS中对自己创建的数据库拥有完整权限,用户访问别人创建的数据库,需要授予权限。授予权限时只需要授予Hive元数据权限,HDFS文件权限将自动关联。以授予用户对应角色在数据库“hdb”中查询和创建表的权限为例,操
r角色管理功能在表授权、列授权和数据库授权三个场景下的操作。 操作步骤 SparkSQL表授权、列授权、数据库授权与Hive的操作相同,详情请参见Hive用户权限管理。 在权限管理中,为了方便用户使用,授予数据库下表的任意权限将自动关联该数据库目录的HDFS权限。为了避免产生性能
tor、mysql-fastpath-connector),专用数据库连接器特别针对具体数据库类型进行优化,相对通用数据库连接器来说,导出、导入速度更快。 使用mysql-fastpath-connector时,要求在NodeManager节点上有MySQL的mysqldump和
Hive ORC数据存储优化 操作场景 “ORC”是一种高效的列存储格式,在压缩比和读取效率上优于其他文件格式。 建议使用“ORC”作为Hive表默认的存储格式。 前提条件 已登录Hive客户端,具体操作请参见Hive客户端使用实践。 操作步骤 推荐:使用“SNAPPY”压缩,适用于压缩比和读取效率要求均衡场景。
或者专用数据库连接器(oracle-connector、oracle-partition-connector、mysql-fastpath-connector),专用数据库连接器特别针对具体数据库类型进行优化,相对通用数据库连接器来说,导出、导入速度更快。 使用mysql-fas
通过Sqoop迁移数据库数据时报错 用户问题 MRS Sqoop迁移数据库数据报错如下: Communications link failure; The driver has not received any packets from the server; 源端为DWS数据库时报错如下:
schemas from mysql命令即可查询MySQL数据库。 MRS 2.x版本。 创建“mysql.properties”配置文件,内容如下: connector.name=mysql connection-url=jdbc:mysql://MySQL IP地址:3306 connection-user=用户名
要启动聚合算法优化,在Spark客户端的“spark-defaults.conf”配置文件中进行设置。 表1 参数介绍 参数 描述 默认值 spark.sql.codegen.aggregate.map.twolevel.enabled 是否开启聚合算法优化: true:开启 false:不开启
String 参数解释: 数据连接类型。 取值范围: RDS_POSTGRES:RDS服务PostgreSQL数据库 RDS_MYSQL:RDS服务MySQL数据库 gaussdb-mysql:云数据库GaussDB(for MySQL) source_info 是 String 参数解释:
通过Sqoop读取MySQL数据并写parquet文件到OBS时失败 用户问题 通过Sqoop读取MySQL数据,然后直接写到OBS,指定parquet格式时写入报错,不指定parquet时不报错。 问题现象 原因分析 parquet格式不支持hive3,用Hcatalog方式写入。
以下Doris权限配置示例供参考,在实际业务场景中可根据业务需求灵活调整。 登录安装了MySQL客户端的节点,使用admin用户连接Doris服务。 mysql -uadmin -P数据库连接端口 -hDoris FE实例IP地址 admin用户默认密码为空。 数据库连接端口为Doris FE的查询连接端口,默认为2
多种物理执行计划,如何指导编译器选择效率最高的执行计划,这就是优化器的主要作用。传统数据库(例如Oracle)的优化器有两种:基于规则的优化器(Rule-Based Optimization,RBO)和基于代价的优化器(Cost-Based Optimization,CBO)。 RBO