检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Executor堆内存参数 配置场景 当分配的内存太小或者被更高优先级的进程抢占资源时，会出现物理内存超限的情况。调整如下参数，可以防止物理内存超限。 配置描述 参数入口： 在应用提交时通过“--conf”设置这些参数，或者在客户端的“spark-defaults.conf”配置文件中调整如下参数。
cpu-vcores”设置当前节点上NodeManager可使用的虚拟CPU核数，建议按节点实际逻辑核数的1.5到2倍配置。“yarn.nodemanager.resource.memory-mb”设置当前节点上NodeManager可使用的物理内存大小，建议按节点实际物理内存大小的75%配置。
DataNode堆内存使用率小于或等于阈值的90%时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 14008 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger condition
结束时间 慢查询的SQL语句的执行结束时间。 查询时长（s） 慢查询的SQL语句当前累计执行的时间，单位是秒。 用户 执行慢查询的SQL语句的ClickHouse用户。 客户端IP 提交该慢查询SQL语句的客户端IP。 占用的内存空间（MB） 慢查询SQL语句占用的内存大小统计，单位是MB。
直接连接FE节点访问Doris数据库： mysql -u数据库登录用户 -p -PFE查询连接端口 -hDoris FE实例IP地址 执行命令后输入数据库登录用户密码。 连接DBalancer服务，DBalancer根据配置策略连接FE节点访问Doris数据库： mysql -u数据库登录用户 -p
调整“-XX:NewSize”大小的时候，建议把其设置为“-Xmx”大小的1/8。 RegionServer需要的内存一般比HMaster要大。在内存充足的情况下，堆内存可以相对设置大一些。 根据机器的内存大小设置“-Xmx”大小：机器内存>200G，“-Xmx”设置为32G；128G<机器
获取当前znode的数据，可以列出当前znode所有的子znodes 写权限 write(w) 向当前znode写数据，写入子znode 管理权限 admin(a) 设置当前znode的权限 对系统的影响 修改ZooKeeper的ACL是高危操作。修改ZooKeeper中znode的权限，可
'jdbc:mysql://MySQL服务器IP:MySQL服务器端口/mysql', 'table-name' = 'customer_t1', 'username' = 'MySQL数据库用户名', 'password' = 'MySQL数据库用户名的密码' );
Yarn”，勾选“集群管理操作权限”。 说明： 设置Yarn管理员权限需要重启Yarn服务，才能使保存的角色配置生效。 设置用户在指定Yarn队列提交任务的权限 在“配置资源权限”的表格中选择“待操作集群的名称 > Yarn > 调度队列 > root”。 在指定队列的“权限”列，勾选“提交”。 设置用户在指定Yarn队列管理任务的权限
ySize”的值根据实际情况调大，并保存配置。 建议将参数“GC_OPTS”中“-XX:MaxDirectMemorySize”的值设置为“ConfigNode进程使用的直接内存大小”的两倍（可根据实际业务场景进行修改）。 ConfigNode进程使用的直接内存大小可以通过“定制
Metastore元数据JDBC链接的URL。 外置MySQL，则值为： jdbc:mysql://MySQL的IP:MySQL的端口/test?characterEncoding=utf-8 外置Postgres，则值为： jdbc:postgresql://Postgres的IP:Postgres的端口号/test
左上角第一个图标。 进入配置空间监控子页面，单击“添加”。 在名称空格中填写监控的表名称（或其他用户自定义的别名），在路径中填写需要监控表的路径。单击“确定”。该监控的横坐标为时间，纵坐标为监控目录的大小。 父主题： Hive常见问题
已获取待连接数据库对应的驱动Jar包。 仅数据源MySQL、Oracle（MRS 3.3.0及之后版本支持）需要上传相应的驱动，驱动对应的版本号如表1所示，且驱动需要在MySQL或Oracle官网下载。 表1 MySQL、Oracle数据源支持的驱动 数据源 支持的驱动包 MySQL mysql-connector-java-8
告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 影响任务执行和客户端连接FE。 可能原因
Loader）是一个基于Kafka Connect框架的实时数据集成服务。 CDL服务能够从各种OLTP数据库中捕获数据库的Data Change事件，并推送到kafka，再由sink connector推送到大数据生态系统中。 CDL目前支持的数据源有MySQL、PostgreSQL、Hudi、Kafka、
HDFS上设置配额导致HBase启动失败 问题现象 HBase启动失败。 原因分析 查看HMaster日志信息（“/var/log/Bigdata/hbase/hm/hbase-omm-xxx.log”），出现如下异常，The DiskSpace quota of /hbase is
执行Kafka Topic设置ACL操作失败，提示“NoAuthException” 问题背景与现象 在使用Kafka客户端命令设置Topic ACL权限时，发现Topic无法被设置。 kafka-acls.sh --authorizer-properties zookeeper
由于窗口使用自定义窗口，这时窗口的状态使用ListState，且同一个key值下，value的值非常多，每次新的value值到来都要使用RocksDB的merge()操作；触发计算时需要将该key值下所有的value值读出。 RocksDB的方式为merge()->merge()...
告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 影响任务执行和客户端连接FE。 可能原因
JobStart，JobEnd）按文件的大小进行决定是否写入新的日志文件。对于Spark SQL的应用，Job事件还包含ExecutionStart、ExecutionEnd。 Spark中有个HistoryServer服务，其UI页面就是通过读取解析这些日志文件获得的。在启动HistoryS
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
