检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
操作场景 Hive的MetaStore客户端连接支持负载均衡,即可通过服务端在ZooKeeper记录的连接数,选择连接最少的节点进行连接,防止大业务场景下造成某个MetaStore高负载,其他MetaStore空闲情况,开启此功能不影响原有连接方式。 该章节内容适用于MRS 3.2
E-22275。 补丁兼容关系 MRS 2.1.0.8补丁包中包含MRS 2.1.0版本发布的所有补丁内容。 已修复漏洞披露 解决Spark远程代码执行漏洞,漏洞详细请参考CVE-2020-9480 安装补丁的影响 安装MRS 2.1.0.8补丁期间会重启MRS Manager,
INTO命令,根据一张表或子查询的连接条件对另外一张表进行查询,连接条件匹配上的进行UPDATE或DELETE,无法匹配的执行INSERT。这个语法仅需要一次全表扫描就完成了全部同步工作,执行效率要高于INSERT+UPDATE。 命令格式 MERGE INTO tableIdentifier AS target_alias
操作步骤 以下配置均可在客户端的“conf/flink-conf.yaml”配置文件中进行修改适配,默认已经是相对较优解,请谨慎修改,防止性能下降。 “taskmanager.network.netty.num-arenas”: 默认是“taskmanager.numberO
开启Oozie HA机制 操作场景 Oozie多个节点同时提供服务的时候,通过ZooKeeper来提供高可用(HA)功能,防止单节点故障以及多节点同时处理一个任务。 MRS 3.3.1及之后版本Oozie默认开启HA机制,无需执行该章节操作。 对系统影响 操作过程中需要重启Ooz
操作步骤 以下配置均可在客户端的“conf/flink-conf.yaml”配置文件中进行修改适配,默认已经是相对较优解,请谨慎修改,防止性能下降。 “taskmanager.network.netty.num-arenas”: 默认是“taskmanager.numberO
master的次数,同时也是等待SparkContext初始化的次数。增大该参数值,可以防止AM任务被删除,降低客户端应用运行异常的概率。 10 spark.yarn.am.memory 调整AM的内存。增大该参数值,可以防止AM因内存不足而被RM删除任务,降低客户端应用运行异常的概率。 1G 父主题:
http访问,客户端和服务端的配置不同,就会导致访问结果显示乱码。在客户端和服务端配置相同的“yarn.http.policy”参数,可以防止客户端访问结果显示乱码。 操作步骤 在Manager系统中,选择“集群 > 服务 > Yarn > 配置”,选择“全部配置”,在搜索框中输入参数名称“yarn
http访问,客户端和服务端的配置不同,就会导致访问结果显示乱码。在客户端和服务端配置相同的“yarn.http.policy”参数,可以防止客户端访问结果显示乱码。 操作步骤 在Manager系统中,选择“集群 > 服务 > Yarn > 配置”,选择“全部配置”,在搜索框中输入参数名称“yarn
master的次数,同时也是等待SparkContext初始化的次数。增大该参数值,可以防止AM任务被删除,降低客户端应用运行异常的概率。 10 spark.yarn.am.memory 调整AM的内存。增大该参数值,可以防止AM因内存不足而被RM删除任务,降低客户端应用运行异常的概率。 1G 父主题:
E-22275。 补丁兼容关系 MRS 2.1.0.9补丁包中包含MRS 2.1.0版本发布的所有补丁内容。 已修复漏洞披露 解决Spark远程代码执行漏洞,漏洞详细请参考CVE-2020-9480 安装补丁的影响 安装MRS 2.1.0.9补丁期间会重启MRS Manager,
-22275。 补丁兼容关系 MRS 2.1.0.10补丁包中包含MRS 2.1.0版本发布的所有补丁内容。 已修复漏洞披露 解决Spark远程代码执行漏洞,漏洞详细请参考CVE-2020-9480 安装补丁的影响 安装MRS 2.1.0.10补丁期间会重启MRS Manager
如果需要在日志中调整记录的日志级别,则管理员可以修改FusionInsight Manager的日志级别。对于某个具体的服务,除了可以修改日志级别,还可以修改日志文件大小,防止磁盘空间不足日志无法保存。 本章节操作仅支持MRS 3.x及之后的版本。 对系统的影响 保存新的配置需要重启服务,此时对应的服务不可用。 修改Manager日志级别
开启Oozie HA机制 操作场景 Oozie多个节点同时提供服务的时候,通过ZooKeeper来提供高可用(HA)功能,防止单节点故障以及多节点同时处理一个任务。 本章节内容仅适用于MRS 3.1.2及之后版本。 对系统影响 操作过程中需要重启Oozie服务。重启过程中,Oozie服务无法提供服务。
要通过调整Broker Load的导入参数来实现大文件的导入。 处理步骤 根据当前BE实例的个数和待导入文件的大小修改单个BE的任务的最大扫描量和最大并发数。操作如下: 登录FusionInsight Manager,选择“集群 > 服务 > Doris”,在概览界面查看“Lea
Phoenix是构建在HBase之上的一个SQL中间层,提供一个客户端可嵌入的JDBC驱动,Phoenix查询引擎将SQL输入转换为一个或多个HBase scan,编译并执行扫描任务以产生一个标准的JDBC结果集。 代码样例 客户端“hbase-example/conf/hbase-site.xml”中配置存放查询
内容要求:连接balancer写入报错Request Entity Too Large。这是由于Nginx对http请求体大小有限制,而一次写入的数据量超过了这个限制。 规避:修改Nginx配置项client_max_body_size为一个较大的值。 解决:写本地表,不要通过balancer写入数据。
Phoenix是构建在HBase之上的一个SQL中间层,提供一个客户端可嵌入的JDBC驱动,Phoenix查询引擎将SQL输入转换为一个或多个HBase scan,编译并执行扫描任务以产生一个标准的JDBC结果集。 代码样例 客户端“hbase-example/conf/hbase-site.xml”中配置存放查询
Phoenix是构建在HBase之上的一个SQL中间层,提供一个客户端可嵌入的JDBC驱动,Phoenix查询引擎将SQL输入转换为一个或多个HBase scan,编译并执行扫描任务以产生一个标准的JDBC结果集。 代码样例 客户端“hbase-example/conf/hbase-site.xml”中配置存放查询
Phoenix是构建在HBase之上的一个SQL中间层,提供一个客户端可嵌入的JDBC驱动,Phoenix查询引擎将SQL输入转换为一个或多个HBase scan,编译并执行扫描任务以产生一个标准的JDBC结果集。 代码样例 客户端“hbase-example/conf/hbase-site.xml”中配置存放查询