检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
xml”配置文件中进行如表3所示的配置。 表1 参数说明 参数 描述 默认值 yarn.log-aggregation-enable 设置是否打开Container日志聚合功能。 设置为“true”,表示打开该功能,日志会被收集到HDFS目录中。 设置为“false”,表示关闭该功能,表示日志不会收集到HDFS中。
”,其中“HostName”为故障告警的节点,“PartitionName”为故障磁盘的分区。 联系硬件工程师确认为磁盘硬件故障之后,将服务器上故障磁盘在线拔出。 拔出磁盘后系统会上报“ALM-12014 分区丢失”告警,参考ALM-12014 设备分区丢失(2.x及以前版本)进
http.server.session.timeout.secs Spark:修改配置spark.session.maxAge的值 Hive:添加自定义配置项http.server.session.timeout.secs 保存配置项时可选择不重启受影响的服务或实例,等待业务不繁忙时再重启服务或实例。
Web只能通过YARN代理访问,支持安全头域增强。在Flink集群中,各部件的监测端口支持范围可配置。 编码规范: 说明:Web Service客户端和服务器间使用相同的编码方式,是为了防止出现乱码现象,也是实施输入校验的基础。 安全加固:web server响应消息统一采用UTF-8字符编码。
编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME” )下。 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上(文件上传的路径需要和生成的jar包路径一致)。 若运行“Spark on
环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME” )下。 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上(文件上传的路径需要和生成的jar包路径一致)。 若运行“Spark on
http.server.session.timeout.secs Spark:修改配置spark.session.maxAge的值 Hive:添加自定义配置项http.server.session.timeout.secs 保存配置项时可选择不重启受影响的服务或实例,等待业务不繁忙时再重启服务或实例。
x及之后版本)。在FusionInsight Manager界面选择“集群 > 服务 > HDFS”,单击“NameNode(节点名称,主)”对应的链接,打开HDFS WebUI,然后选择“Utilities > Browse the file system”。 观察HDFS上“/flume/test”目录下是否有产生数据。
系统未导入证书(CA证书、HA根证书、HA用户证书、Gaussdb根证书或者Gaussdb用户证书等)、导入证书失败、证书文件失效。 处理步骤 查看告警原因。 打开FusionInsight Manager页面,在实时告警列表中,单击此告警所在行的。 查看“附加信息”,获取告警附加信息。 告警附加信息中显示“CA
Web只能通过YARN代理访问,支持安全头域增强。在Flink集群中,各部件的监测端口支持范围可配置。 编码规范: 说明:Web Service客户端和服务器间使用相同的编码方式,是为了防止出现乱码现象,也是实施输入校验的基础。 安全加固:web server响应消息统一采用UTF-8字符编码。
append”参数值设置为true。 “dfs.support.append”参数在开源社区版本中默认值是关闭,在FusionInsight版本默认值是开启。 该参数为服务器端参数。建议开启,开启后才能使用Append功能。 不适用HDFS场景可以考虑使用其他方式来存储数据,如HBase。 HDFS不适用于存储大量小文件
x及之后版本)。在FusionInsight Manager界面选择“集群 > 服务 > HDFS”,单击“NameNode(节点名称,主)”对应的链接,打开HDFS WebUI,然后选择“Utilities > Browse the file system”。 观察HDFS上“/flume/test”目录下是否有产生数据。
TIMEZONE、TIMESTAMP WITH TIME ZONE、TIME。 性能优化 支持使用查询下推功能,提高查询速度。 查询下推功能默认打开,也可参考4.c添加相关自定义参数开启查询下推功能。 添加跨集群HetuEngine数据源约束 不支持如下语法:CREATE、ALTER、DROP
在NameNode WebUI,查看是否显示如下信息:“Safe mode is ON.” “Safe mode is ON.”表示安全模式已打开,后面的提示信息为告警信息,根据实际情况展现。 是,执行21。 否,执行24。 图1 Overview 以root用户登录客户端,用户密码
VARCHAR(32) ) WITH( 'connector' = 'jdbc', 'url' = 'jdbc:mysql://MySQL服务器IP:MySQL服务器端口/mysql', 'table-name' = 'customer_t1', 'username' = 'MySQL数据库用户名'
loader-tool工具使用指导 概述 loader-tool工具是Loader客户端工具之一,包括“lt-ucc”、“lt-ucj”、“lt-ctl”三个工具。 Loader支持通过参数选项或作业模板这两种方式,对连接器进行创建、更新、查询和删除,以及对Loader作业进行创
loader-tool工具使用指导 概述 loader-tool工具是Loader客户端工具之一,包括“lt-ucc”、“lt-ucj”、“lt-ctl”三个工具。 Loader支持通过参数选项或作业模板这两种方式,对连接器进行创建、更新、查询和删除,以及对Loader作业进行创
在FusionInsight Manager界面选择“集群 > 服务 > HDFS”,单击“NameNode(节点名称,主)”对应的链接,打开HDFS WebUI,然后选择“Utilities > Browse the file system”。 观察HDFS上“/flume/test”目录下是否有产生数据。
OVERWRITE操作大量分区中可能出现。 配置Spark SQL防御规则 登录FusionInsight Manager,选择“集群 > SQL防御”,打开SQL防御页面。 参考添加MRS SQL防御规则添加针对Spark的SQL防御规则。 Spark SQL引擎支持的各类型SQL防御规则可参考MRS
略可选择为6、5。 表7 使用索引缓存服务器时是否开启数据预加载 参数 carbon.indexserver.enable.prepriming 所属配置文件 carbon.properties 适用于 数据加载 场景描述 使用索引缓存服务器过程中开启数据预加载可以提升首次查询的性能。