检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在FusionInsight Manager界面,选择“运维 > 日志 > 下载”。 在“服务”框中勾选待操作集群的“Guardian”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后1小时,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。 告警清除
当集群写入压力较大,不建议修改此配置。需要给常规Merge留出空闲线程,避免“Too manyparts parts”。 对于已存在的大表(数据量超亿级别),不要使用修改或新设置TTL的方式来实现数据老化能力,推荐使用定时任务“alter table table_name on cluster default_cluster
分配的用户需配置以下特性。 使用参数“spark.dynamicAllocation.executorIdleTimeout”并将此参数值设置为15min(或平均查询时间)。 正确配置参数“spark.dynamicAllocation.maxExecutors”,不推荐使用默认
分配的用户需配置以下特性。 使用参数“spark.dynamicAllocation.executorIdleTimeout”并将此参数值设置为15min(或平均查询时间)。 正确配置参数“spark.dynamicAllocation.maxExecutors”,不推荐使用默认
directory”为本地安装的Maven版本。 然后根据实际情况设置好“User settings file”和“Local repository”参数,依次单击“Apply > OK”。 图12 选择本地Maven安装目录 设置IntelliJ IDEA的文本文件编码格式,解决乱码显示问题。
“端口号”:填写CIFS协议连接NAS服务器使用的端口号,默认值为“445”。 “用户名”:填写配置CIFS协议时设置的用户名。 “密码”:填写配置CIFS协议时设置的密码。 “源端路径”:填写备份文件在NAS服务器中保存的完整路径。例如,“备份路径/备份任务名_数据源_任务创建时间/版本号_数据源_任务执行时间
> 自定义”。在自定义配置项中,给参数“custom”添加配置项“spark.sql.warehouse.location.first”,设置值为“true”。 图1 spark.sql.warehouse.location.first配置 在左侧的导航列表中选择“JDBCServer
当文件写入程序的并行度大于1时,输出文件的路径下会创建一个目录,并将不同的结果文件(每个并行写程序任务)放入该目录。 设置为true,那么并行度为1的写入程序也将创建一个目录并将一个结果文件放入其中。 设置为false,则并行度为1的写入程序将直接在输出路径中创建文件,而不再创建目录。 false 否
list_peers 在主集群中查询已经设置的备集群的信息,主要为Zookeeper信息。 启用用户表实时同步 enable_table_replication'表名' 示例: enable_table_replication 't1' 在主集群中,设置已存在的表同步到备集群。 禁用用户表实时同步
import java_import from pyspark.sql import SparkSession # 创建SparkSession,设置kryo序列化 spark = SparkSession\ .builder\ .appName("SparkHbasetoHbase")
import java_import from pyspark.sql import SparkSession # 创建SparkSession,设置kryo序列化 spark = SparkSession\ .builder\ .appName("SparkHbasetoHbase")
import java_import from pyspark.sql import SparkSession # 创建SparkSession,设置kryo序列化 spark = SparkSession\ .builder\ .appName("SparkHbasetoHbase")
度的命令: TIME-SERIES:设置为“root”,并单击“+”选择指定的时间序列。 FUNCTION:选择聚合函数“AVG”。 GROUP BY: “SAMPLING INTERVAL”设置为“30m” ,“SLIDING DTEP”设置为“10m”。表示采样间隔时间是30分钟,滑动步长是10分钟。
JDK默认只支持TLS V1.0,若使用IBM JDK,请配置启动参数“com.ibm.jsse2.overrideDefaultTLS”为“true”,设置后可以同时支持TLS V1.0/V1.1/V1.2,详情参见https://www.ibm.com/support/knowledgecenter/zh/SSYKE2_8
applicationNamePrefix 要附加到任何指定的ApplicationName客户端信息属性的前缀,该属性用于设置HetuEngine查询的源名称,如果既未设置此属性也未设置ApplicationName,则查询的源将为HetuEngine JDBC。 accessToken 基于令牌的身份验证令牌。
enewable和forwardable开关并且设置票据刷新周期,开启成功后重启kerberos及相关组件。 获取的用户需要属于storm组。 Kerberos服务的renewable、forwardable开关和票据刷新周期的设置在Kerberos服务的配置页面的“系统”标签下
hsync”的参数值是否都为“true”。 是,执行13。 否,执行15。 将“hbase.wal.hsync”和“hbase.hfile.hsync”参数值都设置为“false”,单击“保存”保存配置。单击“概览”,选择“更多 > 重启服务”,重启HBase服务。 HBase服务重启期间,HBase
如图1所示。 图1 小文件合并 操作步骤 要启动小文件优化,在Spark客户端的“spark-defaults.conf”配置文件中进行设置。 表1 参数介绍 参数 描述 默认值 spark.sql.files.maxPartitionBytes 在读取文件时,将单个分区打包的最大字节数。
Hive > 配置 > 全部配置”。 选择“HiveServer(角色) > 自定义”,对参数文件“hive-site.xml”添加自定义参数,设置“名称”为“hive.allow.show.create.table.in.select.nogrant”,“值”为“true ”,修改后重启所有Hive实例。
例如:cn=%s,ou=People,dc=huawei,dc=com - - --ldap_passwords_in_clear_ok 如果设置为true,将允许ldap密码在网络上明文发送(不含TLS/SSL)。 false true或false --ldap_uri-ip ldap