检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
AddDoublesUDF.jar),并上传到HDFS指定目录下(如“/user/hive_examples_jars/”)且创建函数的用户与使用函数的用户有该文件的可读权限。示例语句。 hdfs dfs -put AddDoublesUDF.jar /user/hive_examples_jars hdfs
用户、主机、服务、实例或操作结果可修改排列方式。 支持在“安全级别”筛选相同级别的全部告警。结果包含已清除和未清除的告警。 导出的审计日志文件,包含以下信息列: “编号”:表示MRS Manager已生成的审计日志数量,每增加一条审计日志则编号自动加1。 “操作类型”:表示用户操
批量导出Loader作业 操作场景 Loader支持批量导出已有作业。 前提条件 当前用户具备待导出作业的编辑“Edit”权限或作业所在分组的编辑“Jobs Edit”权限。 操作步骤 登录“Loader WebUI”界面。 登录FusionInsight Manager系统,具体请参见访问集群Manager。
ResourceManager主备倒换 次要 18004 Mapreduce JobHistoryServer主备倒换 次要 18029 Yarn 作业占用存储资源过多 次要 19001 HBase HMaster主备倒换 次要 19027 HBase RegionServer级别热点转移 重要 19028
运行变慢、页面响应迟钝、接口响应超时等),甚至出现崩溃或错误。 系统故障:卡IO可能会导致系统故障,从而导致客户的业务受到影响。如果慢盘上存储的数据包含关键信息,可能会导致系统崩溃或数据丢失。 可能原因 磁盘老化。 处理步骤 更换磁盘。 在FusionInsight Manager界面,选择“运维
conf=/opt/client/KrbClient/kerberos/var/krb5kdc/krb5.conf -Djava.util.logging.config.file=/opt/client/HetuEngine/hetuserver/conf/hetuserver-client-logging.properties
spark-shell 即可进入Scala交互式界面,从HDFS中获取数据,再操作RDD进行计算,输出并打印结果。 示例:一行代码可以实现统计一个文件中所有单词出现的频次。 scala> sc.textFile("hdfs://hacluster/tmp/wordcount_data.txt")
mapreduce.TableIndexer -Dtablename.to.index=hbase_sample_table -Dindexspecs.to.add='IDX1=>info:[name->String]' -Dindexnames.to.build='IDX1' 然后用户
mapreduce.TableIndexer -Dtablename.to.index=hbase_sample_table -Dindexspecs.to.add='IDX1=>info:[name->String]' -Dindexnames.to.build='IDX1' 然后用户
mapreduce.TableIndexer -Dtablename.to.index=hbase_sample_table -Dindexspecs.to.add='IDX1=>info:[name->String]' -Dindexnames.to.build='IDX1' 然后用户
批量导出Loader作业 操作场景 Loader支持批量导出已有作业。 本章节适用于MRS 3.x及后续版本。 前提条件 当前用户具备待导出作业的编辑“Edit”权限或作业所在分组的编辑“Jobs Edit”权限。 操作步骤 登录“Loader WebUI”界面。 登录FusionInsight
DATA_BLOCK_ENCODING 配置HFile中block块的编码方法。当一行数据中存在多列时,一般可以配置为“FAST_DIFF”,可以有效地节省数据存储的空间,从而提供性能。 NONE 父主题: HBase性能调优
> 待操作集群的名称 > 服务 > HBase”,单击“HMaster(主)”,打开该HBase实例的WebUI,查看该HBase服务实例上存储的表并记录可删除的无用表。 在hbase shell中,执行disable和drop命令,确认删除无用表,以减少Region数: disable
channel被终止后认为driver失联,然后整个应用停止。 解决办法: 在Spark客户端的“spark-defaults.conf”文件中或通过set命令行进行设置。参数配置时要保证channel过期时间(spark.rpc.io.connectionTimeout)大于或等于RPC响应超时时间(spark
看“附加信息”中的“db”和“table”。如果较大的Tablet较多,在附加信息中不能完全显示相关信息,可在Master FE节点的日志文件“${BIGDATA_LOG_HOME}/nodeagent/monitorlog/pluginmonitor.log”中搜索“Large
mapreduce.TableIndexer -Dtablename.to.index=hbase_sample_table -Dindexspecs.to.add='IDX1=>info:[name->String]' -Dindexnames.to.build='IDX1' 然后用户
到channel被终止后认为driver失联,然后整个应用停止。 解决办法:在Spark客户端的“spark-defaults.conf”文件中或通过set命令行进行设置。参数配置时要保证channel过期时间(spark.rpc.io.connectionTimeout)大于或等于RPC响应超时时间(spark
约束限制: 不涉及 取值范围: 不涉及 默认取值: default archive_path 否 String 参数解释: SQL执行结果的转储文件夹。只有select语句才会转储查询的结果。当前仅支持转储到OBS中。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 响应参数
的HiveServer节点的HiveServerAudit日志,下载的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟。打开日志文件查找“Result=FAIL”关键字筛选执行错误语句的日志信息,再根据日志信息中的“UserName”查看执行错误语句的用户。 输入正确的HQL语句,观察命令是否正确执行。
调整Yarn任务抢占机制 操作场景 Capacity调度器抢占原理: 抢占任务可精简队列中的job运行并提高资源利用率,由ResourceManager的capacity scheduler实现,其简易流程如下: 假设存在两个队列A和B。其中队列A的capacity为25%,队列B的capacity为75%。