检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Multicast功能 HBase Multicast特性涉及Publisher(HMaster)以及Listener(客户端)两个角色,通过设置配置“hbase.status.published”值为“true”开启。MRS 3.5.0及之后版本,Publisher端默认开启了该特性。
r实例,如果TimelineServer实例故障或未启动,需设置hive自定义参数yarn-site.xml中yarn.timeline-service.enabled=false,否则hive任务会执行失败。 参数设置完成后,Hive Queries界面即可展示数据,但无法展示历史数据,展示效果如下:
resourcemanager.recovery.enabled 设置是否让ResourceManager在启动后恢复状态。如果设置为true,那yarn.resourcemanager.store.class也必须设置。 true yarn.resourcemanager.store
DiskBalancer磁盘均衡 配置HDFS Mover命令迁移数据 配置HDFS文件目录标签策略(NodeLabel) 配置NameNode内存参数 设置HBase和HDFS的句柄数限制 配置HDFS单目录文件数量 HDFS企业级能力增强 HDFS性能调优 HDFS运维管理 HDFS常见问题
SSL加密配置 服务端配置。 登录FusionInsight Manager页面,选择“集群 > 服务 > Kafka > 配置”,参数类别设置为“全部配置”,搜索“ssl.mode.enable”并配置为“true”。 客户端配置。 登录集群的FusionInsight Manager,选择“集群
max-lifetime 该参数为服务器端参数,设置Token的最大存活时间,单位为毫秒。取值范围:10000~10000000000000。 604800000 dfs.namenode.delegation.token.renew-interval 该参数为服务器端参数,设置Token renew的
Repartition时有部分Partition没数据 问题 在repartition操作时,分块数“spark.sql.shuffle.partitions”设置为4500,repartition用到的key列中有超过4000个的不同key值。期望不同key对应的数据能分到不同的partition,
为什么提交Spark Streaming应用超过token有效期,应用失败 问题 修改kerberos的票据和HDFS token过期时间为5分钟,设置“dfs.namenode.delegation.token.renew-interval”小于60秒,提交Spark Streaming
Hive是否支持向量化查询 问题 当设置向量化参数hive.vectorized.execution.enabled=true时,为什么执行hive on Tez/Mapreduce/Spark时会偶现一些空指针或类型转化异常? 回答 当前MRS Hive不支持向量化执行。 向量
com/templeton/v1/jobs 参数 参数 描述 fields 如果设置成*,那么会返回每个job的详细信息。如果没设置,只返回任务ID。现在只能设置成*,如设置成其他值,将出现异常。 jobid 如果设置了jobid,那么只有字典顺序比jobid大的job才会返回。比如,如果
Flume数据采集慢 问题现象 Flume启动后,Flume数据采集慢。 原因分析 Flume堆内存设置不合理,导致Flume进程一直处于频繁GC。查看Flume运行日志: 2019-02-26T13:06:20.666+0800: 1085673.512: [Full GC:[CMS:
everyone.if.no.acl.found”或配置为“false”。 当ACL设置为false不允许采用Kafka非安全端口21005来进行访问。 通过客户端命令查看topic的ACL权限设置信息: [root@10-10-144-2 client]# kafka-acls.sh
length (1048576)! 可能原因 Storm服务中Nimbus异常。 Storm集群信息较多超过系统默认Thrift传输大小的设置。 原因分析 查看Storm服务状态及监控指标: MRS Manager界面操作:登录MRS Manager,依次选择“服务管理 > St
Impala查询parquet表的Schema和文件Schema不一致时报错 问题 parquet建表定义的列顺序和数据文件的列顺序不一致,Impala查询时报错。 回答 查询前设置set PARQUET_FALLBACK_SCHEMA_RESOLUTION=name;之后即可。 如果要永久生效,登录Manager界面,选择“集群
TABLE 在其中执行删除操作的CarbonData表的名称。 注意事项 删除segment将删除相应segment的所有二级索引。 如果查询的表设置了carbon.input.segments属性,则DELETE操作失败。要解决该问题,在查询前执行以下语句。 语法: SET carbon
max-lifetime 该参数为服务器端参数,设置Token的最大存活时间,单位为毫秒。取值范围:10000~10000000000000。 604800000 dfs.namenode.delegation.token.renew-interval 该参数为服务器端参数,设置Token renew的
low:256M custom:根据实际数据量大小在GC_OPTS中设置内存大小。 custom GC_OPTS JVM用于gc的参数。仅当GC_PROFILE设置为custom时该配置才会生效。需确保GC_OPT参数设置正确,否则进程启动会失败。 须知: 请谨慎修改该项。如果配置不当,将造成服务不可用。
当分配的内存太小或者被更高优先级的进程抢占资源时,会出现物理内存超限的情况。调整如下参数,可以防止物理内存超限。 配置描述 参数入口: 在应用提交时通过“--conf”设置这些参数,或者在客户端的“spark-defaults.conf”配置文件中调整如下参数。 表1 参数说明 参数 说明 默认值 spark
com/templeton/v1/jobs 参数 参数 描述 fields 如果设置成*,那么会返回每个job的详细信息。如果没设置,只返回任务ID。现在只能设置成*,如设置成其他值,将出现异常。 jobid 如果设置了jobid,那么只有字典顺序比jobid大的job才会返回。比如,如果
当分配的内存太小或者被更高优先级的进程抢占资源时,会出现物理内存超限的情况。调整如下参数,可以防止物理内存超限。 配置描述 参数入口: 在应用提交时通过“--conf”设置这些参数,或者在客户端的“spark-defaults.conf”配置文件中调整如下参数。 表1 参数说明 参数 说明 默认值 spark