检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
spark内部类变更,且变更类未明确指定SerialVersionUID。 另外,由于checkpoint保存了部分配置项,因此可能导致业务修改了部分配置项后,从checkpoint恢复时,配置项依然保持为旧值的情况。当前只有以下部分配置会在从checkpoint恢复时重新加载。 "spark
spark内部类变更,且变更类未明确指定SerialVersionUID。 另外,由于checkpoint保存了部分配置项,因此可能导致业务修改了部分配置项后,从checkpoint恢复时,配置项依然保持为旧值的情况。当前只有以下部分配置会在从checkpoint恢复时重新加载。 "spark
Group”、“Select User”列选择已创建好的需要授予权限的Role、用户组或用户,单击“Add Conditions”,添加策略适用的IP地址范围,单击“Add Permissions”,添加对应权限。 Read:读权限 Write:写权限 Execute:执行权限 Select/Deselect
经测试证明:10240个Task,2000个分区,在执行HDFS文件从临时目录rename到目标目录动作前,FileStatus元数据大小约29G。为避免以上问题,可修改SQL语句对数据进行重分区,以减少HDFS文件个数。 操作步骤 在动态分区语句中加入distribute by,by值为分区字段。 示例如下:
切换到Kafka客户端配置目录。 cd Kafka/kafka/config 编辑tools-log4j.properties文件,将WARN修改为INFO,并保存。 切换到Kafka客户端安装目录,例如“/opt/client”。 cd /opt/client 执行以下命令,配置环境变量。
配置参数 在Spark客户端的“{客户端安装目录}/Spark/spark/conf/spark-defaults.conf”配置文件中进行设置,修改如下参数: 参数 说明 默认值 spark.sql.mergeSmallFiles.enabled 设置为true,Spark写入目标表时
进入executor的日志中搜索作业ID,查看报错信息。 日志路径:/var/log/Bigdata/executor/logs/exe.log 修改“/opt/executor/webapps/executor/WEB-INF/classes/log4j.properties”文件开启
”参数中“-XX:MaxDirectMemorySize”的值为“TokenServer使用的直接内存大小”的两倍(可根据实际业务场景进行修改)。 重新启动受影响的服务或实例,观察界面告警是否清除。 是,处理完毕。 否,执行6。 在重启服务或实例期间,可能会造成访问Guardian失败,从而导致作业无法访问OBS。
出阈值(默认为最大堆内存的95%)时产生该告警。 用户可通过“运维 > 告警 > 阈值设置 > 待操作集群的名称 > Mapreduce”修改阈值。 平滑次数为1,MapReduce JobHistoryServer堆内存使用率小于或等于阈值时,告警恢复;平滑次数大于1,MapReduce
配置资源权限:在“配置资源权限”列表中单击“待操作的集群名称 > Hive”,勾选“Hive管理员权限”。 单击“用户”,单击1.c新创建的用户所在行的“修改”。 在修改用户页面,单击“角色”右侧的添加,添加新创建的具有Hive管理员权限的角色,单击“确定”。 把以上程序打包成AddDoublesUDF
涉及到物化视图等聚合函数的场景,建议使用ReplicatedAggregatingMergeTree表引擎。 经常有数据去重或有update修改数据的场景下,建议使用ReplacingMergeTree表引擎,配合使用argMax函数获取最新数据。 表1 应用场景列表 引擎名称 应用场景
list重新尝试连接。若再次出现任何故障,NameNode仍会被添加至blacklist。 图1 NameNode blacklisting状态图 配置描述 请参考修改集群服务配置参数,进入HDFS的“全部配置”页面,在搜索框中输入参数名称。 表1 NameNode blacklisting的相关参数 参数
spark内部类变更,且变更类未明确指定SerialVersionUID。 另外,由于checkpoint保存了部分配置项,因此可能导致业务修改了部分配置项后,从checkpoint恢复时,配置项依然保持为旧值的情况。当前只有以下部分配置会在从checkpoint恢复时重新加载。 "spark
TERMINATED BY '&' STORED AS TEXTFILE; -- 一个表在创建完成后,还可以使用ALTER TABLE执行增/删字段、修改表属性、添加分区等操作。 -- 为表employees_info_extended增加“tel_phone”和“email”字段。 ALTER
Manager页面,选择“集群 > 服务 > Hive > 配置”,在搜索框中搜索“hive.dynamic.masked.enabled”,修改HiveServer实例的该参数值为“true”。 单击“保存”保存配置。单击“实例”,勾选所有HiveServer实例,选择“更多 >
告警。 用户可通过“运维 >告警 >阈值设置 > 待操作集群的名称 > Hive > Hive已经使用的HDFS空间占可使用空间的百分比”修改阈值。 平滑次数为1,Hive数据仓库空间使用率小于或等于阈值时,告警恢复;平滑次数大于1,Hive数据仓库空间使用率小于或等于阈值的90%时,告警恢复。
域名配置为DEFAULT_REALM,在KerberosUtil类中修改DEFAULT_REALM为集群的域名。 将securityConfig拼接的字符串中user.principal与user.keytab修改为相应的用户名与路径。注意这里keytab的路径需要使用“/”。 将加载数据的sql语句改为“LOAD
如果需要停止采样,则单击“Stop Debug”。 只有在提交拓扑时启用采样功能,才支持此功能。查看采样处理数据,请参见查看Storm拓扑日志。 修改拓扑日志级别 单击“Change Log Level”,可以为Storm日志指定新的日志信息级别。 显示拓扑结构图。 在“Topology
> Absolute Path”,复制“jdbc.properties”文件路径。 图1 复制“jdbc.properties”文件路径 修改“SimpleJDBCTopology.java”的main()方法中proPath值为1.a复制的“jdbc.properties”文件路径。
kadmin/admin 3.x及之后版本默认密码:Admin@123。3.x之前版本默认密码:KAdmin@123。 首次登录后会提示该密码过期,请按照提示修改密码并妥善保存。 执行以下命令 ,查看被锁用户数据密码错误次数“Failed password attempts”参数值是否大于或等于5,如果是,则证明账户被锁。