检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
WebUI上应用状态显示不一致 为什么Driver进程不能退出 网络连接超时导致FetchFailedException 当事件队列溢出时如何配置事件队列的大小 Spark应用执行过程中,日志中一直打印getApplicationReport异常且应用较长时间不退出 Spark执行应用时上报“Connection
当应用程序从lost_and_found队列移动到其他队列时,应用程序不能继续执行 如何限制存储在ZKstore中的应用程序诊断消息的大小 为什么将非ViewFS文件系统配置为ViewFS时MapReduce作业运行失败 开启Native Task特性后,Reduce任务在部分操作系统运行失败 父主题: 使用Yarn
api提供的UserGroupInformation类,该类提供了多个安全认证API接口: setConfiguration()主要是获取对应的配置,设置全局变量等参数。 loginUserFromKeytab()获取TGT接口。 跨系统互信特性 MRS提供两个Manager之间的互信
当应用程序从lost_and_found队列移动到其他队列时,应用程序不能继续执行 如何限制存储在ZKstore中的应用程序诊断消息的大小 为什么将非ViewFS文件系统配置为ViewFS时MapReduce作业运行失败 开启Native Task特性后,Reduce任务在部分操作系统运行失败 父主题: 使用Yarn
-XX\:MetaspaceSize\=128M -XX\:MaxMetaspaceSize\=256M 解决方案 因此遇到此类异常应该检查最近的变更项,以确认是否配置有误。 METASTORE_GC_OPTS=Xms1024M -Xmx2048M -DIgnoreReplayReqDetect -XX
FlinkServer支持审计日志。 Hadoop 升级到3.3.1版本。 HetuEngine HetuEngine支持物化视图及自动刷新。 HetuEngine支持配置IoTDB数据源。 Hudi 升级到0.11.0版本。 IoTDB 新增组件,一体化收集、存储、管理与分析物联网时序数据的服务。 集群管理
调测Hive SpringBoot样例程序 该章节内容适用于MRS 3.3.0及之后版本。 SpringBoot样例工程的命令行形式运行 在IDEA界面左下方单击“Terminal”进入终端,执行命令mvn clean package进行编译。 当输出“BUILD SUCCESS
在Linux中调测Impala JDBC应用 在运行调测环境上创建一个目录作为运行目录,如“/opt/impala_examples”,并在该目录下创建子目录“conf”。 执行mvn package,在样例工程target目录下获取jar包,比如: impala-examples-mrs-2
在Linux中调测Impala JDBC应用 在运行调测环境上创建一个目录作为运行目录,如“/opt/impala_examples”(Linux环境),并在该目录下创建子目录“conf”。 执行mvn package ,在工程target目录下获取jar包,比如: impala-examples-mrs-2
examples.KafkaWordCount。 当Streaming DataFrame/Dataset中有新的可用数据时,outputMode用于配置写入Streaming接收器的数据。 object KafkaWordCount { def main(args: Array[String]):
数据库名称。数据库名称由字母,数字和下划线组成。 table_name 数据库中的表的名称。表名由字母,数字和下划线组成。 注意事项 无。 示例 添加carbon配置参数 carbon.clean.file.force.allowed = true create table carbon01(a int
行CDL的任何操作。 关联了“cdl”用户组的用户可以执行CDL的创建和查询操作。 启用了Ranger鉴权时,如果用户创建后需要继续为用户配置创建、执行、查询、删除权限,请参考添加CDL的Ranger访问权限策略。 对于手动停用了Ranger鉴权的集群,可参考MRS集群服务启用R
数据库名称。数据库名称由字母,数字和下划线组成。 table_name 数据库中的表的名称。表名由字母,数字和下划线组成。 注意事项 无。 示例 添加carbon配置参数 carbon.clean.file.force.allowed = true create table carbon01(a int
examples.KafkaWordCount。 当Streaming DataFrame/Dataset中有新的可用数据时,outputMode用于配置写入Streaming接收器的数据。 object KafkaWordCount { def main(args: Array[String]):
登录Master2节点,使用以下命令查找“mapred-default.xml”所在路径: find /opt/ -name 'mapred-default.xml' 查询到该配置文件在“/opt/Bigdata/*/*_WebHCat/etc/”目录下面,且该文件内容为空。 登录到Master1节点,将“/opt/
WebUI界面,请参考登录CDLService WebUI界面。 选择“ENV管理 > 新建ENV”,在弹出的窗口中输入相关信息。 表1 新建ENV配置参数 参数名称 描述 示例 Name ENV名称。 spark-env Type ENV类型。 spark Driver Memory Driver内存大小,单位默认为GB。
/xxxxx/clickhouse_ugsync_check.sh >/dev/null 2>&1 是,守护任务配置正常,等待5min,查看告警是否清除。若告警清除,操作结束,若告警未清除,执行8。 否,守护任务配置不正常或不存在,执行5。 登录FusionInsight Manager页面,选择“集群
对同一目录创建多个外表,可能导致外表查询失败 问题 假设存在数据文件路径“/test_data_path”,用户userA对该目录创建外表tableA,用户userB对该目录创建外表tableB,当userB对tableB执行insert操作后,userA将查询tableA失败,出现Permission
址保存在RMStateStore中。 JobHistoryServer服务地址变更后,需要将新的服务地址及时更新到MapReduce客户端配置文件中,否则,新运行的作业在查看作业历史信息时,仍然会指向原JobHistoryServer地址,导致无法正常跳转到作业历史信息页面。服务
/hosts”文件中的IP及主机名称映射关系是否正确。且“/etc/hostname”和“/etc/HOSTNAME”文件的WebHCat配置需与“/etc/hosts”保持一致,若不一致则需手动修改。 WebHCat实例的IP地址及主机名称映射关系可登录FusionInsight