检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
quorum”也可以使用配置文件中的配置项“spark.deploy.zookeeper.url”来代替。 在网络拥塞的情况下,您还可以设置客户端与JDBCServer连接的超时时间,可以避免客户端由于无限等待服务端的返回而产生异常。使用方式如下: 在执行“DriverManager.g
以更新、删除本策略,它还可以基于原始策略创建子策略。 Deny Conditions 策略拒绝条件,配置本策略内拒绝的权限及例外,配置方法与“Allow Conditions”类型。 表2 设置权限 任务场景 角色授权操作 role admin操作 在首页中单击“Settings”,选择“Roles”。
dir被设置为/tmp,因此默认使用系统/tmp目录。 但存在一些特殊情况,如driver进程未正常退出,比如被kill -9命令结束进程,或者Java虚拟机直接崩溃等场景,导致driver的退出流程未正常执行,则可能导致该部分目录无法被正常清理,残留在系统中。 当前只有yarn-client模
分桶表不支持insert into 分桶表(bucket table)不支持insert into,仅支持insert overwrite,否则会导致文件个数与桶数不一致。 使用WebHCat的部分REST接口的前置条件 WebHCat的部分REST接口使用依赖于MapReduce的JobHistoryServer实例,具体接口如下:
dirs配置值。 执行如下命令查看命令输出的Filesystem信息: df -h log.dirs配置值 执行结果如下: Filesystem所在的分区与“%util”指标比较高的分区相匹配,则考虑在空闲的磁盘上规划Kafka分区,并将log.dirs设置为空闲磁盘目录,然后参考3,对Topi
dir被设置为/tmp,因此默认使用系统/tmp目录。 但存在一些特殊情况,如driver进程未正常退出,比如被kill -9命令结束进程,或者Java虚拟机直接崩溃等场景,导致driver的退出流程未正常执行,则可能导致该部分目录无法被正常清理,残留在系统中。 当前只有yarn-client模
= B.name; 一个表大于阈值一个表小于阈值。 将小表进行BroadCast操作。 两个表的大小都大于阈值。 比较查询所涉及的字段大小与阈值的大小。 若某表中涉及字段的大小小于阈值,将该表相应数据进行广播。 若两表中涉及字段的大小都大于阈值,则不进行广播。 (可选)如下两种场
entrytime STRING ) -- 指定行中各字段分隔符. -- "delimited fields terminated by"指定列与列之间的分隔符为',',"MAP KEYS TERMINATED BY"指定MAP中键值的分隔符为'&'. ROW FORMAT delimited
如果使用Linux环境调测程序,需准备安装集群客户端的Linux节点并获取相关配置文件。 在节点中安装客户端,例如客户端安装目录为“/opt/client”。 客户端机器的时间与集群的时间要保持一致,时间差小于5分钟。 集群的Master节点或者Core节点使用客户端可参考集群内节点使用MRS客户端,MRS集群外客户
如果使用Linux环境调测程序,需准备安装集群客户端的Linux节点并获取相关配置文件。 在节点中安装客户端,例如客户端安装目录为“/opt/client”。 客户端机器的时间与集群的时间要保持一致,时间差小于5分钟。 集群的Master节点或者Core节点使用客户端可参考集群内节点使用MRS客户端,MRS集群外客户
Manager 解决重装主机后hetu的worker启动不到该主机上的问题 解决混搭集群,arm镜像证书与X86镜像证书不互信,导致作业提交到该arm节点上运行失败问题 解决获取ECS的临时ak/sk失败告警帮助文档缺失问题 大数据组件 解决Hive snappy文件调用movefile加入_1后,文件内容出现乱码问题
打开FusionInsight Manager页面,选择“运维 > 告警 > 告警”,单击此告警所在行的,单击主机名查看该告警的主机业务IP与服务名称。 在“告警”页面,查看是否有“ALM-12006 节点故障”告警产生。 是,执行3。 否,执行4。 按“ALM-12006 节点故障”提供的步骤处理该告警。
直接重启耗时约5分钟。 滚动重启 滚动重启不影响业务。 滚动重启耗时约10分钟。 HDFS 直接重启 重启期间无法进行HDFS读写,影响上层组件与作业。 直接重启耗时约10分钟。 滚动重启 滚动重启不影响业务。 滚动重启10节点耗时约40分钟。 HBase 直接重启 重启期间无法进行HBase数据读写。
直接重启耗时约5分钟。 滚动重启 滚动重启不影响业务。 滚动重启耗时约10分钟。 HDFS 直接重启 重启期间无法进行HDFS读写,影响上层组件与作业。 直接重启耗时约10分钟。 滚动重启 滚动重启不影响业务。 滚动重启10节点耗时约40分钟。 HBase 直接重启 重启期间无法进行HBase数据读写。
待导入文件的文件名中所包含的日志格式。 yyyyMMdd parameter.date.format 调用脚本时,所输入的日期格式,一般保持与“file.date.format”一致。 yyyyMMdd file.format.iscompressed 待导入的文件是否为压缩文件。
Manager增加大数据服务滚动重启能力。 MRS Manager新增文件句柄数量监控功能。 MRS Manager新增大数据组件发生重启事件上报功能。 MRS镜像 解决ECS VNC登录不停打印输出问题。 解决操作系统日志转储配置问题。 补丁兼容关系 包含1.7.1.5及之前发布的所有补丁解决的问题。 注意事项
解决ZK脏数据导致Yarn服务不可用问题 OBS包升级 JDK版本升级 解决Yarn的ResourceManager内存泄漏问题 增加对调用ECS getSecuritykey接口异常的监控 优化刷新临时AK/Sk流程 解决ResourceManager内存泄露问题 解决Hive union语句合并小文件报错问题
dir被设置为/tmp,因此默认使用系统/tmp目录。 但存在一些特殊情况,如driver进程未正常退出,比如被kill -9命令结束进程,或者Java虚拟机直接崩溃等场景,导致driver的退出流程未正常执行,则可能导致该部分目录无法被正常清理,残留在系统中。 当前只有yarn-client模
dir被设置为/tmp,因此默认使用系统/tmp目录。 但存在一些特殊情况,如driver进程未正常退出,比如被kill -9命令结束进程,或者Java虚拟机直接崩溃等场景,导致driver的退出流程未正常执行,则可能导致该部分目录无法被正常清理,残留在系统中。 当前只有yarn-client模
该章节仅适用于MRS 3.5.0及之后版本。 前提条件 已创建包含Doris服务的集群,集群内各服务运行正常。 待连接Doris数据库的节点与MRS集群网络互通。 创建具有Doris管理权限的用户。 集群已启用Kerberos认证(安全模式) 在FusionInsight Mana