正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
生大量作业,占用集群计算资源。 原因分析 集群安全组入口方向的Any协议源地址配置为0.0.0.0/0,导致集群可能遭受了外部网络攻击。 处理步骤 登录MRS集群页面,在“现有集群”中,单击对应的集群名称,进入集群详情页面。 单击“集群管理页面”后面的“前往 Manager”,弹出“访问MRS
引入jar包不正确导致Spark任务无法运行 问题现象 执行Spark任务,任务无法运行。 原因分析 执行Spark任务时,引入的jar包不正确,导致Spark任务运行失败。 处理步骤 登录任意Master节点。 执行cd /opt/Bigdata/MRS_*/install/FusionInsight-Spark-
map 是 无 类型 配置字段的类型,可选值为“VARCHAR”,“INTEGER”和“BIGINT”。 enum 是 VARCHAR 数据处理规则 生成指定类型的随机值。 样例 通过“CSV文件输入”算子,生成两个字段A和B。 源文件如下图: 配置“随机值转换”算子,生成C、D、E三个字段:
现象描述 如果多个副本直接从磁盘上丢失了副本,比如mv改名,内核不会感知到该副本丢失,执行查询时如果请求运行在副本丢失的BE节点,报错: 处理步骤 登录安装了MySQL的节点,连接Doris数据库。 调用BE的check_tablet_segment_lost请求自动修复丢失的副本。
ParameterTool.fromArgs(args).getInt("windowTime", 2) // 构造执行环境,使用eventTime处理窗口数据 val env = StreamExecutionEnvironment.getExecutionEnvironment
Yarn和MapReduce的关系 MapReduce是运行在Yarn之上的一个批处理的计算框架。MRv1是Hadoop 1.0中的MapReduce实现,它由编程模型(新旧编程接口)、运行时环境(由JobTracker和TaskTracker组成)和数据处理引擎(MapTask和ReduceTask)三部分组
需要记录日志。通过日志文件来定位异常。 定期检查日志 定期查看系统日志,若发现有非法操作、非法登录用户等异常情况,应根据异常情况进行相应的处理。 定期备份日志 Manager和集群提供的审计日志记录了用户活动信息和操作信息,可通过Manager导出审计日志。当系统中的审计日志过多
擎。 SQL请求满足防御规则后,系统的处理操作有以下类型: 提示:配置系统对SQL请求满足防御规则后,是否进行日志记录和提示处理。开启按钮时,如果当前规则有变量参数,需同时配置阈值。 拦截:配置系统对SQL请求满足防御规则后,是否进行拦截处理。开启按钮时,如果当前规则有变量参数,需同时配置阈值。
提供各集群内服务监控、服务操作向导以及服务配置,帮助您对服务进行统一管理。 主机 提供主机监控、主机操作向导,帮助您对主机进行统一管理。 运维 提供告警查询、告警处理指导功能。帮助您及时发现产品故障及潜在隐患,并进行定位排除,以保证系统正常运行。 审计 提供审计日志查询及导出功能。帮助您查阅所有用户活动及操作。
install安装Python时报错网络不可达。 具体如下图所示: 原因分析 用户未给Master节点绑定弹性公网IP,造成报错的发生。 处理步骤 登录MRS服务管理控制台。 选择“现有集群”,选中当前安装出问题的集群并单击集群名称,进入集群基本信息页面。 在“节点管理”页签单击
新数据,一般的默认查询中,没有指定时间戳的,就会对相同rowkey值的数据仅返回最新数据。 使用bulkload加载数据,由于数据在内存中处理生成HFile,速度是很快的,很可能出现相同rowkey值的数据具有相同时间戳,从而造成查询结果混乱的情况。 建议在建表和数据加载时,设计
table_name;,进行全表查询,表内数据过多。 beeline默认启动内存128M,查询时返回结果集过大,导致beeline无法承载导致。 解决办法 执行select count(*) from table_name;前确认需要查询的数据量大小,确认是否需要在beeline中显示如此数量级的数据。
t/Bigdata/LocalBackup,会使用到根目录磁盘空间,因为根目录磁盘空间不足,导致无法写入备份文件,导致集群周期备份失败。 处理步骤 分别登录主、备Master节点。 执行cd /srv/BigData/命令进入到备份文件所在目录。 执行unlink LocalBa
占用内存超过4 GB。 原因分析 knox进程没有单独配置内存,进程会自动根据系统内存大小按照比例划分可用内存,导致knox占用内存大。 处理步骤 以root用户分别登录Master节点。 打开文件“/opt/knox/bin/gateway.sh”,查找APP_MEM_OPTS
tor)。 常见的异常退出: executor发生OOM executor运行时出现多个task任务失败 executor所在节点被清理 处理步骤 根据executor异常退出的实际原因调整或者修改任务参数或代码,重新运行Spark任务即可。 父主题: 使用Spark
当并发提交大量oozie任务的时候就有可能出现启动了一堆oozie-launcher,将队列的资源耗完,而没有更多资源启动真实作业,最终导致任务一直没有运行。 处理步骤 参考“添加租户”章节新建一个队列给oozie使用,也可以直接使用创建MRS集群时生成的launcher-job队列。 在Manager页面选择“集群
random”。当熵池为空时,来自“/dev/random”的读操作将被阻塞,直到熵池收集到足够的环境噪声数据,导致提交任务慢或者失败。 处理步骤 在集群外客户端所在节点执行以下命令安装rng-tools工具: yum install rng-tools 执行以下命令启动rng-tools:
新数据,一般的默认查询中,没有指定时间戳的,就会对相同rowkey值的数据仅返回最新数据。 使用bulkload加载数据,由于数据在内存中处理生成HFile,速度是很快的,很可能出现相同rowkey值的数据具有相同时间戳,从而造成查询结果混乱的情况。 建议在建表和数据加载时,设计
MRS 1.9.0.7补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 1.9.0.7 发布时间 2021-01-15 解决的问题 MRS 1.9.0.7 修复问题列表: MRS Manager 解决扩容刷新队列导致队列丢失问题 MRS大数据组件 解决Hive on Spark任务报block
需要短暂停止源集群的ClickHouse业务,具体停止时机请参考操作步骤说明。 搬迁过程中如果源集群表被删除,迁移程序无法自动处理该场景,需要手动进行处理。 迁移整体流程 迁移整体流程和步骤参考如下: 图2 迁移流程图 表1 迁移流程说明 阶段 流程说明 步骤1:源集群和目标集群网络打通