正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
印出来的日志就越少。 表2 日志级别 级别 描述 FATAL FATAL表示当前事件处理存在严重错误信息。 ERROR ERROR表示当前事件处理存在错误信息。 WARN WARN表示当前事件处理存在异常告警信息。 INFO INFO表示记录系统及各事件正常运行状态信息。 DEBUG
印出来的日志就越少。 表2 日志级别 级别 描述 FATAL FATAL表示当前事件处理存在严重错误信息。 ERROR ERROR表示当前事件处理存在错误信息。 WARN WARN表示当前事件处理存在异常告警信息。 INFO INFO表示记录系统及各事件正常运行状态信息。 DEBUG
印出来的日志就越少。 表2 日志级别 级别 描述 FATAL FATAL表示当前事件处理存在严重错误信息。 ERROR ERROR表示当前事件处理存在错误信息。 WARN WARN表示当前事件处理存在异常告警信息。 INFO INFO表示记录系统及各事件正常运行状态信息。 DEBUG
ParameterTool.fromArgs(args).getInt("windowTime", 2) // 构造执行环境,使用eventTime处理窗口数据 val env = StreamExecutionEnvironment.getExecutionEnvironment
登录Manager界面后页面空白无内容 集群节点内安装了原生Kerberos导致登录集群失败 macOS使用浏览器访问MRS Manager Manager界面登录用户被锁如何解锁 Manager页面加载卡顿 父主题: Web页面访问类
ConsumerRecords<Integer, String> records = consumer.poll(waitTime); // 消息处理 for (ConsumerRecord<Integer, String> record : records) {
luster/scheduler? openQueues= ^default$ 原因分析 页面链接无法识别符号“^”,导致页面访问失败。 处理步骤 登录Manager页面,选择“集群 > 服务 > Yarn > 配置 > 全部配置”。 在搜索框搜索“yarn.resourcemanager
Manager页面报错 原因分析 由于MRS的域名由console-emr变更为mrs导致普通集群访问MRS Manager的链接有误。 处理步骤 以root用户登录到所有Master节点。 进入/opt/knox/conf/目录,找到ext.properties文件。 修改所有Master节点中的ext
将类所在的jar包引入Spark Streaming的jar包。 原因分析 执行Spark作业时无法加载部分jar,导致找不到class。 处理步骤 使用 --jars 加载flume-ng-sdk-{version}.jar依赖包。 同时修改“spark-default.conf”中两个配置项。
如果不再使用策略,可单击按钮删除策略。 Hive数据脱敏 Ranger支持对Hive数据进行脱敏处理(Data Masking),可对用户执行的select操作的返回结果进行处理,以屏蔽敏感信息。 登录Ranger WebUI界面,在首页中单击“HADOOP SQL”区域的“Hive”
ParameterTool.fromArgs(args).getInt("windowTime", 2) // 构造执行环境,使用eventTime处理窗口数据 val env = StreamExecutionEnvironment.getExecutionEnvironment
ParameterTool.fromArgs(args).getInt("windowTime", 2) // 构造执行环境,使用eventTime处理窗口数据 val env = StreamExecutionEnvironment.getExecutionEnvironment
补丁基本信息说明 表1 补丁基本信息 补丁号 MRS 3.2.0-LTS.1.9 发布时间 2024-06-30 解决的问题 MRS 3.2.0-LTS.1.9修复问题列表: 解决HetuEngine查询gauss date字段报错的问题。 解决HetuEngine计算实例在Yarn上启动失败的问题。
户端这边,而后面的executor都需要和Driver进行交互来运行作业。 如果NodeManager连不上客户端所在的节点,就会报错: 处理步骤 在客户端的Spark配置中指定Driver的IP地址: “<客户端安装位置>/Spark/spark/conf/spark-defaults
org/jira/browse/HIVE-11102,使用开源的hive 1.2.1版本包就有可能触发此问题。 MRS的Hive for Spark相关模块已修复该问题。 处理步骤 使用MRS集群自带的Hive for Spark包: hive-beeline-1.2.1.spark_2.2.1-mrs-x.x.x
Manager 问题现象 在Mac电脑上无法使用Chrome浏览器访问MRS Manager。 原因分析 由于Mac电脑的证书限制导致无法访问。 处理步骤 复制MRS Manager的登录链接,使用Chrome浏览器访问。 显示MRS Manager登录页面,此时Chrome浏览器暂时还不能登录MRS
map 是 无 类型 配置字段的类型,可选值为“VARCHAR”,“INTEGER”和“BIGINT”。 enum 是 VARCHAR 数据处理规则 生成指定类型的随机值。 样例 通过“CSV文件输入”算子,生成两个字段A和B。 源文件如下图: 配置“随机值转换”算子,生成C、D、E三个字段:
sk sleep状态,最终导致虚拟机发生重启。 查看占用的内存进程,发现占用内存都是正常的业务进程。 结论:虚拟机内存不能满足服务需求。 处理步骤 建议扩大节点内存。 建议关闭不需要的服务。 父主题: 集群管理类
问题2:有些task运行失败会报上述错误。当看到这个报错的时候,需要确认的是丢失的这个task在哪个节点上面运行,一般的情况是这个丢失的task异常退出导致的。 处理步骤 问题1: 对于数据量过大,需要调整executor的内存大小的,使用--executor-memory指定内存大小; 对于同时运行的
e中使用的Metastore,所以读取元数据时失败,spark-sql内部读取的是Partque格式的数据,而Hive中默认是ORC的。 处理步骤 登录Spark客户端节点,执行如下命令,进入spark-sql: cd {客户端安装目录} source bigdata_env source