检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果不再使用策略，可单击按钮删除策略。 Hive数据脱敏 Ranger支持对Hive数据进行脱敏处理（Data Masking），可对用户执行的select操作的返回结果进行处理，以屏蔽敏感信息。 登录Ranger WebUI界面，在首页中单击“HADOOP SQL”区域的“Hive”
义和元数据查询。基于MRS的HCatalog功能，Hive、MapReduce开发人员能够共享元数据信息，避免中间转换和调整，能够提升数据处理的效率。 WebHCat WebHCat运行用户通过Rest API来执行Hive DDL，提交MapReduce任务，查询MapReduce任务执行结果等操作。
Bolt输出流字段定义和发送消息字段发现一致。 查看Oracle数据库中表定义，发现字段名为大写，与流定义字段名称不一致。 单独调试execute方法，发现抛出字段不存在。 处理步骤 修改流定义字段名称为大写，与数据库表定义字段一致。 父主题： 使用Storm
由于用户B在MRS Manager页面修改配置时，配置文件被用户A在MRS节点后台打开，导致该配置文件不能被替换，最终导致Hive服务启动失败。 处理步骤 用户需要首先手动关闭集群节点后台打开的Hive配置文件。 在MRS Manager页面重新修改Hive的配置并保存配置。 重启Hive服务。
_UNION_SUBDIR目录中，而Presto默认不读取子目录下的文件，所以没有读取到HIVE_UNION_SUBDIR目录下的数据。 处理步骤 在集群详情页面选择“组件管理 > Presto > 服务配置”。 切换“基础配置”为全部配置“。 在左侧导航处选择“Presto >
输入字段名 配置可能出现空值的字段名，需填写已生成的字段名。 string 是 无 替换值 配置替换空值的指定值。 string 是 无 数据处理规则 字段原值为null时，替换成指定的值。 样例 通过“CSV文件输入”算子，生成两个字段A和B。 源文件如下图： 配置“空值转换”算子，如下图：
luster/scheduler? openQueues= ^default$ 原因分析 页面链接无法识别符号“^”，导致页面访问失败。 处理步骤 登录Manager页面，选择“集群 > 服务 > Yarn > 配置 > 全部配置”。 在搜索框搜索“yarn.resourcemanager
Manager页面报错 原因分析 由于MRS的域名由console-emr变更为mrs导致普通集群访问MRS Manager的链接有误。 处理步骤 以root用户登录到所有Master节点。 进入/opt/knox/conf/目录，找到ext.properties文件。 修改所有Master节点中的ext
将类所在的jar包引入Spark Streaming的jar包。 原因分析 执行Spark作业时无法加载部分jar，导致找不到class。 处理步骤 使用 --jars 加载flume-ng-sdk-{version}.jar依赖包。 同时修改“spark-default.conf”中两个配置项。
擎。 SQL请求满足防御规则后，系统的处理操作有以下类型： 提示：配置系统对SQL请求满足防御规则后，是否进行日志记录和提示处理。开启按钮时，如果当前规则有变量参数，需同时配置阈值。 拦截：配置系统对SQL请求满足防御规则后，是否进行拦截处理。开启按钮时，如果当前规则有变量参数，需同时配置阈值。
ecurity-examples/OozieMapReduceExample Oozie提交MapReduce任务示例程序。 本示例演示了如何通过Java API提交MapReduce作业和查询作业状态，对网站的日志文件进行离线分析。 oozie-examples/ooziese
补丁基本信息 表1 补丁基本信息 补丁号 MRS 3.2.0-LTS.1.8 发布时间 2024-04-23 解决的问题 MRS 3.2.0-LTS.1.8修复问题列表： 解决Spark JDBCServer在session关闭超时的时候会出现session一直存在的问题。 解决
ParameterTool.fromArgs(args).getInt("windowTime", 2) // 构造执行环境，使用eventTime处理窗口数据 val env = StreamExecutionEnvironment.getExecutionEnvironment
ConsumerRecords<Integer, String> records = consumer.poll(waitTime); // 消息处理 for (ConsumerRecord<Integer, String> record : records) {
ConsumerRecords<Integer, String> records = consumer.poll(waitTime); // 消息处理 for (ConsumerRecord<Integer, String> record : records) {
t/Bigdata/LocalBackup，会使用到根目录磁盘空间，因为根目录磁盘空间不足，导致无法写入备份文件，导致集群周期备份失败。 处理步骤 分别登录主、备Master节点。 执行cd /srv/BigData/命令进入到备份文件所在目录。 执行unlink LocalBa
占用内存超过4 GB。 原因分析 knox进程没有单独配置内存，进程会自动根据系统内存大小按照比例划分可用内存，导致knox占用内存大。 处理步骤 以root用户分别登录Master节点。 打开文件“/opt/knox/bin/gateway.sh”，查找APP_MEM_OPTS
tor）。 常见的异常退出： executor发生OOM executor运行时出现多个task任务失败 executor所在节点被清理 处理步骤 根据executor异常退出的实际原因调整或者修改任务参数或代码，重新运行Spark任务即可。 父主题： 使用Spark
当并发提交大量oozie任务的时候就有可能出现启动了一堆oozie-launcher，将队列的资源耗完，而没有更多资源启动真实作业，最终导致任务一直没有运行。 处理步骤 参考“添加租户”章节新建一个队列给oozie使用，也可以直接使用创建MRS集群时生成的launcher-job队列。 在Manager页面选择“集群
random”。当熵池为空时，来自“/dev/random”的读操作将被阻塞，直到熵池收集到足够的环境噪声数据，导致提交任务慢或者失败。 处理步骤 在集群外客户端所在节点执行以下命令安装rng-tools工具： yum install rng-tools 执行以下命令启动rng-tools：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
