检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
上报OBS监控指标开关： true表示打开 false表示关闭 true fs.obs.metrics.consumer 指定OBS监控指标的处理方式。 org.apache.hadoop.fs.obs.metrics.OBSAMetricsProvider：表示收集统计OBS监控指标
CDL任务运行一段时间后，Yarn任务失败，并返回状态码“104”或“143”。下图为返回状态码“143”： 可能原因 抓取到Hudi中的一批数据量过大，导致任务内存不足。 处理步骤 登录FusionInsight Manager，选择“集群 > 服务 > CDL”，单击“CDLService UI”右侧的超链接进入CDLService
值，系统将会对该值四舍五入进行比较，因此在这种情况下，即使小数部分不同，系统仍然会认为double数据类型的值是相同的。 定位思路 无。 处理步骤 当需要高精度的数据比较时，可以使用Decimal数据类型的数值，例如，在财务应用程序中，equality和inequality检查，
修改节点主机名后导致MRS集群状态异常 问题现象 修改节点主机名后，MRS集群状态异常。 原因分析 修改节点hostname导致兼容性问题和故障。 处理步骤 以root用户登录集群的任意节点。 在集群节点中执行cat /etc/hosts命令，查看各个节点的hostname值，根据此值来配置newhostname变量值
客户端进行使用，但是一直提示网络或者参数有问题。 原因分析 可能是两台主机处于不同VPC网络中。 密码填写错误。 远端主机开启了防火墙。 处理步骤 两台主机处于不同VPC网络中 放开远端主机的22端口。 密码填写错误 请检查密码是否正确，密码中不能有特殊符号。 远端主机开启防火墙
Base的时候认证失败，无法读取到相应数据。 问题2：Spark默认没有加载HBase相关的jar包，需要使用--jars添加到任务中。 处理步骤 问题1：可以尝试开启HBase认证开关：spark.yarn.security.credentials.hbase.enabled=
在创建租户时会生成对应的角色，执行删除租户操作时会首先删除对应的角色。此时如果支持权限配置的组件状态异常，则会导致删除这个角色对应的资源权限失败。 处理步骤 登录FusionInsight Manager，选择“系统 > 权限 > 角色”。 单击“添加角色”，在“配置资源权限”中单击集群名称，确认可配置资源权限的组件。
endpoint-name.access_key_id OBS ak，获取方法请参考如何获取访问密钥AK/SK s3.endpoint-name.secret_access_key OBS sk，获取方法请参考如何获取访问密钥AK/SK 对于OBS直接分享出来的URL，一般是带HTTPS的
从错误截图可以看到报错是no route to host，且报错信息里面有192.168的ip，也即客户端节点到集群的DN节点的内网路由不通，导致上传文件失败。 处理步骤 在客户端节点的客户端目录下，找到HDFS的客户端配置目录hdfs-site.xml文件，在配置文件中增加配置项dfs.client.use
输入字段名 配置可能出现空值的字段名，需填写已生成的字段名。 string 是 无 替换值 配置替换空值的指定值。 string 是 无 数据处理规则 字段原值为null时，替换成指定的值。 样例 通过“CSV文件输入”算子，生成两个字段A和B。 源文件如下图： 配置“空值转换”算子，如下图：
Hive是否支持对同一张表或分区进行并发写数据 问题 为什么通过接口并发对Hive表进行写数据会导致数据不一致？ 回答 Hive不支持对同一张表或同一个分区进行并发数据插入，这样会导致多个任务操作同一个数据临时目录，一个任务将另一个任务的数据移走，导致任务数据异常。 解决方法是修
Flume_ClientConfig/JDK/jdk-8u18/bin/java: No such file or directory 解决办法 适当调大堆内存（xmx）的值。 与正常启动Flume的节点进行文件和文件夹权限对比，更改错误文件或文件夹权限。 重新配置JAVA_HOME。
channel又达到了过期时间，该channel就被终止了，AM端感知到channel被终止后认为driver失联，然后整个应用停止。 解决办法： 在Spark客户端的“spark-defaults.conf”文件中或通过set命令行进行设置。参数配置时要保证channel过期时间（spark
endpoint-name.access_key_id OBS ak，获取方法请参考如何获取访问密钥AK/SK s3.endpoint-name.secret_access_key OBS sk，获取方法请参考如何获取访问密钥AK/SK 对于OBS直接分享出来的URL，一般是带HTTPS的
输入字段名 配置可能出现空值的字段名，需填写已生成的字段名。 string 是 无 替换值 配置替换空值的指定值。 string 是 无 数据处理规则 字段原值为null时，替换成指定的值。 样例 通过“CSV文件输入”算子，生成两个字段A和B。 源文件如下图： 配置“空值转换”算子，如下图：
义和元数据查询。基于MRS的HCatalog功能，Hive、MapReduce开发人员能够共享元数据信息，避免中间转换和调整，能够提升数据处理的效率。 WebHCat WebHCat运行用户通过Rest API来执行Hive DDL，提交MapReduce任务，查询MapReduce任务执行结果等操作。
Bolt输出流字段定义和发送消息字段发现一致。 查看Oracle数据库中表定义，发现字段名为大写，与流定义字段名称不一致。 单独调试execute方法，发现抛出字段不存在。 处理步骤 修改流定义字段名称为大写，与数据库表定义字段一致。 父主题： 使用Storm
由于用户B在MRS Manager页面修改配置时，配置文件被用户A在MRS节点后台打开，导致该配置文件不能被替换，最终导致Hive服务启动失败。 处理步骤 用户需要首先手动关闭集群节点后台打开的Hive配置文件。 在MRS Manager页面重新修改Hive的配置并保存配置。 重启Hive服务。
_UNION_SUBDIR目录中，而Presto默认不读取子目录下的文件，所以没有读取到HIVE_UNION_SUBDIR目录下的数据。 处理步骤 在集群详情页面选择“组件管理 > Presto > 服务配置”。 切换“基础配置”为全部配置“。 在左侧导航处选择“Presto >
如果不再使用策略，可单击按钮删除策略。 Hive数据脱敏 Ranger支持对Hive数据进行脱敏处理（Data Masking），可对用户执行的select操作的返回结果进行处理，以屏蔽敏感信息。 登录Ranger WebUI界面，在首页中单击“HADOOP SQL”区域的“Hive”
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
