检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
原因分析 当使用load导入数据到Hive表的时候,属于需要跨文件系统的情况(例如原数据在HDFS上,而Hive表数据存放在OBS上),并且文件长度大于阈值(默认32 MB),则会触发使用distcp的MapReduce任务来执行数据迁移操作。
"); } 注意事项 当前二级索引不支持使用SubstringComparator类定义的对象作为Filter的比较器。
"); } 注意事项 当前二级索引不支持使用SubstringComparator类定义的对象作为Filter的比较器。
MRS 2.1.0.5补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 2.1.0.5 发布时间 2020-05-27 解决的问题 MRS 2.1.0.5 修复问题列表: MRS大数据组件 impala支持ObsFileSystem功能 支持MRS Manager页面以及组件原生页面超时时间可配置
用于创建Connection对象。
建议在整个客户端代码范围内,都共用同一个Configuration对象实例。
对系统的影响 Guardian TokenServer实例堆内存溢出可能导致业务无法正常访问OBS。 可能原因 该节点TokenServer实例堆内存使用率过大,或配置的堆内存不合理,导致使用率超过阈值。 处理步骤 检查堆内存使用率。
job.record.expire.day 7 JobServer作业过期的时间。 logging.level.org.apache.tomcat JobServer服务端tomcat日志的日志级别。
*; import java.util.List; import java.util.ArrayList; public class BatchDeleteJobsSolution { public static void main(String[] args) {
MRS集群的节点如何安装主机安全服务? 操作场景 MRS集群中的节点可以使用主机安全服务(Host Security Service,HSS)提供的主机管理、风险预防、入侵检测等功能,识别并管理主机中的信息资产,实时监测主机中的风险并阻止非法入侵行为,帮助企业构建服务器安全体系,降低当前服务器面临的主要安全风险
number of splits:200 16/03/03 16:44:57 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1456738266914_0005 16/03/03 16:44:57 INFO
obs.cn-east-3.myhuaweicloud.com/MRS_Common_Script/MRS_3x_Patch_Diskmgt_v2.1_20230322.tar.gz 华东-上海二:https://mrs-container1-patch-cn-east-2.obs.cn-east
创建或者编辑Loader作业时,在配置SFTP路径、HDFS/OBS路径、SQL的Where条件等参数时,可以使用宏定义,具体请参考配置项中使用宏定义章节。
Put(iteratorArray(i).getString(0).getBytes) // 计算结果 val resultValue = hiveValue + hbaseValue.toInt // 设置结果到put对象
HiveSql作业提交失败问题 优化keytab文件下载的权限控制 大数据组件 解决Presto角色名称包含大写字母,权限模型未生效问题 解决Hive删除分区慢的问题 解决Spark长时间运行Token过期问题 MRS 2.1.0.8 修复问题列表: MRS Manager 解决委托访问OBS
Loader作业导入大量数据至HDFS时报错 问题 大量数据写入HDFS时偶现“NotReplicatedYet Exception: Not replicated yet”错误。 图1 报错信息 回答 以下原因可能造成该报错: HDFS客户端向NameNode发送新Block申请
table1List.get(i).getString(0).getBytes()); // 计算结果 int resultValue = hiveValue + Integer.valueOf(hbaseValue); // 设置结果到put对象
table1List.get(i).getString(0).getBytes()); // 计算结果 int resultValue = hiveValue + Integer.valueOf(hbaseValue); // 设置结果到put对象
检查SQL语句执行是否耗时较长 查看告警对象所属的逻辑集群。登录Manager页面,选择“集群 > 服务 > ClickHouse > 逻辑集群 > 查询管理 > 正在进行的慢查询”。
table1List.get(i).getString(0).getBytes()); // 计算结果 int resultValue = hiveValue + Integer.valueOf(hbaseValue); // 设置结果到put对象