检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果是安全模式集群,您可以联系管理员获取相应账号对应权限的keytab文件和krb5文件。 krb5.conf Kerberos server配置信息。 不同集群的“user.keytab”、“krb5.conf”不能共用。
其中Keytab文件及principal信息请联系管理员获取,Beeline的连接样例如下所示: sh CLIENT_HOME/spark/bin/beeline -u "jdbc:hive2://<zkNode1_IP>:<zkNode1_Port>,<zkNode2_IP>:<
flume 固定目录 Flume采集到HDFS文件系统中的数据存储目录 否 Flume工作异常 /mr-history/tmp 固定目录 MapReduce作业产生的日志存放位置 是 日志信息丢失 /mr-history/done 固定目录 MR JobHistory Server管理的日志的存放位置
其中ResourceManager是一个全新的资源管理系统,而ApplicationMaster则负责MapReduce作业的数据切分、任务划分、资源申请和任务调度与容错等工作。 Yarn和ZooKeeper的关系 ZooKeeper与Yarn的关系如图3所示。
rule-test 前缀 满足指定前缀的对象将受生命周期规则管理,输入的对象前缀不能包括\:*?"<>|特殊字符,不能以/开头,不能两个/相邻。如果不输入则表示配置到整个文件系统。
EUSaaeVKCb5zPzGBRKo="; Path=/; Expires=Thu, 05-May-2016 16:20:10 GMT; Secure; HttpOnly Transfer-Encoding: chunked {"boolean":true}linux1:/opt/client # 密钥管理系统通过
tez插入数据失败问题 MRS 2.1.0.2 修复问题列表: MRS Manager nodeagent重启后不显示监控信息 长时间提交作业,manager executor进程会内存溢出 支持提交作业,manager executor可配置并发度功能 MRS manager管理面看不到
选择“集群 > 待操作集群的名称 > 服务 > Loader > 更多 > 重启服务”,输入管理员密码重启Loader服务。
Yarn资源:登录FusionInsight Manager,选择“租户资源 > 租户资源管理” ,在“资源配额”中查看队列的空余资源信息。
因为日志是保存在系统盘上,有空间限制。如果如需长期保存,则需要将日志挂载出来。 父主题: 组件配置类
达到该指定的值,系统会将数据写入磁盘。单位是MB。 sort.inmemory.size.inmb 1024 指定要保存在内存中的中间排序数据的大小。达到该指定值后,系统会将数据写入磁盘。单位:MB。
对于CarbonData数据中的Bad Records管理,请参见表2。
以这种方式,提高了数据管理效率和集群资源效率。 父主题: HDFS
配置文件中包含认证密码信息可能存在安全风险,建议当前场景执行完毕后删除相关配置文件或加强安全管理。 install_path(必填项):Flume客户端安装路径。
操作步骤 参数入口: 在FusionInsight Manager系统中,选择“集群 > 服务 > HDFS > 配置”,选择“全部配置”。在搜索框中输入参数名称。
以root用户登录该告警的主机地址,用户密码为安装前用户自定义,请咨询系统管理员。查看告警角色所在安装目录用户、用户组、权限等是否正常。正常用户和用户组的权限为“omm:ficommon 750”。
从本节中可以掌握如何从本地文件系统、MRS集群中加载数据。以关键字LOCAL区分数据源是否来自本地。
租户要操作Phoenix还需要额外操作的权限,即Phoenix系统表的RWX权限。
/folder2</name> <value>hdfs://NS2/folder2</value> </property> Hive和Spark中的配置 fs.defaultFS - 默认文件系统的名称。URI模式必须设置为“viewfs”。
如果当前组件使用了Ranger进行权限控制,需基于Ranger配置相关策略进行权限管理。