检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据库名称。数据库名称由字母,数字和下划线组成。 table_name 数据库中的表的名称。表名由字母,数字和下划线组成。 注意事项 无。 示例 添加carbon配置参数 carbon.clean.file.force.allowed = true create table carbon01(a int
登录Master2节点,使用以下命令查找“mapred-default.xml”所在路径: find /opt/ -name 'mapred-default.xml' 查询到该配置文件在“/opt/Bigdata/*/*_WebHCat/etc/”目录下面,且该文件内容为空。 登录到Master1节点,将“/opt/
对同一目录创建多个外表,可能导致外表查询失败 问题 假设存在数据文件路径“/test_data_path”,用户userA对该目录创建外表tableA,用户userB对该目录创建外表tableB,当userB对tableB执行insert操作后,userA将查询tableA失败,出现Permission
/xxxxx/clickhouse_ugsync_check.sh >/dev/null 2>&1 是,守护任务配置正常,等待5min,查看告警是否清除。若告警清除,操作结束,若告警未清除,执行8。 否,守护任务配置不正常或不存在,执行5。 登录FusionInsight Manager页面,选择“集群
址保存在RMStateStore中。 JobHistoryServer服务地址变更后,需要将新的服务地址及时更新到MapReduce客户端配置文件中,否则,新运行的作业在查看作业历史信息时,仍然会指向原JobHistoryServer地址,导致无法正常跳转到作业历史信息页面。服务
MR任务日志在HDFS上的归档路径 是 MR任务日志丢失 /tmp/hadoop-yarn/staging 固定目录 保存AM运行作业运行日志、作业概要信息和作业配置属性 否 任务运行异常 /tmp/hadoop-yarn/staging/history/done_intermediate 固定目录 所
进入Loader页面。 单击“管理连接”。 显示Loader连接管理页面。 可单击“管理作业”回到作业管理页面。 单击“新建连接”,进入配置页面,并填写参数创建一个Loader连接。 Loader作业介绍 Loader作业用于管理数据迁移任务,每个作业包含一个源数据的连接,和一
准备Manager应用开发和运行环境 准备样例工程 Manager REST API提供了不同场景下的样例程序,您可以导入样例工程进行程序学习。 配置并导入Manager样例工程 根据场景开发工程 提供了Java语言的样例工程,包含添加用户、查找用户、修改用户、删除用户,导出用户列表等典型应用场景。
version}变量。该变量的解析逻辑为,os为aarch64时值为“1.0.0-hw-aarch64”,os为x86_64时值为“1.0.0”。编译环境因为一些配置原因导致maven未能通过os正确解析该变量时,可采用手动修改pom.xml方式进行规避正确编译。 在pom.xml中手动修改直接或间接依
址保存在RMStateStore中。 JobHistoryServer服务地址变更后,需要将新的服务地址及时更新到MapReduce客户端配置文件中,否则,新运行的作业在查看作业历史信息时,仍然会指向原JobHistoryServer地址,导致无法正常跳转到作业历史信息页面。服务
期保持不变。 单击“确定”完成修改操作。 修改用户信息(MRS 2.x及之前版本) 在MRS Manager,单击“系统设置”。 在“权限配置”区域,单击“用户管理”。 在要修改用户所在的行,单击“修改”,修改用户信息。 为用户修改用户组或分配的角色权限,最长可能需要3分钟时间生效。
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 HDFS NameNode内存使用率过高,会影响HDFS的数据读写性能。 可能原因 HDFS NameNode配置的内存不足。 处理步骤 清除无用文件。 在集群节点使用客户端,执行hdfs dfs -rm -r 文件或目录路径命令,确认删除无用的文件。
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 HDFS DataNode内存使用率过高,会影响到HDFS的数据读写性能。 可能原因 HDFS DataNode配置的内存不足。 处理步骤 清除无用文件。 在集群节点使用客户端,执行hdfs dfs -rm -r 文件或目录路径命令,确认删除无用的文件。
对同一目录创建多个外表,可能导致外表查询失败 问题 假设存在数据文件路径“/test_data_path”,用户userA对该目录创建外表tableA,用户userB对该目录创建外表tableB,当userB对tableB执行insert操作后,userA将查询tableA失败,出现Permission
ithQJM.html#Automatic_Failover HDFS HA实现方案 图1 典型的HA部署方式 在一个典型的HA集群中(如图1),需要把两个NameNodes配置在两台独立的机器上。在任何一个时间点,只有一个NameNode处于Active状态,另一个处于Stan
行/文件 写入数 写入到输出源的行数(文件数)。 行/文件 跳过数 转换过程中记录的坏行数(文件数):输入格式不正确,无法进行转换。 转换过程中配置过滤条件后跳过的行数。 父主题: 作业管理
SecurityKafkaWordCount。 当Streaming DataFrame/Dataset中有新的可用数据时,outputMode用于配置写入Streaming接收器的数据。 object SecurityKafkaWordCount { def main(args: Array[String]):
问题3:使用--keytab和--principal将keytab文件和对应用户带入任务中。如果此处的keytab文件和之前Kafka的jaas.conf中配置的是同一个,则Spark会报一个文件多次上传的问题。解决办法是复制一份keytab文件,使得--files和--keytab上传不同的文件。
Manager。 登录MRS管理控制台,进入MRS集群,在“概览”页面,单击“IAM用户同步”右侧的“单击同步”。 IAM同步完成,作业管理添加配置作业提交作业即可正常。 父主题: 集群管理类
SecurityKafkaWordCount。 当Streaming DataFrame/Dataset中有新的可用数据时,outputMode用于配置写入Streaming接收器的数据。 object SecurityKafkaWordCount { def main(args: Array[String]):