检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SESSION RESET SESSION DESCRIBE DESCRIBE FORMATTED COLUMNS DESCRIBE DATABASE| SCHEMA DESCRIBE INPUT DESCRIBE OUTPUT EXPLAIN EXPLAIN ANALYZE REFRESH
Hue故障排除 使用Hive输入use database语句失效 使用Hue WebUI访问HDFS文件失败 在Hue页面上传大文件失败 集群未安装Hive服务时Hue原生页面无法正常显示 访问Hue原生页面时间长,文件浏览器报错Read timed out 父主题: 使用Hue
ZooKeeper前需执行如下操作: 修改JDBCExample中“init”方法中的“USER_NAME”参数的值。“USER_NAME”对应的用户用于访问FusionInsight ZooKeeper,需拥有FusionInsight Hive、Hadoop普通用户组权限。 进
Project Structure for New Projects 在弹出的“Select Home Directory for JDK”窗口,选择对应的JDK目录,然后单击“OK”。 图4 Select Home Directory for JDK 完成JDK选择后,单击“OK”完成配置。
在Linux系统HDFS客户端使用命令hadoop fs -mkdir /tmp/input(hdfs dfs命令有同样的作用),创建对应目录。 在Linux系统HDFS客户端使用命令hadoop fs -put log1.txt /tmp/input,上传数据文件。 将导入的数据放置在Hive表里。
Structure”窗口。 选择“SDKs”,单击加号选择“JDK”。 在弹出的“Select Home Directory for JDK”窗口,选择对应的JDK目录,然后单击“OK”。 完成JDK选择后,单击“Apply”。 选择“Project”,在“Project SDK”下的下拉菜单
ZooKeeper前需执行如下操作: 修改JDBCExample中“init”方法中的“USER_NAME”参数的值。“USER_NAME”对应的用户用于访问FusionInsight ZooKeeper,需拥有FusionInsight Hive、Hadoop普通用户组权限。 进
史执行记录。 admin用户默认不具备其他组件的管理权限,如果访问组件原生界面时出现因权限不足而打不开页面或内容显示不全时,可手动创建具备对应组件管理权限的用户进行登录。 重新提交任务。 查看任务是否成功执行。 是,执行9。 否,执行5。 检查Yarn执行任务时是否出现异常。 打开FusionInsight
在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > Loader > 实例”,单击上报告警实例主机名对应的角色名,单击图表区域右上角的下拉菜单,选择“定制”,勾选“GC”中的“Loader的总GC时间”,单击“确定”。 图1 Loader的总GC时间
设备分区丢失”或“ALM-12033 慢盘故障”。 是,执行2。 否,执行4。 参考ALM-12014 设备分区丢失或ALM-12033 慢盘故障告警进行处理,查看对应告警是否清除。 是,执行3。 否,执行4。 等待5分钟,检查该告警是否恢复。 是,处理完毕。 否,执行4。 修改磁盘权限 在“运维 > 告警
成一个jaas文件并设置相关环境变量即可。提供了LoginUtil相关接口来完成这些配置,如下样例代码中只需要配置用户自己申请的账号名称和对应的keytab文件名称即可,由于人机账号的keytab会随用户密码过期而失效,故建议使用机机账号进行配置。 认证样例代码: 设置keytab认证文件模块
“/tmp/hadoop-yarn/staging”。 正常运行的MapReduce任务会在Job结束以后就清理这些临时文件,但是当Job对应的Yarn任务异常退出时,这些临时文件不会被清理,长时间积攒导致该临时目录下的文件数量越来越多,占用存储空间越来越多。 处理步骤 登录集群客户端。
UI界面失败。 处理步骤 登录10.10.169.53客户端机器。 修改“/etc/hosts”文件,将10.120.169.53更改为相对应的192网段的IP地址。 修改再重新运行Spark应用,这时就可以打开Spark Web UI界面。 父主题: 访问MRS组件Web UI界面常见异常问题
--describe --zookeeper <zk_host:port/chroot> --topic <topic name> 如下所示,发现对应Topic状态正常。所有Partition均存在正常Leader信息。 图1 Topic分布信息和副本同步信息 检查客户端与Kafka集群
如果是启用Kerberos认证的集群,当前访问Loader的用户对保存数据的目录需要有写入权限。 在“文件格式”填写业务数据文件的类型。 需要与6.c的类型对应。 在“压缩格式”填写一种压缩的算法。例如选择不压缩“NONE”。 在“是否覆盖”选择已有文件的处理方式,选择“True”。 单击“显示高
reduce/input/'OVERWRITE INTO TABLE person;。 执行命令!q退出。 由于Hive加载数据将HDFS对应数据目录清空,所以需再次执行1。 父主题: MapReduce访问多组件样例程序
登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。 选择“作业管理”。 在需要克隆作业的对应的“操作”列中,单击“克隆”,弹出“克隆作业”对话框。 配置克隆参数。 若无参数修改,无需执行本步骤。 若有参数修改,根据实际情况填写参数,单击“确定”下发克隆作业。
在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > Oozie > 实例”,选择上报告警实例主机名对应的角色,单击图表区域右上角的下拉菜单,选择“定制 > GC”中的“Oozie垃圾回收(GC)总时间”,单击“确定”。 图1 定制Oozie垃圾回收(GC)总时间
使用新的数据节点。 Colocation与数据节点容量 由于使用Colocation进行存储数据的时候,会固定存储在指定的locator所对应的数据节点上面,所以如果不对locator进行规划,会造成数据节点容量不均衡。下面总结了保证数据节点容量均衡的两个主要的使用原则,如表2所示。
使用新的数据节点。 Colocation与数据节点容量 由于使用Colocation进行存储数据的时候,会固定存储在指定的locator所对应的数据节点上面,所以如果不对locator进行规划,会造成数据节点容量不均衡。下面总结了保证数据节点容量均衡的两个主要的使用原则,如表2所示。