检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
“文件输出”算子,用于配置已生成的字段通过分隔符连接并输出到文件。 输入与输出 输入:需要输出的字段 输出:文件 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输出分隔符 配置分隔符。 string 是 无 换行符 用户根据数据实际情况,填写字符串作为换行符。支持任何字符串。默认使用操作系统的换行符。
argparse错误 问题 在客户端使用sqlline脚本时,报import argparse错误。 回答 以root用户登录安装HBase客户端的节点,使用hbase用户进行安全认证。 进入HBase客户端sqlline脚本所在目录执行python3 sqlline.py命令。 父主题:
LoginUtil.login(PRINCIPAL, KEYTAB, KRB, conf); test:为准备集群认证用户信息创建的用户名称,例如developuser。 系统域名:登录FusionInsight Manager后,选择“系统 > 权限 > 域和互信”,查看“本端域”参数,即为当前系统域名。
mapred-default.xml文件解析异常导致WebHCat启动失败 用户问题 MRS的Hive服务故障,重新启动后,Master2节点上的HiveServer和WebHCat进程启动失败,Master1节点进程正常。 原因分析 登录Master2节点,查看“/var/log/Bigdata
加载HDFS服务配置文件,并进行kerberos安全认证。 认证通过后,实例化Filesystem。 使用HDFS的API。 此处kerberos安全认证需要使用到的keytab文件,请提前准备。 配置文件介绍 登录HDFS时会使用到如表1所示的配置文件。这些文件均已导入到“hdfs
背景信息 假定用户开发一个应用程序,用于管理企业中的使用A业务的用户信息,使用HBase客户端实现A业务操作流程如下: 创建用户信息表user_info。 在用户信息中新增用户的学历、职称信息。 根据用户编号查询用户姓名和地址。 根据用户姓名进行查询。 用户销户,删除用户信息表中该用户的数据。
MRS集群容量调整 扩容MRS集群 扩容MRS集群节点数据盘 缩容MRS集群 缩容ClickHouseServer节点 退订MRS包周期集群指定节点 MRS集群Task节点弹性伸缩 父主题: MRS集群运维
argparse错误 问题 在客户端使用sqlline脚本时,报import argparse错误。 回答 以root用户登录安装HBase客户端的节点,使用hbase用户进行安全认证。 进入HBase客户端sqlline脚本所在目录执行python3 sqlline.py命令。 父主题:
节点,例如“/opt”目录下。 登录FusionInsight Manager页面,选择“系统 > 权限 > 用户”,添加人机用户sparkuser,用户组(hadoop、hive),主组(hadoop)。 进入客户端目录,加载环境变量并认证用户: cd /客户端安装目录 source
节点,例如“/opt”目录下。 登录FusionInsight Manager页面,选择“系统 > 权限 > 用户”,添加人机用户sparkuser,用户组(hadoop、hive),主组(hadoop)。 进入客户端目录,加载环境变量并认证用户: cd /客户端安装目录 source
useTicketCache=false storeKey=true debug=true; }; test:为准备集群认证用户信息创建的用户名称,例如developuser。 系统域名:登录FusionInsight Manager后,选择“系统 > 权限 > 域和互信”,查看“本端域”参数,即为当前系统域名。
在MRS集群客户端无法执行hbase shell命令 用户问题 在MRS集群客户端无法执行hbase shell命令。 原因分析 执行hbase shell命令前未配置环境变量。 当前MRS集群未安装HBase客户端。 处理步骤 使用root用户登录安装客户端的节点,切换到客户端安装目录,查看是否安装了HBase客户端。
MRS集群类型介绍 MRS包含了多种大数据组件,用户可基于企业大数据场景的业务场景、数据类型、可靠性要求以及资源预算等要求合理选择集群类型。 用户可以基于系统预置的集群模板快速购买一个集群,也可自行选择组件列表及高级配置特性,自定义购买集群。 表1 MRS集群类型 集群类型 场景介绍
MRS集群健康检查 执行MRS集群健康检查 执行MRS集群节点健康检查 查看并导出健康检查报告 父主题: MRS集群运维
运行MRS作业 运行MapReduce作业 运行SparkSubmit作业 运行HiveSql作业 运行SparkSql作业 运行Flink作业 运行HadoopStream作业 父主题: 提交MRS作业
备份恢复MRS集群数据 MRS集群数据备份恢复简介 启用MRS集群间拷贝功能 创建MRS集群数据备份任务 创建MRS集群数据恢复任务 备份MRS集群组件数据 恢复MRS集群组件数据 管理MRS集群备份恢复任务 使用HDFS快照快速恢复组件业务数据 父主题: MRS集群运维
Server页面,用于展示已经完成的和未完成的Spark应用的运行情况。 页面包括了应用ID、应用名称、开始时间、结束时间、执行时间、所属用户等信息。 页面入口:请参考登录MRS Manager登录MRS Manager页面,选择“服务管理 > Spark”,单击“Spark Web UI”对应的“JobHistory”进入Web界面。
当表的BLOCKSIZE比较小时,建议适当调大该值。 - 否 单击“保存”保存配置。 单击“实例”,勾选所有RegionServer实例,选择“更多 > 滚动重启实例”,输入当前用户密码,滚动重启RegionServer实例。 父主题: HBase性能调优
key上的不同过滤器参数。例如示例中三个COUNT DISTINCT都在user_id列上。Flink可以只使用一个共享状态实例,而不是三个状态实例,以减少状态访问和状态大小,在某些工作负载下可以获得显著的性能提升。 拆分distinct聚合优化聚合中数据倾斜 通过两阶段聚合能消除常
以Hive客户端安装用户登录安装客户端的节点。 执行以下命令,切换到客户端安装目录,配置环境变量并认证用户。 cd 客户端安装目录 source bigdata_env kinit Hive业务用户(如果集群未开启Kerberos认证,请跳过该操作) 执行以下命令登录Hive客户端。