-
集群管理类 - MapReduce服务 MRS
为什么MRS集群显示的资源池内存小于实际集群内存? 如何配置knox内存? MRS集群安装的Python版本是多少? 如何查看各组件配置文件路径? 如何上传本地文件到集群内节点? MRS集群节点时间信息不正确如何处理? 如何查询MRS节点的启动时间? 节点互信异常如何处理? 如何调整manager-executor进程内存?
-
已创建的MRS集群如何修改Kerberos状态? - MapReduce服务 MRS
已创建的MRS集群如何修改Kerberos状态? 问: 已创建的MRS集群如何修改Kerberos认证的开启状态? 答: MRS服务暂不支持集群创建完成后手动开启和关闭Kerberos服务,如需更换Kerberos认证状态,建议重新创建MRS集群,然后进行数据迁移。 父主题: Kerberos使用
-
如何配置Flume定制脚本 - MapReduce服务 MRS
如何配置Flume定制脚本 操作场景 Flume支持定制脚本,支持在传输前或者传输后执行指定的脚本,用于执行准备工作。 操作步骤 场景一:未安装Flume客户端 获取软件包。 登录FusionInsight Manager,选择“集群 > 待操作集群的名称 > 服务 > Flum
-
如何配置Flume定制脚本 - MapReduce服务 MRS
如何配置Flume定制脚本 操作场景 Flume支持定制脚本,支持在传输前或者传输后执行指定的脚本,用于执行准备工作。 本章节适用于MRS 3.x及之后版本。 操作步骤 场景一:未安装Flume客户端 获取软件包。 登录FusionInsight Manager,选择“集群 > 待操作集群的名称
-
快速使用Hive进行数据分析 - MapReduce服务 MRS
背景信息 假定用户开发一个应用程序,用于管理企业中的使用A业务的用户信息,使用Hive客户端实现A业务操作流程如下: 普通表的操作: 创建用户信息表user_info。 在用户信息中新增用户的学历、职称信息。 根据用户编号查询用户姓名和地址。 A业务结束后,删除用户信息表。 表1 用户信息
-
如何判断某个服务是否使用了Ranger鉴权 - MapReduce服务 MRS
如何判断某个服务是否使用了Ranger鉴权 问题 如何判断某个支持使用Ranger鉴权的服务当前是否启用了Ranger鉴权? 回答 登录FusionInsight Manager,选择“集群 > 服务 > 服务名称”,在服务详情页上继续单击“更多”,查看“启用Ranger鉴权”是否为可单击?
-
如何提高集群Core节点的资源使用率? - MapReduce服务 MRS
如何提高集群Core节点的资源使用率? 进入 Yarn服务配置页面: MRS 1.8.10及之前版本,登录MRS Manager页面,然后选择“服务管理 > Yarn > 服务配置”,单击“基础配置”下拉菜单,选择“全部配置”。 MRS 1.8.10之后及2.x版本,单击集群名称,登录集群详情页面,选择“组件管理
-
MRS导出数据到OBS加密桶失败如何处理? - MapReduce服务 MRS
MRS导出数据到OBS加密桶失败如何处理? 问:MRS导出数据到OBS加密桶失败如何处理? 答:目前仅MRS 1.9.x及之后版本支持OBS加密桶功能,MRS 1.8.x及之前版本不支持OBS加密桶功能。如需使用OBS加密桶请使用MRS 1.9.x及之后版本集群。 父主题: 周边生态对接使用
-
如何关闭Hive客户端日志 - MapReduce服务 MRS
如何关闭Hive客户端日志 问题 如何关闭Hive客户端的运行日志? 回答 使用root用户登录安装客户端的节点。 执行以下命令,切换到客户端安装目录,例如“/opt/client”。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env
-
如何关闭Hive客户端日志 - MapReduce服务 MRS
如何关闭Hive客户端日志 问题 如何关闭Hive客户端的运行日志? 回答 使用root用户登录安装客户端的节点。 执行以下命令,切换到客户端安装目录,例如“/opt/client”。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env
-
创建FlinkServer作业写入数据至Hive表 - MapReduce服务 MRS
创建FlinkServer作业写入数据至Hive表 本章节适用于MRS 3.1.2及之后的版本。 操作场景 目前FlinkServer对接Hive使用对接metaStore的方式,所以需要Hive开启MetaStore功能。Hive可以作为source,sink和维表。 本示例以安全模式Kafka为例。
-
如何调用API - MapReduce服务 MRS
如何调用API 构造请求 认证鉴权 返回结果
-
Hive使用beeline -e执行多条语句报错如何处理? - MapReduce服务 MRS
Hive使用beeline -e执行多条语句报错如何处理? MRS 3.x版本Hive使用beeline执行beeline -e "use default;show tables;"命令报错: Error while compiling statement: FAILED: ParseException
-
MRS集群的节点如何安装主机安全服务? - MapReduce服务 MRS
Agent状态及异常处理的详细操作请参见Agent状态异常应如何处理?。 Agent安装失败,详细操作请参见Agent安装失败应如何处理?。 卸载Agent的详细操作请参见如何卸载Agent?。 父主题: 周边生态对接使用
-
Hive SQL运行变慢阶段如何排查 - MapReduce服务 MRS
Hive SQL运行变慢阶段如何排查 场景说明 对于一个Hive SQL任务,如果运行时间突然变长,可能有多种原因造成,如HiveServer编译变慢、访问HDFS变慢、访问Yarn变慢或访问元数据变慢。 操作步骤 以下为Hive SQL在哪个阶段执行变慢的排查方法: HiveServer编译变慢
-
如何在CarbonData中配置非安全内存? - MapReduce服务 MRS
如何在CarbonData中配置非安全内存? 问题 如何在CarbonData中配置非安全内存? 回答 在Spark配置中,“spark.yarn.executor.memoryOverhead”参数的值应大于CarbonData配置参数“sort.inmemory.size.inmb”
-
使用MySQL客户端连接Doris数据库时报错“plugin not enabled”如何处理 - MapReduce服务 MRS
使用MySQL客户端连接Doris数据库时报错“plugin not enabled”如何处理 问题现象 使用MySQL客户端连接Doris数据库时报错: ERROR 2059 (HY000): Authentication plugin 'mysql_clear_password'
-
访问HBase Phoenix提示权限不足如何处理 - MapReduce服务 MRS
Phoenix提示权限不足如何处理 问题 使用租户访问Phoenix提示权限不足。 回答 创建租户的时候需要关联HBase服务和Yarn队列。 租户要操作Phoenix还需要额外操作的权限,即Phoenix系统表的RWX权限。 例如: 创建好的租户为hbase,使用admin用户登录hbase
-
执行distcp命令报错如何处理 - MapReduce服务 MRS
回答 当用户在distcp命令中使用webhdfs://时,会发生上述异常,是由于集群所使用的HTTP政策为HTTPS,即配置在“core-site.xml”的“dfs.http.policy”值为“HTTPS_ONLY”。所以要避免出现此异常,应使用swebhdfs://替代webhdfs://。
-
访问HBase Phoenix提示权限不足如何处理 - MapReduce服务 MRS
Phoenix提示权限不足如何处理 问题 使用租户访问Phoenix提示权限不足。 回答 创建租户的时候需要关联HBase服务和Yarn队列。 租户要操作Phoenix还需要额外操作的权限,即Phoenix系统表的RWX权限。 例如: 创建好的租户为hbase,使用admin用户登录hbase