检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
访问MRS Manager(MRS 3.x之前版本) 操作场景 MRS 3.x之前版本集群使用MRS Manager对集群进行监控、配置和管理,用户可以在MRS控制台页面打开Manager管理页面。 访问MRS Manager 登录MRS管理控制台页面。 单击“现有集群”,在集群列表中单击指定的集群名称
修改MRS集群系统域名 操作场景 每个系统用户安全使用的范围定义为“域”,不同的系统需要定义唯一的域名。FusionInsight Manager的域名在安装过程中生成,如果需要修改为特定域名,系统管理员可通过FusionInsight Manager进行配置。
时间宏dataformat中的第一个参数的日期格式定义可参考“java.text.SimpleDateFormat.java”中的定义,但需要遵循目标系统的约束,例如HDFS/OBS目录不支持特殊符号等。
Spark作业报错“UnknownScannerExeception”如何处理? 问题现象 Spark作业运行查看日志有些WARN日志,作业运行很慢,Caused by显示:UnknownScannerExeception。 解决方法 运行Spark作业前,调整hbase.client.scanner.timeout.period
obs-connector 表1 obs-connector目的连接属性 参数 说明 桶名 保存最终数据的OBS文件系统。 写入目录 最终数据在文件系统保存时的具体目录。必须指定一个目录。
各组件的策略列表中,系统默认生成的条目会自动继承至安全区内,用于保证集群内的部分系统默认用户或用户组的权限。 单击“Add New Policy”,根据业务场景规划配置相关用户或者用户组的资源访问策略。
用户可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信”,查看“本端域”参数,即为当前系统域名。 “hive/hadoop.<系统域名>”为用户名,用户的用户名所包含的系统域名所有字母为小写。 执行如下命令,启用Hive admin权限。
创建自定义集群时,安全组可配置提前创建的安全组或由系统自动创建。快速创建集群时,安全组由系统自动创建。 安全组名称可在集群的“概览”界面的“安全组”查看。 添加安全组规则,默认填充的是用户访问弹性IP地址的规则。
父主题: 修改MRS集群系统用户密码
beeline -f SQL文件(执行文件里的SQL) 普通模式,可执行以下命令指定组件业务用户,如果不指定则会以当前操作系统用户连接HiveServer。 beeline -nMRS集群业务用户 父主题: 运行MRS作业
回答 需要修改UserSync进程的GC内存默认为“-Xms1G -Xmx1G”,需要根据业务实际情况调整该参数值: 登录到MRS Manager界面,选择“集群 > 服务 > Ranger > 配置 > 全部配置 > UserSync(角色) > 系统”,修改参数“GC_OPTS
例如:在RHEL-x86系统上需要安装如下RPM包(请根据实际情况选择版本) mysql-community-client-5.7.23-1.el7.x86_64.rpm mysql-community-common-5.7.23-1.el7.x86_64.rpm mysql-community-devel
选择“系统 > 权限 > 角色”。 单击“添加角色”,然后在“角色名称”和“描述”输入角色名字与描述。 设置角色“配置资源权限”。 FlinkServer权限类型: FlinkServer管理员权限:是最高权限,具有FlinkServer所有应用的业务操作权限。
解决方法: 执行如下命令可查看是否关闭: systemctl status firewalld(不同的操作系统查询命令不一致,此命令以CentOS为例) 如下图所示:dead表示关闭。
需要联系操作系统管理员扩大端口范围。
在普通模式下使用HCatalog客户端,系统将以当前登录操作系统用户来执行DDL命令。 退出beeline客户端时请使用!q命令,不要使用“Ctrl + C”。否则会导致连接生成的临时文件无法删除,长期会累积产生大量的垃圾文件。
访问集群Manager 访问MRS Manager(MRS 3.x之前版本) 访问FusionInsight Manager(MRS 3.x及之后版本) 父主题: 常见操作
选择“系统 > 权限 > 角色”。 单击“添加角色”,然后在“角色名称”和“描述”输入角色名字与描述。 设置角色“配置资源权限”。 FlinkServer权限类型: FlinkServer管理员权限:是最高权限,具有FlinkServer所有应用的业务操作权限。
系统提供以下连接器,用于配置不同类型数据源的连接参数: generic-jdbc-connector:关系型数据库连接器。 ftp-connector:FTP数据源连接器。 hdfs-connector:HDFS数据源连接器。
配置FlinkServer UDF安全沙箱 本章节适用于MRS 3.3.1及以后版本。 用户可以根据作业需要,通过Flink Web UI界面上传UDF、依赖等第三方Jar包,并在SQL作业校验、运行作业时调用相关依赖。为了确保上传的Jar是安全的,Flink默认开启了沙箱功能,可参考为指定