检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Client.tar”,本章节以“FusionInsight_Cluster_1_Flume_Client.tar”为例进行描述。 上传软件包。以user用户将软件包上传到将要安装Flume服务客户端的节点目录上,例如“/opt/client” user用户为安装和运行Flume客户端的用户。
切换到客户端安装目录并配置环境变量: cd 客户端安装目录 source bigdata_env 如果集群已启用Kerberos认证(安全模式),需执行以下命令进行安全认证,如果集群未启用Kerberos认证(普通模式)请跳过该步骤。 kinit 组件业务用户 执行以下命令查看ENABLED表的CLOSED状态的Region:
在未安装HBase的环境,要执行Hive on Spark任务,可以按如下操作处理。如果是从已有HBase低版本环境升级上来的,升级完成之后可不进行设置。 操作步骤 登录FusionInsight Manager 。 选择“集群 > 待操作集群的名称 > 服务 > Hive > 配置 >
在未安装HBase的环境,要执行Hive on Spark任务,可以按如下操作处理。如果是从已有HBase低版本环境升级上来的,升级完成之后可不进行设置。 操作步骤 登录FusionInsight Manager 。 选择“集群 > 服务 > Hive > 配置 > 全部配置”。 选择“HiveServer(角色)
Manager 优化补丁机制 解决executor内存溢出问题 解决executor作业状态不一致问题 优化executor日志打印 MRS大数据组件 增加Hbase region处在RIT状态的时长超过阈值的告警 解决presto日志回滚问题 补丁兼容关系 无。 安装补丁的影响 安装MRS
在指定作业调度行的“权限”列,勾选“编辑”。 除了“管理员”权限,以上权限只针对存量的资源信息进行权限配置。 未设置以上角色的用户也可以创建任务、分组、连接器,但是无法对存量的资源进行操作。 单击“确定”完成,返回“角色”。 父主题: 使用Loader
在指定作业调度行的“权限”列,勾选“编辑”。 除了“管理员”权限,以上权限只针对存量的资源信息进行权限配置。 未设置以上角色的用户也可以创建任务、分组、连接器,但是无法对存量的资源进行操作。 单击“确定”完成,返回“角色”。 父主题: Loader用户权限管理
WebUI”后的链接,进入HSConsole界面。 单击“自动化任务”进入任务查询页面,用户可根据任务的“任务类型”、“状态”、“附加信息”、“起止时间”进行搜索,支持模糊搜索。 搜索条件 描述 任务类型 ALL:所有类型 Refresh of materialized view:刷新物化视图 Recommendation
myservercert -file ca.crt -keystore truststore.jks 执行该命令后需输入一个自定义密码。 将生成的“truststore.jks”文件复制到“客户端安装目录/IoTDB/iotdb/conf”目录下: cp truststore.jks
nager.web.allow-access-address”中是否已经添加浏览器所在的计算机IP地址。如果没有添加,可以通过这两项配置项进行添加。例如: jobmanager.web.access-control-allow-origin: 浏览器所在的计算机IP地址 jobmanager
property 如果加密参数是用于Flume Server,那么需要到相应的Flume Server所在节点执行加密。需要使用omm用户执行加密脚本进行加密。 针对MRS 3.x之前版本加密路径为“/opt/Bigdata/MRS_XXX/install/FusionInsight-Flu
nager.web.allow-access-address”中是否已经添加浏览器所在的计算机IP地址。如果没有添加,可以通过这两项配置项进行添加。例如: jobmanager.web.access-control-allow-origin: 浏览器所在的计算机IP地址 jobmanager
nager.web.allow-access-address”中是否已经添加浏览器所在的计算机IP地址。如果没有添加,可以通过这两项配置项进行添加。例如: jobmanager.web.access-control-allow-origin: 浏览器所在的计算机IP地址 jobmanager
nager.web.allow-access-address”中是否已经添加浏览器所在的计算机IP地址。如果没有添加,可以通过这两项配置项进行添加。例如: jobmanager.web.access-control-allow-origin: 浏览器所在的计算机IP地址 jobmanager
正常上线,且Manager实例健康检查自动恢复重试存在重试次数限制,最终导致meta表上线失败。因此,HDFS退出安全模式后,需要手动介入进行恢复。 处理步骤 确认HDFS已解决相关异常问题,退出安全模式。 登录FusionInsight Manager页面,选择“集群 > 服务
右侧“操作”列中选择“更多 >下载认证凭据”下载,保存后解压得到用户的user.keytab文件与krb5.conf文件,用于在样例工程中进行安全认证,如图1所示。 图1 下载认证凭据 父主题: 准备HDFS应用开发环境
当前服务器面临的主要安全风险。 约束与限制 MRS集群的节点的操作系统版本需在HSS的Agent支撑的操作系统列表范围内,才可以安装HSS进行防护。 操作步骤 确认MRS集群的节点镜像的操作系统版本是否在主机安全服务的Agent支撑的操作系统列表范围内。 登录MRS管理控制台。
/opt/Bigdata/om-server*/OMS/workspace0/ha/module/hacom/script/get_harole.sh 现有集群节点安装补丁 将“MRS_Log4j_Patch.tar.gz”上传至主OMS节点的“/home/omm”目录下。具体可参考如何上传本地文件到集群内节点?。
预留的资源也不能给别的租户资源使用。取值可以是父租户资源的百分比或绝对值。 存储资源 为当前租户选择存储资源。 选择“HDFS”时,系统将分配存储资源。 不选择“HDFS”时,系统不会分配存储资源。 文件\目录数上限 配置文件和目录数量配额。 存储空间配额 配置当前租户使用的HDFS存储空间配额。
a示例工程。 在Impala示例工程根目录impala-examples-normal文件夹下,打开cmd窗口,执行mvn install进行编译。 在Impala示例工程根目录impala-examples-normal文件夹下,打开cmd窗口,执行mvn idea:idea创建IntelliJ