检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
6及以后版本,用户对于getAcl操作需要有读权限。 前提条件 已安装ZooKeeper客户端。例如安装目录为“/opt/client”。 已获取MRS集群管理员用户和密码。 操作步骤 启动ZooKeeper客户端 以root用户登录安装了ZooKeeper客户端的服务器。 进入客户端安装目录。 cd /opt/client
单击“保存配置”,并在确认对话框中单击“是”。 等待界面提示“操作成功”,单击“完成”,配置已修改。 查看集群是否存在配置过期的服务,如果存在,需重启对应服务或角色实例使配置生效。也可在保存配置时直接勾选“重新启动受影响的服务或实例。”。 MRS 3.x之前的版本,服务配置参数均支持登录MRS
Presto如何配置其他数据源? MRS 1.9.3 Ranger证书如何更新? MRS的Storm集群提交任务时如何指定日志路径? 如何检查Yarn的ResourceManager配置是否正常? 如何修改Clickhouse服务的allow_drop_detached配置项? Cli
Spark常用配置参数 概述 本节介绍Spark使用过程中的常用配置项。以特性为基础划分子章节,以便用户快速搜索到相应的配置项。如果用户使用MRS集群,本节介绍的参数大部分已经适配好,用户无需再进行配置。少数需要用户根据实际场景配置的参数,请参见快速配置Spark参数。 配置Stage失败重试次数
退订MRS集群后在ECS中退订弹性云服务器时报异常如何处理? 问: 退订MRS集群后,在ECS中退订弹性云服务器时报异常如何处理? 答: 在使用的MRS集群中查询该弹性云服务器的ID确认没有使用。 在ECS控制台上找到需要退订的服务器单击“MRS使用中”将机器进行解锁。 再次单击“退订”。
如果是通过HTTP请求访问,端口填写“8123”。 后端服务器配置安全组。 配置完成后,在“监听器”界面的“后端服务器组”页签下,对应的后端服务器显示“健康检查结果”状态为“异常”。 解决如上问题需要在ClickHouse后端服务器对应的安全组下放通“100.125.0.0/16”网段,具体操作如下:
删除。 若“数据连接”页面没有关联连接,单击“配置数据连接”进行增加。 一种模块类型只能配置一个数据连接,如在Hive元数据上配置了数据连接后,不能再配置其他的数据连接。当没有可用的模块类型时,“配置数据连接”按钮不可用。 表2 配置Hive数据连接 参数 说明 组件名称 Hive
备管理节点上配置定时备份。 执行以下命令,切换目录。 cd ${BIGDATA_HOME}/om-server/om/sbin 执行以下命令,配置定时备份Manager告警、审计或者服务审计信息。 ./setNorthBound.sh -t 信息类型 -i 远程服务器IP -p 服务器使用的SFTP或FTP端口
给集群配置有OBS访问权限的委托 请参考配置MRS集群通过IAM委托对接OBS配置OBS访问权限的委托。 配置的委托对该集群上所有用户(包括内置用户)及用户组生效,如需对集群上的用户及用户组访问OBS的权限进行控制请继续执行后续步骤。 配置OBS路径权限时,如果配置了写权限,
conf”中的“spark.driver.memory”配置项或者“spark-env.sh”中的“SPARK_DRIVER_MEMORY”配置项设置为合适大小。 在使用spark-submit命令时,添加“--driver-memory MEM”参数设置内存。 配置Executor个数。 每个Exe
配置MRS租户 添加MRS租户 添加MRS子租户 为MRS集群用户绑定租户 添加MRS租户资源池 配置资源池的队列容量策略 配置MRS租户队列 父主题: 管理MRS集群租户
用户指南 > 弹性公网IP > 为弹性云服务器申请和绑定弹性公网IP”。 记录公网IP和私网IP的对应关系将hosts文件中的私网IP改为对应的公网IP。 图1 配置hosts文件 将krb5.conf文件中的IP地址修改为对应IP的主机名称。 配置集群安全组规则。 在集群“概览”界面,选择“添加安全组规则
具体操作请参见“虚拟私有云 > 用户指南 > 弹性公网IP > 为弹性云服务器申请和绑定弹性公网IP”。 记录公网IP和私网IP的对应关系将hosts文件中的私网IP改为对应的公网IP。 图1 配置hosts文件 配置集群安全组规则。 在集群“概览”界面,选择“添加安全组规则 > 管理安全组规则”。
g”,获取表1中相关配置文件。 表1 配置文件 文件名称 作用 hiveclient.properties Hive客户端连接相关配置参数。 core-site.xml Hadoop客户端相关配置参数。 复制解压目录下的“hosts”文件中的内容到本地hosts文件中。 在应用开
warehouse.dir配置 保存并重启Hive服务。 (可选)安装客户端,具体请参考安装MRS集群客户端。如果集群已安装客户端请执行4。 更新客户端配置文件。 执行以下命令修改客户端Hive配置文件目录下的“hivemetastore-site.xml”。 vim 客户端安装目录/Hive
配置MemArtsCC常用参数 参数入口 请参考修改集群服务配置参数进入MemArtsCC服务配置页面。 参数说明 表1 MemArtsCC参数说明 参数 参数说明 默认值 access_token_enable Aceess token认证的开关。 开启后,SDK通过worke
根据本地历史数据备份策略,集群的审计日志需要转储到第三方服务器上。系统每天凌晨3点开始周期性检测转储服务器,如果转储服务器满足配置条件,审计日志可以成功转储。审计日志转储失败,系统产生此告警。如果第三方服务器的转储目录磁盘空间不足,或者用户修改了转储服务器的用户名、密码或转储目录,将会导致审计日志转储失败。
warehouse.dir配置 保存配置,然后单击“集群 > 服务”,在服务列表中重启Hive服务。 更新客户端配置文件。 登录Hive客户端所在的节点,执行以下命令修改Hive客户端配置文件目录下的“hivemetastore-site.xml”。 vi 客户端安装目录/Hive/co
MapReduce > 配置 > 全部配置”,在左侧的导航列表中选择“Mapreduce > 自定义”。在自定义配置项中,给参数文件“core-site.xml”添加配置项“mapreduce.jobhistory.always-scan-user-dir”,设置值为“true”。 保存配置,并重启Mapreduce服务。
所需的配置文件还需参考准备ThriftServer实例配置文件获取。 检查客户端节点网络连接。 在安装客户端过程中,系统会自动配置客户端节点“hosts”文件,建议检查“/etc/hosts”文件内是否包含集群内节点的主机名信息,如未包含,需要手动复制解压目录下的“hosts”文