检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
是,则可以重新提交Hive作业。 否,则检视上述步骤是否全部已执行完成。 是,请联系运维人员处理。 否,请等待执行完成后再提交Hive作业。 父主题: 作业管理类
ResourceManager(主)”,登录Yarn的原生页面进行查看。 具体的告警处理方法可查看该告警的联机帮助文档进行处理。 父主题: 集群管理类
test_cpy FORMAT CSV" < /opt/clickhouse/default_test.csv 父主题: ClickHouse运维管理
1:26014/jobhistory”。 默认值为空,表示不能从WebUI查看container聚合日志。 修改参数后,需重启服务使得配置生效。 - 父主题: Spark运维管理
MRS用户无法同步至Ranger管理界面 问题 在MRS Manager界面创建了一个账户,在Ranger管理界面无法查看到该用户,重启UserSync后,可以查看到该用户。 回答 需要修改UserSync进程的GC内存默认为“-Xms1G -Xmx1G”,需要根据业务实际情况调整该参数值:
3.x及之后版本。 前提条件 主备集群都已经安装并启动成功,且获取集群的管理员权限。 必须保证主备集群间的网络畅通和端口的使用。 如果主集群部署为安全模式且不由一个FusionInsight Manager管理,主备集群必须已配置跨集群互信。如果主集群部署为普通模式,不需要配置跨集群互信。
HBase容灾集群主备倒换 操作场景 当前环境HBase已经是容灾集群,因为某些原因,需要将主备集群互换,即备集群变成主集群,主集群变成备集群。 本章节适用于MRS 3.x及之后版本。 对系统的影响 主备集群互换后,原先主集群将不能再写入数据,原先备集群将变成主集群,接管上层业务。
acls.enable 配置是否开启spark权限管理。 如果开启,将会检查用户是否有权限访问和修改任务信息。 true spark.admin.acls 配置spark管理员列表,列表中成员有权限管理所有spark任务,此处可以配置多个管理员用户,使用“,”分隔。 admin spark
导出Manager用户列表 功能简介 通过访问Manager接口完成导出用户列表,导出用户列表需要依次调用导出和下载接口完成用户列表的导出。导出接口的输出为下载接口的输入。 代码样例 以下代码片段是导出用户列表的示例,在“rest”包的“ExportUsers”类的main方法中。
管理Loader算子的字段配置信息 操作场景 该任务指导用户在创建或编辑Loader作业时关联、导入或导出算子的字段配置信息。 关联操作 将输入算子的字段配置信息关联到输出算子中。 编辑操作 编辑算子配置参数中的字段信息。 导入操作 通过算子导出文件或算子模板文件将字段配置信息导入到算子中。
HBase容灾集群业务切换指导 操作场景 MRS集群管理员可配置HBase集群容灾功能,以提高系统可用性。容灾环境中的主集群完全故障影响HBase上层应用连接时,需要为HBase上层应用配置备集群信息,才可以使得该应用在备集群上运行。 对系统的影响 切换业务后,写入备集群的数据默
ark.sql.tungsten.enabled的值设置为true时,TungstenAggregate会开启。 父主题: Spark运维管理
删除(Delete) CREATE FUNCTION Hive管理员权限(Hive Admin Privilege) DROP FUNCTION Hive管理员权限(Hive Admin Privilege) ALTER DATABASE Hive管理员权限(Hive Admin Privilege)
不同参数间用空格隔开,可通过在参数名前添加@的方式防止参数信息被明文存储,例如: @password=XXXXXX进行使用。 父主题: 作业管理类
HBase容灾集群业务切换指导 操作场景 MRS集群管理员可配置HBase集群容灾功能,以提高系统可用性。容灾环境中的主集群完全故障影响HBase上层应用连接时,需要为HBase上层应用配置备集群信息,才可以使得该应用在备集群上运行。 本章节适用于MRS 3.x及之后版本。 对系统的影响
Manager样例程序开发思路 通过典型场景,可以快速学习和掌握Manage REST API的开发过程,并且对关键的函数有所了解。 场景说明 假定用户需要以非界面方式实现操作FusionInsight Manager系统,要求开发基于HTTP Basic认证的应用程序实现如下功能:
修改OMS数据库管理员密码 建议管理员定期修改OMS数据库管理员的密码,以提升系统运维安全性。 使用root用户登录主管理节点。 ommdba用户密码不支持在备管理节点修改,否则集群无法正常工作。只需在主管理节点执行修改操作,无需在备管理节点操作。 执行以下命令,切换用户。 sudo
通过IntelliJ IDEA运行结果查看应用程序运行情况,可通过配置文件“conf\log4j.properties”配置日志打印信息。 登录主管理节点查看系统日志“/var/log/Bigdata/tomcat/web.log”。 操作步骤 运行“UserManager”类,运行成功会有如下日志信息:
default_cluster modify TTL event_time + INTERVAL 30 day; 父主题: ClickHouse运维管理
”目录下的残留目录,用户自定义修改的目录不会清理。 HDFS中的“checkpoints”目录需用户手动删除,该特性不会删除。 父主题: 管理FlinkServer作业