检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
上传MySQL数据库连接驱动 操作场景 Loader作为批量数据导出的组件,可以通过关系型数据库导入、导出数据。在连接关系型数据库前,需提前手动上传驱动。 操作步骤 修改关系型数据库对应的驱动jar包文件权限。 登录Loader服务的主备管理节点,获取关系型数据库对应的驱动jar
节点在相同的VPC,且Master节点可以访问转储服务器的IP地址和指定端口。转储服务器的FTP服务正常。 Manager支持采集当前管理的集群内所有监控指标数据,采集周期有30秒、60秒和300秒三种。监控指标数据在FTP服务器保存时,会根据采集周期分别保存在不同的监控文件中。
重置MRS集群组件数据库用户密码 MRS集群中组件连接DBService数据库的用户默认密码为随机密码,建议管理员定期重置组件数据库用户的密码,以提升系统运维安全性。 该章节仅适用于MRS 3.1.2及之后版本。MRS 3.1.2之前版本请参考修改MRS集群组件数据库用户密码章节。 对系统的影响
sight Manager系统的监控指标。 可能原因 无法连接服务器。 无法访问服务器上保存路径。 上传监控指标文件失败。 处理步骤 查看服务器连接是否正常。 查看FusionInsight Manager系统与服务器网络连接是否正常。 是,执行3。 否,执行2。 联系网络管理员恢复网络连接,然后检查告警是否恢复。
调整Yarn资源分配 HetuEngine依赖Yarn服务提供的资源分配、控制等能力,需要根据实际业务和集群的服务器配置情况调整Yarn服务配置,以获得最佳的性能效果。 登录FusionInsight Manager页面。 选择“集群 > 服务 > Yarn > 配置 > 全部配置“,参考表1配置Yarn服务参数。
修改MRS集群组件数据库用户密码(MRS 2.x及之前版本) 在MRS Manager单击“服务管理”,单击待修改数据库用户服务的名称。 确定修改哪个组件数据库用户密码。 修改DBService数据库用户密码,直接执行3。 修改Hive或者Hue或者Loader数据库用户密码,需要先单击“停止服务”,停止服务后再执行3。
角色名 产生告警的角色名称。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 数据库进入只读模式,业务数据丢失。 数据库进入只读模式,上层服务写业务操作相关数据丢失。 可能原因 磁盘配置无法满足业务需求,磁盘使用率达到上限。 处理步骤 检查磁盘使用率是否达到上限
业务隔离设计-各业务分库设计 在业务规划时,不同业务归属于不同数据库,便于后续对应用户关联的数据库下表、视图等数据库对象权限的分离管理和维护。 业务隔离设计-不要在system库中创建业务表 system数据库是ClickHouse默认的系统数据库,默认数据库中的系统表记录的是系统的配置、元数据等的信息数据。
访问“Metastore Manager”,在“Databases”选择一个数据库,页面显示数据库中所有的表。 默认数据库为“default”。 单击数据库中的表名称,打开表的详细信息。 支持导入数据、浏览数据或查看文件存储位置。查看数据库所有的表时,可以直接勾选表然后执行查看、浏览数据操作。 H
典型场景:从关系型数据库导入数据到Hive 操作场景 该任务指导用户使用Loader将数据从关系型数据库导入到Hive。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的Hive表。 获取关系型数据库使用的用户和密码。 检查磁盘
准备MySQL数据库连接的驱动 操作场景 Loader作为批量数据导出的组件,可以通过关系型数据库导入、导出数据。 前提条件 已准备业务数据。 操作步骤 MRS 3.x之前版本: 从MySQL官网下载MySQL jdbc驱动程序“mysql-connector-java-5.1.21
典型场景:从关系型数据库导入数据到HBase 操作场景 该任务指导用户使用Loader将数据从关系型数据库导入到HBase。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HBase表或phoenix表。 获取关系型数据库使用的用户和密码。
典型场景:从HBase导出数据到关系型数据库 操作场景 该任务指导用户使用Loader将数据从HBase导出到关系型数据库。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HBase表或phoenix表。 获取关系型数据库使用的用户和密码。 检查磁
使用Loader从关系型数据库导入数据到Hive 操作场景 该任务指导用户使用Loader将数据从关系型数据库导入到Hive。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的Hive表。 获取关系型数据库使用的用户和密码。 检查磁盘
修改MRS集群数据库用户密码 修改OMS数据库管理员密码 修改OMS数据库访问用户密码 修改MRS集群组件数据库用户密码 重置MRS集群组件数据库用户密码 重置DBService数据库omm用户密码 修改DBService数据库compdbuser用户密码 父主题: MRS集群安全配置
max_memory_usage_for_all_queries 单台服务器上所有查询的内存使用量,默认没有限制。建议根据机器的总内存,预留一部分空间,防止内存不够导致服务或者机器异常。 0 机器总内存的80% 否 max_memory_usage 单个查询在单台服务器的能使用的最大内存。 10G 50GB 否(新版本可通过多租户方式配置)
的规格。 MRS支持的弹性云服务器(ECS)和裸金属服务器(BMS)混合部署,部署方式如下: Master、Core和Task节点均使用ECS部署。 Master、Core使用BMS部署,Task使用ECS部署。 Master、Core节点任意使用ECS和BMS混合部署,Task节点使用ECS部署。
典型场景:从关系型数据库导入数据到HDFS/OBS 操作场景 该任务指导用户使用Loader将数据从关系型数据库导入到HDFS/OBS。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 获取关系型数据库使用的用户和密码。
问题,取消表的任意权限,系统不会自动取消数据库目录的HDFS权限,但对应的用户只能登录数据库和查看表名。 若为角色添加或删除数据库的查询权限,数据库中的表也将自动添加或删除查询权限。此机制为Hive实现,SparkSQL与Hive保持一致。 Spark不支持struct数据类型中
使用Loader从关系型数据库导入数据到HBase 操作场景 该任务指导用户使用Loader将数据从关系型数据库导入到HBase。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HBase表或phoenix表。 获取关系型数据库使用的用户和密码。