检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
根据本地历史数据备份策略,集群的审计日志需要转储到第三方服务器上。系统每天凌晨3点开始周期性检测转储服务器,如果转储服务器满足配置条件,审计日志可以成功转储。审计日志转储失败,系统产生此告警。如果第三方服务器的转储目录磁盘空间不足,或者用户修改了转储服务器的用户名、密码或转储目录,将会导致审计日志转储失败。
存在于转储服务器,本地审计日志可能丢失。 可能原因 网络连接异常。 转储服务器的用户名、密码或转储目录等不满足配置条件。 转储目录的磁盘空间不足。 处理步骤 检查用户名、密码和转储目录是否正确。 在MRS Manager查看转储配置页面中当前的第三方服务器用户名、密码和转储目录是否正确。
mysql-connector-java-*.jar 步骤二:在自建数据库中建表及赋权 在自建数据库中创建用户、元数据库,并为用户赋予该库的所有权限。例如: 以数据库管理员用户在Postgres中执行以下命令创建数据库“test”和用户“testuser”,并授予“test”数据库的所有权限给“testuser”用户。
快速创建和使用ClickHouse列式数据库集群 操作场景 本入门提供从零开始创建ClickHouse集群并通过集群客户端进行ClickHouse表的创建与查询操作指导。 ClickHouse是一款开源的面向联机分析处理的列式数据库,独立于Hadoop大数据体系,具有压缩率和极速查询性能。 操作流程
sight Manager系统的监控指标。 可能原因 无法连接服务器。 无法访问服务器上保存路径。 上传监控指标文件失败。 处理步骤 查看服务器连接是否正常。 查看FusionInsight Manager系统与服务器网络连接是否正常。 是,执行3。 否,执行2。 联系网络管理员恢复网络连接,然后检查告警是否恢复。
上传MySQL数据库连接驱动 操作场景 Loader作为批量数据导出的组件,可以通过关系型数据库导入、导出数据。在连接关系型数据库前,需提前手动上传驱动。 操作步骤 修改关系型数据库对应的驱动jar包文件权限。 登录Loader服务的主备管理节点,获取关系型数据库对应的驱动jar
典型场景:从关系型数据库导入数据到HBase 操作场景 该任务指导用户使用Loader将数据从关系型数据库导入到HBase。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HBase表或phoenix表。 获取关系型数据库使用的用户和密码。
节点在相同的VPC,且Master节点可以访问转储服务器的IP地址和指定端口。转储服务器的FTP服务正常。 Manager支持采集当前管理的集群内所有监控指标数据,采集周期有30秒、60秒和300秒三种。监控指标数据在FTP服务器保存时,会根据采集周期分别保存在不同的监控文件中。
调整Yarn资源分配 HetuEngine依赖Yarn服务提供的资源分配、控制等能力,需要根据实际业务和集群的服务器配置情况调整Yarn服务配置,以获得最佳的性能效果。 登录FusionInsight Manager页面。 选择“集群 > 服务 > Yarn > 配置 > 全部配置“,参考表1配置Yarn服务参数。
典型场景:从关系型数据库导入数据到Hive 操作场景 该任务指导用户使用Loader将数据从关系型数据库导入到Hive。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的Hive表。 获取关系型数据库使用的用户和密码。 检查磁盘
访问“Metastore Manager”,在“Databases”选择一个数据库,页面显示数据库中所有的表。 默认数据库为“default”。 单击数据库中的表名称,打开表的详细信息。 支持导入数据、浏览数据或查看文件存储位置。查看数据库所有的表时,可以直接勾选表然后执行查看、浏览数据操作。 H
准备MySQL数据库连接的驱动 操作场景 Loader作为批量数据导出的组件,可以通过关系型数据库导入、导出数据。 前提条件 已准备业务数据。 操作步骤 MRS 3.x之前版本: 从MySQL官网下载MySQL jdbc驱动程序“mysql-connector-java-5.1.21
典型场景:从HDFS/OBS导出数据到关系型数据库 操作场景 该任务指导用户使用Loader将数据从HDFS/OBS导出到关系型数据库。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 获取关系型数据库使用的用户和密码。 检查磁
ClickHouse数据查询 数据查询规则 禁止select *查询 只查询需要的字段可以减少磁盘io和网络io,提升查询性能。 使用uniqCombined替代distinct uniqCombined对去重逻辑进行了优化,通过近似去重提升十倍查询性能,如果对查询允许有误差,可
存后至当前的审计日志内容。 配置审计日志转储至SFTP服务器(MRS 3.x及之后版本) Manager的审计日志默认保存在数据库中,如果长期保留可能引起数据目录的磁盘空间不足问题,管理员如果需要将审计日志保存到其他归档服务器,可以在FusionInsight Manager设置
使用Loader从关系型数据库导入数据到HBase 操作场景 该任务指导用户使用Loader将数据从关系型数据库导入到HBase。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HBase表或phoenix表。 获取关系型数据库使用的用户和密码。
在实例“首页”即可单击“新建数据库”创建新的数据库。 如果没有创建新的数据库,会导致MRS配置数据连接失败。 图2 新建数据库 在页面顶部选择“账号管理 > 用户管理”。 对于MRS 3.x之前版本,当用户选择的数据连接为“RDS服务MySQL数据库”时,请确保使用的数据库用户为root用户
典型场景:从HBase导出数据到关系型数据库 操作场景 该任务指导用户使用Loader将数据从HBase导出到关系型数据库。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HBase表或phoenix表。 获取关系型数据库使用的用户和密码。 检查磁
问题,取消表的任意权限,系统不会自动取消数据库目录的HDFS权限,但对应的用户只能登录数据库和查看表名。 如果为角色添加或删除数据库的查询权限,数据库中的表也将自动添加或删除查询权限。此机制为Hive实现,SparkSQL与Hive保持一致。 Spark不支持struct数据类型
使用Loader从HBase导出数据到关系型数据库 操作场景 该任务指导用户使用Loader将数据从HBase导出到关系型数据库。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HBase表或phoenix表。 获取关系型数据库使用的用户和密码。 检查磁