检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置HDFS冷热数据迁移 配置场景 冷热数据迁移工具根据配置的策略移动HDFS文件。配置策略是条件或非条件规则的集合。如果规则匹配文件集，则该工具将对该文件执行一组行为操作。 冷热数据迁移工具支持以下规则和行为。 迁移规则： 根据文件的最后访问时间迁移数据 根据年龄时间迁移数据（修改时间）
Sqoop是专为Apache Hadoop和结构化数据库（如关系型数据库）设计的高效传输大量数据的工具。客户需要在MRS中使用sqoop进行数据迁移，MRS旧版本中未自带Sqoop，客户可参考此文档自行安装使用。MRS 3.1.0及之后版本已支持创建集群时勾选Sqoop组件，请创建集群时勾选即可。
配置HDFS冷热数据迁移 配置场景 冷热数据迁移工具根据配置的策略移动HDFS文件。配置策略是条件或非条件规则的集合。如果规则匹配文件集，则该工具将对该文件执行一组行为操作。 冷热数据迁移工具支持以下规则和行为。 迁移规则： 根据文件的最后访问时间迁移数据 根据年龄时间迁移数据（修改时间）
通过数据治理中心DataArts Studio，用户可以先在线开发调试MRS HQL/SparkSQL脚本、拖拽式地开发MRS作业，完成MRS与其他20多种异构数据源之间的数据迁移和数据集成；通过强大的作业调度与灵活的监控告警，轻松管理数据作业运维。 目前MRS集群支持在线创建如下几种类型的作业： MapR
使用Loader从关系型数据库导入数据到HDFS/OBS 操作场景 该任务指导用户使用Loader将数据从关系型数据库导入到HDFS/OBS。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 获取关系型数据库使用的用户和密码。
Manager，选择 “运维 > 备份恢复 > 备份管理”。 在任务列表指定任务的“操作”列，选择“更多 > 查询历史”。 在弹出的窗口中，指定一次成功执行的“备份路径”，单击“查看”，打开此次任务执行的备份路径信息，查找以下信息： “备份对象”表示备份的数据源。 “备份路径”表示备份文件保存的完整路径。
配置Hive表、列或数据库的用户权限 操作场景 使用Hive表或者数据库时，如果用户访问别人创建的表或数据库，需要授予对应的权限。为了实现更严格权限控制，Hive也支持列级别的权限控制。如果要访问别人创建的表上某些列，需要授予列权限。以下介绍使用Manager角色管理功能在表授权、列授权和数据库授权三个场景下的操作。
ALM-16045 Hive数据仓库被删除 告警解释 系统每60秒周期性检测Hive数据仓库情况，Hive数据仓库被删除告警。 告警属性 告警ID 告警级别 是否自动清除 16045 紧急 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。
Manager，选择 “运维 > 备份恢复 > 备份管理”。 在任务列表指定任务的“操作”列，选择“更多 > 查询历史”。 在弹出的窗口中，指定一次成功执行的“备份路径”，单击“查看”，打开此次任务执行的备份路径信息，查找以下信息： “备份对象”表示备份的数据源。 “备份路径”表示备份文件保存的完整路径。
性扩展的场景下，用户将数据存储在OBS服务中，使用MRS集群仅作数据计算处理的存算分离模式，从而实现按需灵活扩展资源、低成本的海量数据分析方案。 大数据存算分离场景，请务必使用OBS并行文件系统（并行文件系统），使用普通对象桶会对集群性能产生较大影响。 当集群已对接了OBS（存算
ALM-12081 ommdba用户过期 告警解释 系统每天零点开始，每8小时检测当前系统中ommdba用户是否过期，如果用户过期，则发送告警。 当系统中ommdba用户过期的期限重置，当前状态为正常，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 12081 重要 是 告警参数
命令中如果携带认证密码信息可能存在安全风险，在执行命令前建议关闭系统的history命令记录功能，避免信息泄露。 创建指定数据库只读权限角色，有如下两种方案： 方案一： 创建指定数据库只读权限角色（以default数据库为例，下同）： create role ck_role on cluster default_cluster;
MRS集群元数据概述 MRS的数据连接用于管理集群中组件使用的外部源连接，如Hive的元数据可以通过数据连接关联使用外部的关系型数据库。 本地元数据：元数据存储于集群内自带的本地GaussDB中，当集群删除时元数据同时被删除，如需保存元数据，需提前前往数据库手动保存元数据。 外置
命令中如果携带认证密码信息可能存在安全风险，在执行命令前建议关闭系统的history命令记录功能，避免信息泄露。 创建指定数据库只读权限角色，有如下两种方案： 方案一： 创建指定数据库只读权限角色（以default数据库为例，下同）： create role ck_role on cluster default_cluster;
Hive on Hue Hue提供了Hive图形化管理功能，使用户可以通过界面的方式查询Hive的不同数据。 查询编辑器使用介绍 访问Hue WebUI，请参考访问Hue WebUI界面。 在左侧导航栏单击编辑器，然后选择“Hive”，进入“Hive”。 执行Hive HQL语句
手动备份Doris数据 Doris支持将当前数据以文件的形式，通过Broker备份到远端存储系统中，可实现将Doris数据定期进行快照备份及数据迁移操作。 该章节操作仅适用于MRS 3.3.1之前版本。 备份恢复相关的操作目前只允许拥有ADMIN权限的用户执行。 一个DataBa
添加HBase数据源 本章节指导用户在HSConsole界面添加HBase数据源。 添加HBase数据源前提条件 数据源所在集群域名与HetuEngine集群域名不能相同。 数据源所在集群与HetuEngine集群节点网络互通。 在HetuEngine所在集群的所有节点的“/et
HDFS的数据集上提供了插入更新和增量拉取的流原语。 商用 Hudi基本原理 Hudi快速入门 2 ClickHouse组件版本升级到21.3.4.25，支持数据重分布 ClickHouse节点扩容后，数据迁移可以使得ClickHouse集群内数据达到均衡。 商用 使用ClickHouse数据迁移工具 2021年03月
创建Doris数据库 本章节介绍创建Doris数据库样例代码。 以下代码片段在“JDBCExample”类中。 以Java JDBC方式执行SQL语句在集群中创建dbName变量对应的数据库。 String createDatabaseSql = "create database
指定，则字符串null将被使用。 -check-column (col) 增量导入参数，用来作为判断的列名，如id。 -incremental (mode) append 或lastmodified 增量导入参数。 append：追加，比如对大于last-value指定的值之后的记录进行追加导入。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
