检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Hive分区元数据冷热存储 分区元数据冷热存储介绍 为了减轻集群元数据库压力，将长时间未使用过的指定范围的分区相关元数据移动到备份表，这一过程称为分区数据冻结，冻结的分区数据称为冷分区，未冻结的分区称为热分区，存在冷分区的表称为冻结表。将被冻结的数据重新移回原元数据表中，这一过程称为分区数据解冻。
my.cnf [mysqld] server_id=1 log-bin=master binlog_format=row Maxwell需要连接MySQL，并创建一个名称为maxwell的数据库存储元数据，且需要能访问需要同步的数据库，所以建议新创建一个MySQL用户专门用来给M
3/loader-backup 执行以下命令，运行备份脚本“run.sh”，进行Loader作业数据备份。系统将数据备份到作业的输出路径同一层目录。 ./run.sh 备份数据的输入目录 例如，备份数据的输入目录为“/user/hbase/”，作业的输出路径为/opt/client/sft
同分布（Colocation）功能是将存在关联关系的数据或可能要进行关联操作的数据存储在相同的存储节点上。HDFS文件同分布的特性是将那些需进行关联操作的文件存放在相同的数据节点上，在进行关联操作计算时，避免了到别的数据节点上获取数据的动作，降低了网络带宽的占用。 Client HDFS Client主要包括五种方式：JAVA
MERGE INTO： 目标表。 USING： 源表查询语句。 ON：源表和目标表匹配的条件。 WHEN： 数据更新条件。 insert into ... select ...;语法中不支持可空字段类型的数据插入到非空字段类型。 使用示例 向表中插入数据： INSERT INTO prod
置可以设置每台机器上运行的worker数量。端口的取值范围是1024到65535，不同端口使用逗号分隔。 6700,6701,6702,6703 WORKER_GC_OPTS supervisor启动worker时使用的jvm选项。需要根据业务中对内存等的使用来进行设置，例如是简
查询历史”，打开备份任务执行历史记录。 在弹出的窗口中，在指定一次执行成功记录的“备份路径”列，单击“查看”，打开此次任务执行的备份路径信息，查找以下信息： “备份对象”表示备份的数据源。 “备份路径”表示备份文件保存的完整路径。 选择正确的项目，在“备份路径”手工选中备份文件的完整路径并复制。
语句中添加--columns绑定对应字段。 sqoop export --connect jdbc:mysql://数据库IP地址:端口号/数据库名 --username 数据库用户名 --password 密码 --table 表名 --columns 列字段（多个列用英文逗号分开）
是，执行9。 否，执行13。 查看备份目录下是否有备份包，且份目录挂载节点剩余空间小于20GB。 是，执行10。 否，执行13。 将备份包移出备份目录，或者删除备份包，直到备份目录挂载节点剩余空间大于20GB。 再一次启动该备份任务，查看备份任务是否执行成功。 是，执行12。 否，执行13。
集群本地数据库中。 当“使用外部数据源存储元数据”开启时，选择数据连接类型为“RDS服务MySQL数据库”，数据连接实例选择已创建的数据连接实例，或单击“创建数据连接”新创建一个数据连接。 图2 使用RDS服务MySQL数据库 当用户选择的数据连接为“RDS服务MySQL数据库”
修改MRS集群数据库用户密码 修改OMS数据库管理员密码 修改OMS数据库访问用户密码 修改MRS集群组件数据库用户密码 重置MRS集群组件数据库用户密码 重置DBService数据库omm用户密码 修改DBService数据库compdbuser用户密码 父主题： MRS集群安全配置
修改OMS数据库管理员密码 建议管理员定期修改OMS数据库管理员的密码，以提升系统运维安全性。 使用root用户登录主管理节点。 ommdba用户密码不支持在备管理节点修改，否则集群无法正常工作。只需在主管理节点执行修改操作，无需在备管理节点操作。 执行以下命令，切换用户。 sudo
Hue常用配置参数 参数入口 参数入口，请参考修改集群服务配置参数进入Hue服务“全部配置”页面。 参数说明 Hue常用参数请参见表1。 表1 Hue常用参数 配置参数 说明 缺省值 范围 HANDLER_ACCESSLOG_LEVEL Hue的访问日志级别。 DEBUG ERROR
常用API介绍 HDFS Java API接口介绍 HDFS C API接口介绍 HDFS HTTP REST API接口介绍 父主题： HDFS应用开发常见问题
tar.gz的文件名格式，压缩保存在主管理节点“/var/log/Bigdata/audit/bk/”，同时备管理节点会同步保存一个相同的副本。 默认情况下，OMS备份的文件最大保留个数为90，该任务指导系统管理员配置此最大保留个数。 本章节操作仅支持MRS 3.x及之后的版本。 以omm用户登录主管理节点。
ALTER TABLE修改表结构 本章节主要介绍ClickHouse修改表结构的SQL基本语法和使用说明。 基本语法 ALTER TABLE [database_name].name [ON CLUSTER cluster] ADD|DROP|CLEAR|COMMENT|MODIFY
Hue常用配置参数 参数入口 参数入口，请参考修改集群服务配置参数进入Hue服务“全部配置”页面。 参数说明 Hue常用参数请参见表1。 表1 Hue常用参数 配置参数 说明 缺省值 范围 HANDLER_ACCESSLOG_LEVEL Hue的访问日志级别。 DEBUG ERROR
出数据的大小。 如果设置的作业需要使用指定YARN队列功能，该用户需要已授权有相关YARN队列的权限。 设置任务的用户需要获取该任务的执行权限，并获取该任务对应的连接的使用权限。 操作前需要进行如下配置： 获取关系型数据库对应的驱动jar包保存在Loader服务主备节点的lib路
出数据的大小。 如果设置的作业需要使用指定YARN队列功能，该用户需要已授权有相关YARN队列的权限。 设置任务的用户需要获取该任务的执行权限，并获取该任务对应的连接的使用权限。 操作前需要进行如下配置： 获取关系型数据库对应的驱动jar包保存在Loader服务主备节点的lib路
table update/delete）任务的多少。queue队列中的mutation任务优先级最低（同一个表上的mutation任务是串行执行的），能并行执行多少个delete任务直接受merge任务执行情况的影响。 表中part个数也决定了轻量化删除的性能，part越多，删除越慢。 Wide
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
