检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
需要在maven工程中添加hive-exec-3.1.1的依赖，可从Hive服务安装目录下获取。 （可选）若用户存在Hive UDF依赖的配置文件，建议将其作为资源文件放在resources目录下，即可打包到Hive UDF函数包中。
执行以下命令切换用户： sudo su - root su - omm 进入“${DBSERVER_HOME}”目录，执行以下命令获取DBservice的数据目录。
Hive ORC数据存储优化 操作场景 “ORC”是一种高效的列存储格式，在压缩比和读取效率上优于其他文件格式。 建议使用“ORC”作为Hive表默认的存储格式。 前提条件 已登录Hive客户端，具体操作请参见Hive客户端使用实践。
ClickHouse数据导入 配置ClickHouse对接RDS MySQL数据库 配置ClickHouse对接OBS源文件 同步Kafka数据至ClickHouse 导入DWS表数据至ClickHouse ClickHouse数据导入导出 父主题： 使用ClickHouse
spark.shuffle.service.port Shuffle服务监听数据获取请求的端口。可选配置，默认值为“7337”。
SSH私钥：使用SSH私钥登录。 免密：选择该方式，用户需要具有免密登录节点的功能。 登录用户密码 xxx “登录方式”选择“密码”时，需要配置该参数。 配置为登录用户的密码。 SSH私钥 - “登录方式”选择“SSH私钥”时，需要配置该参数。
可以参考MRS样例工程自带的pom.xml文件：通过开源镜像站获取样例工程。 打印依赖树方式： 在pom.xml文件同目录下执行命令：mvn dependency:tree 父主题： Spark应用开发常见问题
可以参考MRS样例工程自带的pom.xml文件：获取MRS应用开发样例工程。 打印依赖树方式： 在pom.xml文件同目录下执行命令：mvn dependency:tree 父主题： Spark应用开发常见问题
LDAP用户pg_search_dn的密码为系统随机生成，具体可在主节点的“/etc/sssd/sssd.conf”或“/etc/ldap.conf”文件中获取。
表1 参数含义 参数 含义 name FS活动的名称 delete 删除指定的文件和目录的标签 move 将文件从源目录移动到目标目录的标签 chmod 修改文件或目录权限的标签 path 当前文件路径 source 源文件路径 target 目标文件路径 permissions
表1 参数含义 参数 含义 name FS活动的名称 delete 删除指定的文件和目录的标签 move 将文件从源目录移动到目标目录的标签 chmod 修改文件或目录权限的标签 path 当前文件路径 source 源文件路径 target 目标文件路径 permissions
获取方法，请参见获取项目ID。 约束限制： 不涉及 取值范围： 只能由英文字母和数字组成，且长度为[1-64]个字符。 默认取值： 不涉及 cluster_id 是 String 参数解释： 集群ID。如果指定集群ID，则获取该集群做过补丁更新的最新版本元数据。
对数据加载到HBase可靠性要求不高，不需要生成WAL文件。 使用put加载大量数据到HBase速度变慢，且查询速度变慢时。 加载到HBase新生成的单个HFile文件大小接近HDFS block大小。
使用distcp命令拷贝空文件夹报错 问题背景与现象 通过MRS客户端使用以下distcp命令，无法从HDFS复制空文件夹到OBS。
向MRS集群管理员获取密码。 执行hdfs dfs -rm -r 文件或目录路径命令，确认删除无用的文件。 检查本告警是否恢复。 是，处理完毕。 否，执行4。 查看DataNode JVM内存使用情况和当前配置。
为了实现数据的实时容灾，可以把本HBase集群中的数据备份到另一个集群。支持HBase表普通写数据与Bulkload批量写数据场景下的容灾。 本章节适用于MRS 3.x及之后版本。 前提条件 主备集群都已经安装并启动成功，且获取集群的管理员权限。
用户还可以将上述数据直接写成本地（或位于HDFS上）的TsFile文件。 用户可以将TsFile文件写入到HDFS上，进而满足Hadoop、Flink等数据处理任务的访问。
使用Spark/Spark2x Spark使用说明 Spark用户权限管理 Spark客户端使用实践 访问Spark WebUI界面 使用代理用户提交Spark作业 配置Spark读取HBase表数据 配置Spark任务不获取HBase Token信息 Spark Core企业级能力增强
未知 无法获取当前配置状态。 父主题： 管理MRS集群组件
以数据源的方式操作HBase，将上面生成的RDD写入HBase表中。 读取HBase表中的数据，并且对其进行简单的操作。 运行前置操作 安全模式下Spark Core样例代码需要读取两个文件（user.keytab、krb5.conf）。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
