检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Netty和Netty路由器库来处理REST请求和解析URL。 REST API接口的执行方式是通过HTTP请求进行。
使用Netty和Netty路由器库来处理REST请求和解析URL。 REST API接口的执行方式是通过HTTP请求进行。
表3 大数据组件信息 大数据组件 源端集群版本 目的端集群版本（以MRS集群版本为准） 说明 HDFS/OBS（或其他文件存储系统） Hadoop 2.8.3 Hadoop 3.3.1 - Hive 1.2.1 2.3.3 存储元数据的数据库：MySQL HBase 1.3.1 1.3.1
规划好恢复数据保存表的数据库，数据表在HDFS的保存位置，以及访问恢复数据的用户清单。 检查ClickHouse备份文件保存路径。 停止ClickHouse的上层应用。
DataFrame是一个由多个列组成的结构化的分布式数据集合，等同于关系数据库中的一张表，或者是R/Python中的data frame。DataFrame是Spark SQL中的最基本的概念，可以通过多种方式创建，例如结构化的数据集、Hive表、外部数据库或者是RDD。
DataFrame是一个由多个列组成的结构化的分布式数据集合，等同于关系数据库中的一张表，或者是R/Python中的data frame。DataFrame是Spark SQL中的最基本的概念，可以通过多种方式创建，例如结构化的数据集、Hive表、外部数据库或者是RDD。
解决CBG访问OBS概率性无权限问题 解决长时间使用客户端出现死锁问题 解决Yarn运行偶现RM主备切换问题 解决Spark SQL外表动态分区执行insert overwrite报错问题 解决周期清理任务清理.hive-staging时，查询数据库失败问题 解决NameNode
DataFrame是一个由多个列组成的结构化的分布式数据集合，等同于关系数据库中的一张表，或者是R/Python中的data frame。DataFrame是Spark SQL中的最基本的概念，可以通过多种方式创建，例如结构化的数据集、Hive表、外部数据库或者是RDD。
使用率超过阈值 ALM-12028 主机D状态和Z状态进程数超过阈值 ALM-12033 慢盘故障 ALM-12034 周期备份任务失败 ALM-12035 恢复任务失败后数据状态未知 ALM-12037 NTP服务器异常 ALM-12038 监控指标转储失败 ALM-12039 OMS数据库主备不同步
图1 Hive结构 Metastore：对表，列和Partition等的元数据进行读写及更新操作，其下层为关系型数据库。 Driver：管理HQL执行的生命周期并贯穿Hive任务整个执行期间。 Compiler：编译HQL并将其转化为一系列相互依赖的Map/Reduce任务。
根据实际需求指定业务用户名（集群未启用Kerberos认证（普通模式）使用root用户登录）： 指定业务用户名，则输入“yes”，并根据提示输入业务用户名和对应的业务用户密码： 不指定业务用户名，则输入“no”；此时，则使用1.d中的用户执行后续操作： 输入其他，则退出登录： 根据图1创建存储组/数据库（
database： 永久函数：配置要添加函数的数据库名称，例如：default。 临时函数：将“database”切换为“global”，并配置具体的函数名或设置为*。 table：切换为“udf”，并配置具体的函数名或设置为*。临时函数无需配置该参数。
如果使用Import/Export命令导入导出其他用户创建的表或分区，需要授予用户对应表的权限： 集群未启用Ranger鉴权，需登录FusionInsight Manager授予该用户所属角色对应表的“Select授权”权限，详细操作请参考配置Hive表、列或数据库的用户权限章节。
图16 Import Project 确认IDEA自动识别的依赖库以及建议的模块结构，默认即可，单击“Next”。 确认工程所用JDK，然后单击“Next”。 导入结束，单击“Finish”，IDEA主页显示导入的样例工程。
databaseName testdb 样例代码工程中需要创建的数据库名称，可以根据实际情况修改。 tableName testtb 样例代码工程中需要创建的表名称，可以根据实际情况修改。 batchRows 10000 一个批次写入数据的条数。
图16 Import Project 确认IDEA自动识别的依赖库以及建议的模块结构，默认即可，单击“Next”。 确认工程所用JDK，然后单击“Next”。 导入结束，单击“Finish”，IDEA主页显示导入的样例工程。
database： 永久函数：配置要添加函数的数据库名称，例如：default。 临时函数：将“database”切换为“global”，并配置具体的函数名或设置为*。 table：切换为“udf”，并配置具体的函数名或设置为*。临时函数无需配置该参数。
databaseName testdb 样例代码工程中需要创建的数据库名称，可以根据实际情况修改。 tableName testtb 样例代码工程中需要创建的表名称，可以根据实际情况修改。 batchRows 10000 一个批次写入数据的条数。
Spout Topology中产生源数据的组件，是Tuple的来源，通常可以从外部数据源（如消息队列、数据库、文件系统、TCP连接等）读取数据，然后转换为Topology内部的数据结构Tuple，由下一级组件处理。
8 物理CPU使用百分比 建议预留适量的CPU给操作系统和其他进程（数据库、HBase等）外，剩余的CPU核都分配给YARN。可以通过如下配置参数进行调整。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
