检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive客户端执行SQL报错连接超时 现象描述 Hive客户端执行SQL失败，报错：Timed out waiting for a free available connection。 可能原因 DBService连接较多，获取连接超时。 操作步骤 客户端是否使用Spark-SQL
配置ClickHouse对接RDS MySQL数据库 ClickHouse面向OLAP场景提供高效的数据分析能力，支持通过MySQL等数据库引擎将远程数据库服务器中的表映射到ClickHouse集群中，后续可以在ClickHouse中进行数据分析。以下操作通过ClickHouse集群和
Spark跨源复杂数据的SQL查询优化 场景描述 出于管理和信息收集的需要，企业内部会存储海量数据，包括数目众多的各种数据库、数据仓库等，此时会面临以下困境：数据源种类繁多，数据集结构化混合，相关数据存放分散等，这就导致了跨源复杂查询因传输效率低，耗时长。 当前开源Spark在跨源查询时
Oozie调度HiveSQL作业报错处理 问题现象 MRS 3.x集群Oozie调度Hive作业任务失败，查看日志HiveSQL，实际上是运行成功的，但Yarn任务总体失败，报错如下： java.io.ioException:output.properties data exceeds
配置ClickHouse对接RDS MySQL数据库 ClickHouse面向OLAP场景提供高效的数据分析能力，支持通过MySQL等数据库引擎将远程数据库服务器中的表映射到ClickHouse集群中，后续可以在ClickHouse中进行数据分析。以下操作通过ClickHouse集群和
准备MySQL数据库连接的驱动 操作场景 Loader作为批量数据导出的组件，可以通过关系型数据库导入、导出数据。 前提条件 已准备业务数据。 操作步骤 MRS 3.x之前版本： 从MySQL官网下载MySQL jdbc驱动程序“mysql-connector-java-5.1.21
管理MRS集群作业 停止删除MRS集群作业 克隆MRS集群作业 配置MRS集群作业消息通知 父主题： 管理MRS集群
MRS管理控制台：用户可以通过MRS管理控制台的集群管理页面，进行集群概览查看、节点管理、组件管理、告警管理、文件管理、作业管理等操作。 MRS集群Manager：Manager是MRS的运维管理系统，为部署在集群内的服务提供统一的集群管理能力。
节点标签管理 标签是集群/节点的标识，为集群/节点添加标签，可以方便用户识别和管理拥有的集群/节点资源。
Flink Jar作业提交SQL样例程序开发思路 场景说明 当作业的SQL语句修改频繁时，可使用Flink Jar的方式提交Flink SQL语句，以减少用户工作量。 本场景适用于MRS 3.2.1及以后版本。 开发思路 使用当前样例提交并执行指定的SQL语句，多个语句之间使用分号分隔
执行SQL提交任务到指定队列时报错 问题现象 执行SQL提交任务到Yarn报如下错误： Failed to submit application_1475400939788_0033 to YARN : org.apache.hadoop.security.AccessControlException
多级嵌套子查询以及混合Join的SQL调优 操作场景 本章节介绍在多级嵌套以及混合Join SQL查询的调优建议。 前提条件 例如有一个复杂的查询样例如下： select s_name, count(1) as numwait from ( select s_name from (
启动从PgSQL中抓取数据到Hudi任务报错 现象描述 启动从PgSQL中抓取数据到Hudi任务报错：Record key is empty 可能原因 Hudi表主键参数“table.primarykey.mapping”未配置。 处理步骤 登录FusionInsight Manager
Spark SQL在不同DB都可以显示临时表 问题 切换数据库之后，为什么还能看到之前数据库的临时表？ 创建一个DataSource的临时表，例如以下建表语句。 create temporary table ds_parquet using org.apache.spark.sql.parquet
在Hue WebUI使用SparkSql编辑器 操作场景 用户需要使用图形化界面在集群中执行SparkSql语句时，可以通过Hue完成任务。 配置Spark2x 使用SparkSql编辑器之前需要先修改Spark2x配置。 进入Spark2x的全部配置页面，具体操作请参考修改集群服务配置参数
配置文件中包含认证密码信息可能存在安全风险，建议当前场景执行完毕后删除相关配置文件或加强安全管理。
管理MRS集群客户端 服务端配置过期后更新MRS集群客户端 查看已安装的MRS集群客户端 批量升级MRS集群客户端 父主题： 管理MRS集群
通过管理控制台重启集群 登录MRS管理控制台。 选择“现有集群”，单击集群名称进入集群详情页面。 在页面右上角选择“管理操作 > 滚动重启集群”。
多级嵌套子查询以及混合Join的SQL调优 操作场景 本章节介绍在多级嵌套以及混合Join SQL查询的调优建议。 前提条件 例如有一个复杂的查询样例如下： select s_name, count(1) as numwait from ( select s_name from (
父主题： 管理MRS集群
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
