检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
打开IntelliJ IDEA工具，选择“File > New > Project”，如图1所示。 图1 创建工程 在“New Project”页面选择“Java”，然后配置工程需要的JDK和其他Java库。如图2所示。配置完成后单击“Next”。 图2 配置工程所需SDK信息 在会话
UI上，会发现某些executors的GC时间明显比其他executors高，或者所有的executors都表现出高GC时间。 处理步骤 登录Manager页面，选择“集群 > 服务 > Spark2x > 配置 > 全部配置”，在搜索框搜索“spark.executor.memory”，通过参数“spark
MapReduce任务运行失败，ApplicationMaster出现物理内存溢出异常 MapReduce作业信息无法通过ResourceManager Web UI页面的Tracking URL打开 多个NameService环境下运行MapReduce任务失败 基于分区的任务黑名单异常如何处理 父主题：
splits”参数可用于从服务端限定Hive任务的最大map数，避免HiveSever服务过载而引发的性能问题。 操作步骤 登录FusionInsight Manager页面，选择“集群 > 服务 > Hive > 配置 > 全部配置”。 选择“MetaStore（角色） > 自定义”，对参数文件“hivemetastore-site
使用Keytab文件进行JDBC安全认证 功能简介 使用keytab文件进行JDBC认证。 准备操作 登录FusionInsight Manager，选择“系统 > 权限 > 用户”，下载参考准备MRS应用开发用户准备的开发用户的认证凭据。 代码样例 以下代码片段仅为演示，具体代码参见“com.huawei
WebUI界面停止CDL任务时报错：parameter exception with code: 403 可能原因 当前用户没有停止该任务的权限。 处理步骤 使用创建该任务的用户停止该任务，创建该任务的用户可登录CDLService WebUI界面，在作业管理列表的“创建者”列查看。 父主题： CDL故障排除
单击“配置”，修改“系统资源调整基数”，然后单击“下一步”。 单击“添加”增加新的资源配置组。 图2 增加新的资源配置组 在“第一步：调度时间”，单击“配置”显示时间策略配置页面。 根据业务需要修改以下参数，并单击“确定”保存： “重复”：勾选时表示此资源配置组按调度周期重复运行。不勾选时请设置一个资源配置组应用的日期与时间。
1.5及之后版本。 前提条件 已获取“admin”账号密码。“admin”密码在创建MRS集群时由用户指定。 操作步骤 进入Impala服务页面：登录FusionInsight Manager，然后选择“集群 > 待操作的集群名称 > 服务 > Impala”。 单击“查询管理”，列表默认显示所有正在进行的查询。
如何查看MRS作业的日志？ MRS Console页面作业管理，每一条作业支持查看日志，包含launcherJob日志和realJob日志。 launcherJob作业的日志，一般会在stderr和stdout中打印错误日志，如下图所示： realJob的日志，可以通过MRS M
使用Hive建表时，其他用户被授予select权限后，支持通过show create table查看表结构。 操作步骤 登录FusionInsight Manager页面，选择“集群 > 服务 > Hive > 配置 > 全部配置”。 选择“HiveServer（角色） > 自定义”，对参数文件“hive-site
前提条件 已获取FusionInsight Manager登录地址及admin账号。 操作步骤 登录FusionInsight Manager页面，选择“集群 > 服务 > Kafka > 配置 > 全部配置”，搜索参数“KAFKAUI_HEAP_OPTS”。在参数值中添加“ -Dfastjson
对接OBS场景中，spark-beeline登录后指定loaction到OBS建表失败 问题 对接OBS ECS/BMS集群，spark-beeline登录后，指定location到OBS建表报错失败。 图1 错误信息 回答 HDFS上ssl.jceks文件权限不足，导致建表失败。 解决方法 使用omm用户登录Spark2x所在节点，执行如下命令：
ergetree/ReplicateMergeTree）完整的事务支持数据写入。 参数配置 登录FusionInsight Manager页面，选择“集群 > 服务 > ClickHouse > 配置 > 全部配置 > 可靠性”，修改以下参数： 参数 参数说明 allow_transactions
Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Presto > 实例”，单击告警上报的Worker4，进入“实例状态”页面，单击图表区域右上角的下拉菜单，选择“定制 > 集群状态”，勾选“Presto进程GC时间” ，单击“确定”，查看GC时间是否大于5秒。 是，执行3。
args为待提交的spark application应用程序的参数。 参考信息 “通过JDBC访问Spark SQL”样例程序（Scala和Java语言），其对应的运行依赖包如下： 通过JDBC访问Spark SQL样例工程（Scala） commons-collections-<version>
创建HBase客户端连接 功能介绍 HBase通过ConnectionFactory.createConnection(configuration)方法创建Connection对象。传递的参数为上一步创建的Configuration。 Connection封装了底层与各实际服务器的连接以及与Z
创建HBase客户端连接 功能介绍 HBase通过ConnectionFactory.createConnection(configuration)方法创建Connection对象。传递的参数为上一步创建的Configuration。 Connection封装了底层与各实际服务器的连接以及与Z
HistoryServer UI超时和最大访问数 表15 参数说明 参数 描述 默认值 spark.session.maxAge 设置会话的超时时间，单位秒。此参数只适用于安全模式。普通模式下，无法设置此参数。 600 spark.connection.maxRequest 设置客户端访问Jobhistory的最大并发数量。
Manager页面，选择“集群 > 概览 > 更多 > 下载客户端”，“选择客户端类型”设置为“仅配置文件”，单击“确定”，等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。 MRS 3.3.0及之后版本，登录FusionInsight Manager页面，在“主页”右
HistoryServer UI超时和最大访问数 表15 参数说明 参数 描述 默认值 spark.session.maxAge 设置会话的超时时间，单位秒。此参数只适用于安全模式。普通模式下，无法设置此参数。 600 spark.connection.maxRequest 设置客户端访问Jobhistory的最大并发数量。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
