检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
/v2/{project_id}/clusters/{cluster_id}/job-executions 详情请参见新增并执行作业。 请求示例 POST: https://{endpoint}/v2/{project_id}/clusters/{cluster_id}/job-executions {
Flink安全认证机制说明 Flink认证和加密 Flink集群中，各部件支持认证。 Flink集群内部各部件和外部部件之间，支持和外部部件如YARN、HDFS、ZooKeeprer进行kerberors认证。 Flink集群内部各部件之间，如Flink client和JobMa
proxyuser.test.groups”值为“*”：表示test用户连接后，可以使用任意代理用户，不限制代理用户所在的用户组。 修改如下参数值，切换JDBCServer实例至多实例模式： 参数名称 值 spark.scheduler.allocation.file #{conf_dir}/fairscheduler
Availability，用于解决NameNode单点故障问题，该特性通过主备的方式为主NameNode提供一个备用者，一旦主NameNode出现故障，可以迅速切换至备NameNode，从而不间断对外提供服务。 在一个典型HDFS HA场景中，通常由两个NameNode组成，一个处于Active状态，另一个处于Standby状态。
如果告警原因为“DataNode数据目录中多个目录使用同一磁盘”，执行21。 检查DataNode数据目录是否创建失败。 执行su - omm命令，切换到omm用户。 使用ls命令查看DataNode数据目录中的每个目录是否存在。 是，执行26。 否，执行12。 使用mkdir 数据目录命令创建该目录，查看是否可以创建成功。
在不需要进行shuffle分区时，会尝试使用本地shuffle reader读取shuffle数据，例如：将sort-merge join转换为broadcast-hash join后。 true spark.sql.adaptive.skewJoin.enabled 当此配置为true且spark
在不需要进行shuffle分区时，会尝试使用本地shuffle reader读取shuffle数据，例如：将sort-merge join转换为broadcast-hash join后。 true spark.sql.adaptive.skewJoin.enabled 当此配置为true且spark
Manager的日志，具体操作如下： 下载并安装Yarn客户端（例安装目录：/opt/client）。 以客户端安装用户，登录安装客户端的节点。 执行以下命令，切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式，执
------+--------+-----------------+------+------+------+ 执行以下命令创建数据库，并切换至该数据库： create database test; use test; 执行以下命令创建t1、t2和t3表： create table
Manager的日志，具体操作如下： 下载并安装Yarn客户端（例安装目录：/opt/client）。 以客户端安装用户，登录安装客户端的节点。 执行以下命令，切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式，执
表1 补丁基本信息 补丁号 MRS 3.1.0.0.16 发布时间 2024-11-25 解决的问题 提交Spark SQL作业，中文冒号被转换成英文冒号。 Spark SQL外表动态分区执行insert overwrite报错。 Spark JDBC产生空指针报错。 Spark
适合读时延要求高的场景。 HBase全局二级索引，使用独立的索引表存储索引数据。当给定的查询条件可以命中索引时，可以将对数据表的全表查询转换为对索引表的精确范围查询，提升查询速度。开启全局二级索引特性后，应用侧代码无需特殊修改，简单易用。 MRS 3.3.0及之后版本的集群默认
host_name from system.clusters; https_port 安全集群，可以登录源集群的FusionInsight Manager，选择“集群 > 服务 > ClickHouse > 配置 > 全部配置”，搜索“https_port”参数获取。 普通集群，可以登录源集群的FusionInsight
查看Master1节点 使用root用户登录Master1节点，密码为购买集群时配置的用于登录集群节点的“root”用户自定义密码。 执行以下命令切换到客户端软件包所在目录，并解压客户端软件包： cd /tmp/FusionInsight-Client/ tar -xvf FusionI
使用Capacity调度器集群请参考表4为子租户配置属性。 新安装集群的Yarn组件默认使用Superior调度器。也可以参考切换MRS租户资源调度器切换调度器。 调度器类型可登录Manager，在Yarn服务“全部配置”页面搜索“yarn.resourcemanager.scheduler
LOG.info("Status Code : " + statusCode); if (statusCode != HttpStatus.SC_OK) { LOG.info("Request failed! " + response.getStatusLine());
解决Flume问题： 使用TaildirSource读取文件在节点inode重复场景下会造成少读文件或者读取文件不全。 Flume使用httpsource时，由于jetty-http-9.4.46.v20220331.jar包冲突导致报错。 解决Kafka问题： 故障场景下，Ka
ver principle的一部分来使用，导致认证失败。 处理步骤 librdkafka具体修改步骤： librdkafka源码地址：https://github.com/edenhill/librdkafka。 在src/rdkafka_conf.c文件中增加sasl.kerberos
e-site.xml,/etc/hadoop/conf/hdfs-site.xml。(步骤1中放置配置文件的绝对路径) 其他配置参考：https://trino.io/docs/333/connector/hive.html#hive-configuration-properties
on等语言进行程序开发，推荐用户使用Java语言进行Kudu应用程序开发。 Kudu采用的接口与Apache Kudu保持一致，请参考https://kudu.apache.org/apidocs/。 父主题： Kudu应用开发概述
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
