检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
source /opt/client/bigdata_env 判断集群认证模式。 安全模式，执行kinit命令进行用户认证。 例如，使用oozieuser用户进行认证。 kinit oozieuser 普通模式，执行4。 执行以下命令，进入样例目录。 cd /opt/client/
com/script/status_ha.sh，查询当前HA管理的controller资源状态是否正常（单机模式下面，controller资源为normal状态；双机模式下，controller资源在主节点为normal状态，在备节点为stopped状态。） 是，执行6。 否，执行4。
Flink作业大小表Join能力增强 本章节适用于MRS 3.3.0及以后版本。 Flink作业大小表Join Flink作业双流Join时存在大小表数据，通过内核broadcast策略确保小表数据发送到Join的task中，通过rebalance策略将大表数据打散到Join中，提高Flink
长度建议不要超过30个字节。 Oracle中任何对象名称长度不允许超过30个字节，超过时会报错。PT为了兼容Oracle，对对象的名称进行了限制，不允许超过30个字节。 太长不利于阅读、维护、移植。 HQL编写之记录个数统计 统计某个表所有的记录个数，建议使用“select count(1)
filePaths.length > 0; // windowTime设置窗口时间大小，默认2分钟一个窗口足够读取文本内的所有数据了 final int windowTime = ParameterTool.fromArgs(args).getInt("windowTime"
ask manager”标签下的out按钮查看。 使用Flink Web页面查看Flink应用程序运行情况 Flink Web页面主要包括了Overview、Running Jobs、Completed Jobs、Task Managers、Job Manager和Logout等部分。
配置SparkSQL的分块个数 配置场景 SparkSQL在进行shuffle操作时默认的分块数为200。在数据量特别大的场景下，使用默认的分块数就会造成单个数据块过大。如果一个任务产生的单个shuffle数据块大于2G，该数据块在被fetch的时候还会报类似错误： Adjusted
TABLES命令用于显示所有在当前database中的table，或所有指定database的table。 命令格式 SHOW TABLES [IN db_name]; 参数描述 表1 SHOW TABLES参数描述 参数 描述 IN db_name Database名称，仅当需要显示指定Database的所有Table时配置。
HetuEngine数据类型隐式转换 开启HetuEngine数据类型隐式转换 关闭HetuEngine数据类型隐式转换 HetuEngine隐式转换对照表 父主题： HetuEngine常见SQL语法说明
cd 客户端安装目录 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式，执行以下命令进行用户认证，该用户需具有OBS目录的读写权限。普通模式集群无需执行用户认证。 kinit HDFS组件操作用户 在HDFS命令行显式添加要访问的OBS文件系统。
为什么有时访问没有权限的parquet表时，在上报“Missing Privileges”错误提示之前，会运行一个Job？ 问题 为什么有时访问没有权限的parquet表时，在上报“Missing Privileges”错误提示之前，会运行一个Job？ 回答 Spark SQL对
默认是8。 目前推荐将该值设置为逻辑CPU核数的1.5～2倍之间。 8 物理CPU使用百分比 建议预留适量的CPU给操作系统和其他进程（数据库、HBase等）外，剩余的CPU核都分配给YARN。可以通过如下配置参数进行调整。 参数 描述 默认值 yarn.nodemanager.resource
PU、内存、并发数和等待队列管理，模型设计如图1所示。 该特性仅MRS 3.3.1及之后版本支持。 仅集群已启用Kerberos认证（安全模式）支持在Manager界面创建和管理Doris多租户。 MRS 3.5.0及之后版本，MRS Doris默认租户“normal”的内存占比是90%，并发数是“10000”。
bigdata_env kinit 归属于supergroup用户组或具备Global的Admin权限的用户（集群未启用Kerberos认证（普通模式）请跳过该操作） hbase shell alter '表名', {NAME => '列族名', BLOCKCACHE => true}
source /opt/client/bigdata_env 判断集群认证模式。 安全模式，执行kinit命令进行用户认证。 例如，使用oozieuser用户进行认证。 kinit oozieuser 普通模式，执行4。 根据提交任务类型，进入对应样例目录。 表1 样例目录列表 任务类型
可能原因 KrbServer服务异常。 JournalNode节点故障。 DataNode节点故障。 磁盘容量不足。 NameNode节点进入安全模式。 处理步骤 检查KrbServer服务状态。 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务”。
/client”），并配置环境变量。 cd /opt/client source bigdata_env 执行以下命令进行用户认证。（普通模式跳过此步骤） kinit 组件业务用户 执行以下命令登录客户端工具。 zkCli.sh -server <任一ZooKeeper实例所在节点业务IP>:<clientPort>
清除。 是，处理完毕。 否，执行6。 重启服务期间服务不可用，Flume业务中断。 重启实例期间若配置SinkGroup的failover模式且至少保持一个实例正常运行时Flume业务不中断，否则Flume业务会中断。 收集故障信息。 在FusionInsight Manager界面，选择“运维
Repartition时有部分Partition没数据 问题 在repartition操作时，分块数“spark.sql.shuffle.partitions”设置为4500，repartition用到的key列中有超过4000个的不同key值。期望不同key对应的数据能分到不同
keytab”表示的是用户目录。 principal名。 security.kerberos.login.principal: abc222 对于HA模式，如果配置了ZooKeeper，还需要设置ZK kerberos认证相关的配置。配置如下： zookeeper.sasl.disable: false
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
