检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
为什么存储小文件过程中，缓存中的数据会丢失 问题 在存储小文件过程中，系统断电，缓存中的数据丢失。 回答 由于断电，当写操作完成之后，缓存中的block不会立即被写入磁盘，如果要同步地将缓存的block写入磁盘，用户需要将“客户端安装路径/HDFS/hadoop/etc/hadoop/hdfs-site
对接OBS场景中，spark-beeline登录后指定loaction到OBS建表失败 问题 对接OBS ECS/BMS集群，spark-beeline登录后，指定location到OBS建表报错失败。 图1 错误信息 回答 HDFS上ssl.jceks文件权限不足，导致建表失败。
使用IBM JDK产生异常“Problem performing GSS wrap”如何处理 问题 使用IBM JDK产生异常，提示“Problem performing GSS wrap”信息。 回答 问题原因： 在IBM JDK下建立的Hive connection时间超过登
为什么存储小文件过程中，缓存中的数据会丢失 问题 在存储小文件过程中，系统断电，缓存中的数据丢失。 回答 由于断电，当写操作完成之后，缓存中的block不会立即被写入磁盘，如果要同步地将缓存的block写入磁盘，用户需要将“客户端安装路径/HDFS/hadoop/etc/hadoop/hdfs-site
日志级别 级别 描述 error error表示系统运行的错误信息。 warning warning表示当前事件处理存在异常信息。 trace trace表示当前事件处理跟踪信息。 information information表示记录系统及各事件正常运行状态信息。 debug debug表示记录系统及系统的调试信息。
导入并配置Alluxio样例工程 在获取MRS样例工程，下载样例工程到本地。 导入样例工程到Eclipse开发环境。 打开Eclipse，选择“File > Import”。显示“Import”窗口，选择Existing Maven Projects，单击“next”按钮。 在“Import
Flink作业提交时报错端口范围不足 问题现象 Flink作业提交时，没有足够的端口分配给actor system，导致作业启动失败，报错：Could not start actor system on any port in port range 32326-32390。 解决方法
为什么INSERT INTO CARBON TABLE失败？ 问题 为什么INSERT INTO CARBON TABLE命令无法在日志文件中记录以下信息？ Data load failed due to bad record 回答 在以下场景中，INSERT INTO CARBON
为什么IAM子账号添加了MRS权限却无法在控制台提交作业？ 问： IAM子账号添加了MRS ReadOnlyAccess、MRS FullAccess权限，无法在控制台提交作业，怎么办？ 答： 用户子账号同时添加了MRS ReadOnlyAccess、MRS FullAccess
colum_a='value1'; 则估算查询的最终条数为1000000 * 1/50 = 20000条，选择率为2%。 以下以TPC-DS Q3为例来介绍CBO是如何调整Join顺序的。 select dt.d_year, item.i_brand_id brand_id,
升级Master节点规格 MRS大数据集群采用Manager实现集群的管理，而管理集群的相关服务，如HDFS存储系统的NameNode，Yarn资源管理的ResourceManager，以及MRS的Manager管理服务都部署在集群的Master节点上。 随着新业务的上线，集群规
Password cannot be null if SASL is enabled异常 问题 运行Spark的应用启用了ExternalShuffle，应用出现了Task任务丢失，原因是由于java.lang.NullPointerException: Password cannot
Yarn”。 选择“配置 > 全部配置”，搜索参数“yarn.acl.enable”，修改参数值为“true”。如果该参数值已经为“true”，则无需处理。 图1 配置参数“yarn.acl.enable” 使用Ranger管理员用户rangeradmin登录Ranger管理页面，具体操作可参考登录Ranger
Hudi表名以及列名采用小写字母。 多引擎读写同一张Hudi表时，为了规避引擎之间大小写的支持不同，统一采用小写字母。 建议 Spark批处理场景，对写入时延要求不高的场景，采用COW表。 COW表模型中，写入数据存在写放大问题，因此写入速度较慢；但COW具有非常好的读取性能力。
导入并配置Kafka样例工程 操作步骤 参考获取MRS应用开发样例工程，下载样例工程到本地。 解压样例工程并找到kafka-examples目录。 导入样例工程到Eclipse开发环境。 打开Eclipse，选择“File > Import”。显示“Import”窗口，选择Existing
用容错。当其中一台Doris后端节点发生故障时，ELB通过故障转移方式正常对外提供服务。 图1 通过弹性负载均衡访问Doris 本章节介绍如何实现MySQL客户端通过ELB访问Doris。具体操作分为以下几个步骤： 步骤一：购买ELB并获取其公网IP地址。 步骤二：添加ELB监听器，配置协议端口。
Yarn”。 选择“配置 > 全部配置”，搜索参数“yarn.acl.enable”，修改参数值为“true”。如果该参数值已经为“true”，则无需处理。 图1 配置参数“yarn.acl.enable” 使用Ranger管理员用户rangeradmin登录Ranger管理页面，具体操作可参考登录Ranger
HDFS HDFS jar包冲突列表 Jar包名称 描述 处理方案 hadoop-plugins-*.jar HDFS可以直接使用开源同版本的hadoop包运行样例代码，但是MRS 3.x之后的版本默认的主备倒换类是dfs.client.failover.proxy.provider
Spark应用开发常见问题 Spark常用API介绍 structured streaming功能与可靠性介绍 如何添加自定义代码的依赖包 如何处理自动加载的依赖包 运行SparkStreamingKafka样例工程时报“类不存在”问题 由于Kafka配置的限制，导致Spark Streaming应用运行失败
Spark应用开发常见问题 Spark常用API介绍 structured streaming功能与可靠性介绍 如何添加自定义代码的依赖包 如何处理自动加载的依赖包 运行SparkStreamingKafka样例工程时报“类不存在”问题 由于Kafka配置的限制，导致Spark Streaming应用运行失败
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
