检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
解决的问题 Spark组件问题： 当carbon表元数据文件较大时导致的查询慢问题。 修复carbon在某些场景下，对数据进行压缩时，出现转换为SHORT_INT失败的问题。 spark解析zlib时出错，出现java.io.IOException: unknown compression
执行检查的用户需要拥有Oozie的“普通用户权限”，及HDFS“/user/oozie”目录的访问权限。 操作步骤 以客户端安装用户登录安装客户端的节点。 执行以下命令，切换到客户端安装目录。 cd 客户端安装目录 执行以下命令配置环境变量并认证用户。 source bigdata_env kinit 提交Oozie任务的用户（
自动管理文件大小和布局，以优化查询性能准实时摄取，为查询提供最新数据。 支持并发读写，基于snapshot的隔离机制实现写入时可读取。 支持原地转表，将存量的历史表转换为Hudi数据集。 Hudi关键技术和优势 可插拔索引机制：Hudi提供多种索引机制，可以快速完成对海量数据的更新和删除操作。 良好的生态
mount.table.root.ufs”的值为“obs://<OBS_BUCKET>/<OBS_DIRECTORY>/”。OBS_BUCKET为一个已有的OBS文件系统名，OBS_DIRECTORY为该文件系统下的目录。 图2 OBS作为Alluxio的底层文件系统 单击“保存配置
registrator", "com.huawei.bigdata.spark.examples.MyRegistrator"); 在SparkConf对象使用set方法设置，代码如下： val conf = new SparkConf().setAppName("HbaseTest"); conf
HIVE使用OBS存储。 需要在beeline里面设置指定的参数，AK/SK可登录“OBS控制台”，进入“我的凭证”页面获取。 set fs.obs.access.key=AK; set fs.obs.secret.key=SK; set metaconf:fs.obs.access
Impala使用OBS存储。 需要在集群管理页面Manager里面设置指定的参数到“core-site.xml”，AK/SK可登录“OBS控制台”，进入“我的凭证”页面获取。 fs.obs.access.key=AK; fs.obs.secret.key=SK; fs.obs.endpoint=endpoint;
Impala使用OBS存储。 需要在集群管理页面Manager里面设置指定的参数到“core-site.xml”，AK/SK可登录“OBS控制台”，进入“我的凭证”页面获取。 fs.obs.access.key=AK; fs.obs.secret.key=SK; fs.obs.endpoint=endpoint;
@volatile private var endTime: Long = 0L @volatile private var numRecs: Long = 0L override def onQueryStarted(event: StreamingQueryListener
@volatile private var endTime: Long = 0L @volatile private var numRecs: Long = 0L override def onQueryStarted(event: StreamingQueryListener
park等作业的本地临时文件（例如shuffle文件是否过大）、监控Hive、HetuEngine、Spark的关键HDFS目录（不支持OBS）是否过大。对于占用存储资源（本地磁盘或者关键HDFS目录）过大的作业上报事件。 本章节内容仅适用于MRS 3.5.0及之后版本。 监控的HDFS目录请参见表1。
NameNode文件数量和NameNode使用的内存大小成比例关系，文件对象变化时请修改默认值中的“-Xms2G -Xmx4G -XX:NewSize=128M -XX:MaxNewSize=256M”。参考值如下表所示。 表1 NameNode JVM配置 文件对象数量 参考值 10,000,000 -Xms6G
到许多存储系统。 Alluxio主要特点如下： 提供内存级I/O 吞吐率，同时降低具有弹性扩张特性的数据驱动型应用的成本开销 简化云存储和对象存储接入 简化数据管理，提供对多数据源的单点访问 应用程序部署简易 Alluxio 接口开发简介 Alluxio支持使用Java进行程序开
检查集群情况并恢复。 严重 指集群部分功能不可用的告警，包括进程故障、周期备份任务失败、关键文件权限异常等，需要根据告警及时检查报告告警的对象并恢复。 一般 指不影响当前集群主要功能的告警，包括证书文件即将过期、审计日志转储失败、License文件即将过期等告警。 提示 指级别最
到降低OBS服务端带宽的作用，利用MemArtsCC的本地存储，访问热点数据不必跨网络，可以提升HetuEngine的数据读取效率。 前提条件 Guardian服务正常，且已开启存算分离，具体请参考配置Guardian服务对接OBS。 已完成HetuEngine对接OBS，具体请
x及后续版本，登录FusionInsight Manager，然后选择“集群 > 服务 > Kafka > 实例”。 单击指定的Broker实例并切换到“实例配置”。 在搜索框中输入“log.dirs”进行搜索，将新目录添加到配置项“log.dirs”的默认值后面，多个目录使用逗号分隔。
cgroups.cpuset.strict.enabled 设置为true时，container只能使用配置的CPU。 false 要从cpuset模式切换到Quota模式，必须遵循以下条件： 配置“yarn.nodemanager.linux-container-executor.cgroups
x及后续版本，登录FusionInsight Manager，然后选择“集群 > 服务 > Kafka > 实例”。 单击指定的Broker实例并切换到“实例配置”。 在搜索框中输入“log.dirs”进行搜索，将新目录添加到配置项“log.dirs”的默认值后面，多个目录使用逗号分隔。
群，可以起到降低OBS服务端带宽的作用，利用MemArtsCC的本地存储，访问热点数据不必跨网络，可以提升Spark的数据读取效率。 前提条件 Guardian服务正常，且已开启存算分离，具体请参考配置Guardian服务对接OBS。 已完成Spark对接OBS，具体请参考配置S
@volatile private var endTime: Long = 0L @volatile private var numRecs: Long = 0L override def onQueryStarted(event: StreamingQueryListener
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
