检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
afka和Hive权限。 根据所用的开发语言安装并配置IntelliJ IDEA及JDK等工具。 已完成Spark2x客户端的安装及客户端网络连接的配置。 对于Spark SQL程序，需要先在客户端启动Spark SQL或Beeline以输入SQL语句。 操作步骤 获取样例工程并
manager管理面看不到Kafka新建的topic 安全集群API方式提交Spark Submit作业操作HBase表，HBase表权限控制未生效 MRS manager补丁机制优化 MRS大数据组件 Spark执行load data inpath慢 Spark建表支持列名带$字符 OBS相关问题修复 MRS 2.1
HostName 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 系统应用无法打开文件、网络等IO操作，程序异常。 可能原因 文件句柄数不满足当前业务需求。 系统环境异常。 处理步骤 增大文件句柄数。 登录MRS集群详情页面，选择“告警管理”。
所有的Task执行完成后，用户的应用程序运行结束。 图1 Spark应用运行架构 约束与限制 本章节仅适用于MRS 3.x及之后版本。 为确保网络连通，GaussDB(DWS)集群需与MRS集群“可用区”、“虚拟私有云”、“安全组”配置相同。 前提条件 已创建DWS集群，请参考创建GaussDB(DWS)集群。
配置HetuEngine资源组 资源组介绍 资源组机制从资源分配的角度控制实例的整体查询负载，并可以对查询实施排队策略。可以在一个计算实例资源下创建多个资源组，并且每个提交的查询将分配给一个特定的资源组执行。在资源组执行新查询之前，将检查当前资源组的资源负载是否超过实例分配给它的
address 配置MapReduce集群管理员列表 通过Windows系统提交MapReduce任务 配置MapReduce任务日志归档和清理机制 MapReduce性能调优 MapReduce日志介绍 MapReduce常见问题
提供服务。Beeline和JDBC客户端代码两种连接方式的操作相同。 设置客户端与JDBCServer连接的超时时间。 Beeline 在网络拥塞的情况下，这个特性可以避免beeline由于无限等待服务端的返回而挂起。使用方式如下： 启动beeline时，在后面追加“--sock
address 配置MapReduce集群管理员列表 通过Windows系统提交MapReduce任务 配置MapReduce任务日志归档和清理机制 MapReduce性能调优 MapReduce日志介绍 MapReduce常见问题
rcrash机制开始回滚wal日志。现在这个splitwal的文件已经达到将近2.1G，且其仅有一个block块，导致hdfs seek异常，引起splitwal失败，regionserver检测到当前这个wal日志还需要split，又会触发splitwal日志的机制进行回滚，就
ckHouse集群副本之间如何进行数据同步，详见副本机制详细说明。 副本机制 ClickHouse利用ZooKeeper，通过ReplicatedMergeTree引擎（Replicated 系列引擎）实现了副本机制。副本机制是多主架构，可以将INSERT语句发送给任意一个副本，分片内其余副本会进行数据的异步复制。
存储系统上（比如HDFS）。 因为Driver程序在集群上调度任务，所以Driver程序建议和worker节点比较近，比如在一个相同的局部网络内。 Spark on YARN有两种部署模式： yarn-cluster模式下，Spark的Driver会运行在YARN集群内的Appl
星期，参数值为0~6，0表示星期日。 使用限制 只支持同类型磁盘之间的数据移动，例如SSD->SSD，DISK->DISK等。 执行该特性会占用涉及节点的磁盘IO资源、网络带宽资源，请尽量在业务不繁忙的时候使用。 参数dfs.disk.balancer.top.nodes.number指定Top N节点返回的
本地环境使用开发工具下载依赖的jar包前，需要确认以下信息。 确认本地环境网络正常。 打开浏览器访问：华为提供开源镜像站（网址为https://mirrors.huaweicloud.com/），查看网站是否能正常访问。如果访问异常，请先开通本地网络。 确认当前开发工具是否开启代理。下载jar包前需要确保开发工具代理关闭。
时摄取，为查询提供最新数据。 支持并发读写，基于snapshot的隔离机制实现写入时可读取。 支持原地转表，将存量的历史表转换为Hudi数据集。 Hudi关键技术和优势 可插拔索引机制：Hudi提供多种索引机制，可以快速完成对海量数据的更新和删除操作。 良好的生态支持：Hudi支
HostName 产生告警的主机名。 对系统的影响 系统本地最多只能保存50个转储文件，如果该故障持续存在于转储服务器，本地审计日志可能丢失。 可能原因 网络连接异常。 转储服务器的用户名、密码或转储目录等不满足配置条件。 转储目录的磁盘空间不足。 处理步骤 检查用户名、密码和转储目录是否正确。
参数值，副本数为该参数值。 10 3～256 loader.fault.tolerance.rate 容错率。 值大于0时使能容错机制。使能容错机制时建议将作业的Map数设置为大于等于3，推荐在作业数据量大的场景下使用。 0 0～1.0 loader.input.field.separator
使用HDFS HDFS文件系统目录简介 HDFS用户权限管理 HDFS客户端使用实践 快速使用Hadoop 配置HDFS文件回收站机制 配置HDFS DataNode数据均衡 配置HDFS DiskBalancer磁盘均衡 配置HDFS Mover命令迁移数据 配置HDFS文件目录标签策略（NodeLabel）
查询体验。 ClickHouse开发接口简介 ClickHouse由C++语言开发，定位为DBMS，支持HTTP和Native TCP两种网络接口协议，支持JDBC、ODBC等多种驱动方式，推荐使用社区版本的clickhouse-jdbc来进行应用程序开发。 基本概念 cluster
OBS元数据接口调用平均时间超过阈值，会影响上层大数据计算业务的性能，导致某些计算任务的执行时间超过阈值。 可能原因 OBS服务端出现卡顿，或OBS客户端到OBS服务端之间的网络不稳定。 处理步骤 检查堆内存使用率。 在FusionInsight Manager首页，选择“运维 > 告警 > 告警 > OBS元数据
使用HDFS HDFS文件系统目录简介 HDFS用户权限管理 HDFS客户端使用实践 快速使用Hadoop 配置HDFS文件回收站机制 配置HDFS DataNode数据均衡 配置HDFS DiskBalancer磁盘均衡 配置HDFS Mover命令迁移数据 配置HDFS文件目录标签策略（NodeLabel）
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
