检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过集群连接配置访问不同的集群。 创建集群连接 访问Flink WebUI，请参考访问FlinkServer WebUI界面。 选择“系统管理 > 集群连接管理”，进入集群连接管理页面。 单击“创建集群连接”，在弹出的页面中参考表1填写信息，单击“确定”，完成集群连接创建。创建完成后，可在对应集群连
HBase通过接口调用，可提供的功能如表1所示。 表1 HBase接口提供的功能 功能 说明 CRUD数据读写功能 增查改删 高级特性 过滤器、二级索引，协处理器 管理功能 表管理、集群管理 父主题： HBase应用开发概述
没有开启Kerberos认证的集群忽略该步骤。 操作步骤 登录MRS Manager，在MRS Manager界面选择“系统设置 > 角色管理 > 添加角色”。 填写角色的名称，例如mrrole。 编辑角色，在“权限”的表格中选择“Yarn > Scheduler Queue >
所示。 表1 HBase接口提供的功能 功能 说明 CRUD数据读写功能 增查改删。 高级特性 过滤器、二级索引，协处理器。 管理功能 表管理、集群管理。 父主题： HBase应用开发概述
创建FlinkServer集群连接步骤 访问Flink WebUI，请参考访问FlinkServer WebUI界面。 选择“系统管理 > 集群连接管理”，进入集群连接管理页面。 单击“创建集群连接”，在弹出的页面中参考表1填写信息，单击“确定”，完成集群连接创建。创建完成后，可在对应集群连
FlinkServer支持上传、管理UDF。 Guardian 新增组件，支持存算分离场景下集群外客户端委托功能。 Hadoop 普通集群访问HDFS Web UI需要进行CAS认证。 Hudi 升级到0.9.0版本。 Impala 支持在MRS Manager页面上进行Impala SQL作业管理。 Spark2x
zookeeper.sasl.clientconfig：指定使用jaas.conf文件中的对应配置访问FusionInsight ZooKeeper； zookeeper.server.principal：指定ZooKeeper服务端使用principal； zookeeper.sasl.clie
不同用户授予不同权限控制，主要介绍下面两个部分： 集群运维管理员控制列表（Admin Acl） 该功能主要用于指定YARN集群的运维管理员，其中，MRS集群管理员列表由参数“yarn.admin.acl”指定。集群运维管理员可以访问ResourceManager WebUI，还能
Manager页面，选择“服务管理 > HDFS > 实例”。 FusionInsight Manager界面操作： 对于MRS 3.x及后续版本集群：也可登录FusionInsight Manager。选择“集群 > 服务 > HDFS > 实例”。 也可登录MRS控制台，选择“组件管理 > HDFS
是，处理完毕。 否，执行4。 收集故障信息。 以root用户登录主管理节点，用户密码为安装前用户自定义，请咨询系统管理员。管理节点的主备状态及对应IP地址可在FusionInsight Manager主机管理界面查看。 查看不健康服务的日志信息。 HDFS的日志文件存储路径为“
uselocalFileCollect 是否将结果数据保存在本地磁盘中而不是内存里面。 优点：结果数据小数据量情况下和原生内存的方式相比性能损失可以忽略，大数据情况下（亿级数据）性能远比使用hdfs，以及原生内存方式好。 缺点：需要调优。大数据情况下建议JDBCServer driver
WHERE column3 = 'value' ) ) 基于Hudi表的lookup join单表数据量不超过1GB Hudi维度表都在TM heap中，当维表过大时heap中保存的维表数据过多，TM会不断GC导致作业性能下降。 流流关联中不能加入批Source算子 流流关联中不能加
TokenServer RPC队列平均时间超过阈值 告警解释 系统每30秒周期性检测TokenServer服务RPC队列平均时间，当连续5次检测到TokenServer实例RPC队列平均时间超出阈值时产生该告警。 当系统检测到TokenServer服务RPC队列平均时间小于阈值时，告警恢复。
Yarn任务挂起内存超过阈值（2.x及以前版本） 告警解释 系统每30秒周期性检查YARN服务处于挂起状态（Pending）的任务所占内存量，并把挂起状态任务的内存量和阈值进行比较。当检测到挂起状态任务的内存量超过阈值时产生该告警。 用户可通过“系统设置> 阈值配置 > 服务 > Yarn > 队列root挂起的内存量
House角色。 在FusionInsight Manager中创建一个人机用户，例如“cdluser”，该用户需具有ClickHouse管理员权限（相关操作请参见创建ClickHouse角色），并加入用户组cdladmin、hadoop、kafka、supergroup，主组选
的接口请参见API版本选择建议。 MRS版本演进过程中逐步废弃部分接口，具体请参见表3。 表1 V2接口 接口 功能 API URI 集群管理接口 创建集群 POST /v2/{project_id}/clusters 修改集群名称 PUT /v2/{project_id}/cl
实现动态分配资源，使整个Spark系统更加健康。 操作步骤 需要先配置External shuffle service，具体请参考使用External Shuffle Service提升性能。 在“spark-defaults.conf”配置文件中必须添加配置项“spark.dynamicAllocation
运行Spark任务发现大量shuffle结果丢失 JDBCServer长时间运行导致磁盘空间不足 spark-shell执行SQL跨文件系统load数据到Hive表失败 Spark任务提交失败 Spark任务运行失败 JDBCServer连接失败 查看Spark任务日志失败 Spark
job.setOutputFormatClass(HCatOutputFormat.class); return (job.waitForCompletion(true) ? 0 : 1); } public static void
shortcircuit.DomainSocketFactory - The short-circuit local reads feature cannot be used because UNIX Domain sockets are not available on Windows
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
