检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
默认值： MRS 3.x之前版本： 8192 MRS 3.x及之后版本： 16384 参数入口： MRS 3.x之前版本：需要在MRS控制台上进行配置。 MRS 3.x及之后版本：需要在FusionInsight Manager系统进行配置。 参数配置组合决定了每节点任务(map、reduce)的并发数。
string) stored as RCFile; HIVE使用OBS存储。 需要在beeline里面设置指定的参数，AK/SK可登录“OBS控制台”，进入“我的凭证”页面获取。 set fs.obs.access.key=AK; set fs.obs.secret.key=SK; set
DROP、TRUNCATE、DELETE、INSERT OVERWRITE、LOAD OVERWRITE操作权限的用户。 配置OBS目录生命周期规则 登录OBS控制台。 选择“并行文件系统”，单击当前MRS集群使用的文件系统名称。 选择“基础配置 > 生命周期规则”，单击“创建”，创建指定目录的生命周
manager管理面看不到Kafka新建的topic 安全集群API方式提交Spark Submit作业操作HBase表，HBase表权限控制未生效 MRS manager补丁机制优化 MRS大数据组件 Spark执行load data inpath慢 Spark建表支持列名带$字符
搬迁数据量较大时，对网络通信要求较高，执行搬迁任务时，可能会影响其他业务，建议在业务空闲期进行数据迁移任务。 步骤1：新建数据连接 登录CDM管理控制台。 创建CDM集群，该CDM集群的安全组、虚拟私有云、子网需要和迁移目的端集群保持一致，保证CDM集群和MRS集群之间网络互通。 在“集
搬迁数据量较大时，对网络通信要求较高，执行搬迁任务时，可能会影响其他业务，建议在业务空闲期进行数据迁移任务。 迁移Hive数据 登录CDM管理控制台。 创建CDM集群，该CDM集群的安全组、虚拟私有云、子网需要和迁移目的端集群保持一致，保证CDM集群和MRS集群之间网络互通。 在“集
应用程序是指传统的MapReduce作业或作业的DAG（有向无环图）。 YARN结构 YARN分层结构的本质是ResourceManager。这个实体控制整个集群并管理应用程序向基础计算资源的分配。ResourceManager将各个资源部分（计算、内存、带宽等）精心安排给基础NodeMan
Superior调度模式下，单个NodeManager故障可能导致MapReduce任务失败 当应用程序从lost_and_found队列移动到其他队列时，应用程序不能继续执行 如何限制存储在ZKstore中的应用程序诊断消息的大小 为什么将非ViewFS文件系统配置为ViewFS时MapReduce作业运行失败
Superior调度模式下，单个NodeManager故障可能导致MapReduce任务失败 当应用程序从lost_and_found队列移动到其他队列时，应用程序不能继续执行 如何限制存储在ZKstore中的应用程序诊断消息的大小 为什么将非ViewFS文件系统配置为ViewFS时MapReduce作业运行失败
台后端节点，扩展系统对外的服务能力，实现更高水平的应用容错。客户端应用请求集群时，使用基于Nginx的ClickHouseBalancer控制节点来进行流量分发，无论集群写入的负载、读的负载以及应用接入的高可用性都具备了有力的保障。 父主题： 准备ClickHouse应用开发环境
台后端节点，扩展系统对外的服务能力，实现更高水平的应用容错。客户端应用请求集群时，使用基于Nginx的ClickHouseBalancer控制节点来进行流量分发，无论集群写入的负载、读的负载以及应用接入的高可用性都具备了有力的保障。 父主题： 准备ClickHouse应用开发环境
输入的证书密码为用户自定义密码。命令中如果携带认证密码信息可能存在安全风险，在执行命令前建议关闭系统的history命令记录功能，避免信息泄露。 登录MRS管理控制台。 选择“现有集群”，单击集群名称进入集群详情页面。 选择“组件管理 > Ranger > 服务配置”，修改RangerAdmin配置。
R_RPC_PORT”获得。 安全模式下，登录IoTDBServer所在节点的用户名和密码由FusionInsight Manager统一控制，参考准备MRS应用开发用户，确保该用户具有操作IoTDB服务的角色权限。 本端域可以在Manager界面，选择“系统 > 域与互信 > 本端域
manager管理面看不到Kafka新建的topic 安全集群API方式提交Spark Submit作业操作HBase表，HBase表权限控制未生效 MRS manager补丁机制优化 MRS大数据组件 Spark执行load data inpath慢 Spark建表支持列名带$字符
何通过AK/SK信息对接OBS。 MRS通过集群内的Guardian组件对接OBS，为其他组件提供获取访问OBS的临时认证凭据、细粒度权限控制的能力，操作流程请参见基于Guardian服务的存算分离配置流程，详细操作配置请参考配置Guardian服务对接OBS。 目前仅MRS 3
n模型以实时查询到最新数据。那么join，建议2表join，大表join小表，小表在后（大表join小表），并必须有关联条件。小表的数据量控制在百万~千万行级别，且需要在join前尽量把小表数据通过条件进行有效过滤。 join/in/not in需要添加Global关键字 在通常的join/in/not
数据源表的存储格式为ORC或者PARQUET，不支持跨源跨域场景。 HetuEngine物化视图权限介绍 物化视图权限如表1。物化视图权限控制依赖Ranger，若关闭Ranger鉴权会带来权限失效的风险。 表1 HetuEngine物化视图权限介绍 操作 catalog mv权限
ark.sql.legacy.correlated.scalar.query.enabled参数值为true）。 Spark支持视图表权限控制（在JDBCserver的自定义custom参数添加spark.ranger.plugin.viewaccesscontrol.enable值为true；添加参数。spark
0-LTS、MRS 3.2.0-LTS版本集群，当MRS 3.3.0-LTS发布商用后，之前较早的版本（如MRS 3.1.2-LTS）默认将不在控制台上提供创建入口。对存量用户使用的MRS 3.1.2-LTS版本集群不影响。 集群版本升级 MRS LTS版本集群支持大版本升级的演进路线
S目录与文件。默认创建的数据库或表保存在HDFS目录“/user/hive/warehouse”。 如果当前组件使用了Ranger进行权限控制，须基于Ranger配置相关策略进行权限管理，具体操作可参考添加Spark2x的Ranger访问权限策略。 Spark2x开启或关闭Ran
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
