检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive基于MapReduce提交任务和基于Tez提交任务流程图 Hive on MapReduce任务中包含多个MapReduce任务，每个任务都会将中间结果存储到HDFS上——前一个步骤中的reducer为下一个步骤中的mapper提供数据。Hive on Tez任务仅在一个任务中就能完成
如果为非root用户，请参考创建并配置RDS实例操作。 单击“确定”完成创建。 配置Ranger数据连接 登录MRS控制台。 单击集群名称进入集群详情页面。 单击“数据连接”右侧的“单击管理”，进入数据连接配置界面。 单击“配置数据连接”，并配置相关参数： 组件名称：Ranger
Phoenix是构建在HBase之上的一个SQL中间层，提供一个客户端可嵌入的JDBC驱动，Phoenix查询引擎将SQL输入转换为一个或多个HBase scan，编译并执行扫描任务以产生一个标准的JDBC结果集。 代码样例 客户端“hbase-example/conf/hbase-site.xml”中配置存放查询中
“flume_sChat.jks”是Flume角色服务端的证书库，“flume_sChat.crt”是“flume_sChat.jks”证书的导出文件，“-f”配置项是证书和证书库的密码； “flume_cChat.jks”是Flume角色客户端的证书库，“flume_cChat.crt”是“flume_cChat
Phoenix是构建在HBase之上的一个SQL中间层，提供一个客户端可嵌入的JDBC驱动，Phoenix查询引擎将SQL输入转换为一个或多个HBase scan，编译并执行扫描任务以产生一个标准的JDBC结果集。 代码样例 客户端“hbase-example/conf/hbase-site.xml”中配置存放查询中
Phoenix是构建在HBase之上的一个SQL中间层，提供一个客户端可嵌入的JDBC驱动，Phoenix查询引擎将SQL输入转换为一个或多个HBase scan，编译并执行扫描任务以产生一个标准的JDBC结果集。 代码样例 客户端“hbase-example/conf/hbase-site.xml”中配置存放查询中
结果。MRS支持的所有巡检脚本见界面中的巡检脚本列表，MRS目前仅支持证书检测脚本，用来检查集群中的证书是否过期。 开启巡检授权 登录MRS控制台。 单击集群名称进入集群详情页面。 选择“巡检授权”页签。 配置巡检参数。 巡检授权时间：运维巡检授权的时长，到期后会自动取消授权。
Flink常用配置参数 配置说明 Flink所有的配置参数都可以在客户端侧进行配置，建议用户直接修改客户端的“flink-conf.yaml”配置文件进行配置，如果通过Manager界面修改Flink服务参数，配置完成之后需要重新下载安装客户端： 配置文件路径：客户端安装路径/Fli
> 服务配置”。 将“基础配置”切换为“全部配置”。 搜索并配置如下参数。 “fs.obs.access.key”配置为获取AK/SK和Endpoint信息准备的AK。 “fs.obs.secret.key”配置为获取AK/SK和Endpoint信息准备的SK。 保存配置并重启Hive服务。
/home/omm/MRS_3.1.0_TROS_Tools_patch_20240430 vi ips.ini 在ips.ini中配置需要卸载的节点IP（只会卸载填写IP的节点）。 每行配置一个IP，中间不能有空行。 nohup sh install.sh rollback & 通过tail -f nohup
配置DataNode预留磁盘百分比 配置场景 当Yarn本地目录和DataNode目录配置在同一个磁盘时，具有较大容量的磁盘可以运行更多的任务，因此将有更多的中间数据存储在Yarn本地目录。 目前DataNode支持通过配置“dfs.datanode.du.reserved”来配
用户加密 配置跨Manager互信，当前Kerberos服务端仅支持并使用“aes256-cts-hmac-sha1-96:normal”和“aes128-cts-hmac-sha1-96:normal”加密类型加密跨域使用的用户，不支持修改。 用户认证 配置跨Manager
配置DataNode预留磁盘百分比 配置场景 当Yarn本地目录和DataNode目录配置在同一个磁盘时，具有较大容量的磁盘可以运行更多的任务，因此将有更多的中间数据存储在Yarn本地目录。 目前DataNode支持通过配置“dfs.datanode.du.reserved”来配
JobGateway常见参数 参数入口 请参考修改集群服务配置参数进入JobGateway服务配置页面。 参数说明 表1 JobGateway参数说明 参数 参数说明 默认值 HTTP_INSTANCE_PORT JobServer服务http端口。 默认值：29973 取值范围：29970~29979
配置Flume通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后，Flume即可运行OBS作业。 本章节适用于MRS 3.x及之后的版本。 Flume对接OBS 创建用于存放数据的OBS文件夹。 登录OBS控制台。 单击“并行文件系统”进入并行文件系统页面。
MRS集群可共享同一份元数据。 MRS集群支持的外置数据连接类型为： 安装了Hive组件的集群支持连接“RDS服务PostgreSQL数据库”，且Postgres数据库版本号为PostgreSQL14。 安装了Hive或Ranger组件的集群支持连接“RDS服务MySQL数据库”，且MySQL数据库版本为MySQL
tableName=testtb batchRows=10000 batchNum=10 表1 配置说明表 配置名称 默认值 含义 loadBalancerIPList - 必填参数，配置为LoadBalance的IP列表。 登录Manager，选择“集群 > 服务 > ClickHouse
tableName=testtb batchRows=10000 batchNum=10 表1 配置说明表 配置名称 默认值 含义 loadBalancerIPList - 必填参数，配置为LoadBalance的IP列表。 登录Manager，选择“集群 > 服务 > ClickHouse
conf”文件。 生成IoTDB客户端SSL证书 若集群开启了SSL加密传输且本地Windows或Linux环境首次运行IoTDB样例代码，需执行以下操作生成客户端SSL证书。 以客户端安装用户，登录安装客户端的节点。 切换到IoTDB客户端安装目录，例如：/opt/client。 cd
以达到消除数据倾斜的效果 配置参数 登录FusionInsight Manager系统，选择“集群 > 服务 > Spark2x > 配置”，单击“全部配置”，搜索以下参数。 参数 说明 默认值 spark.sql.adaptive.enabled 配置是否启用自适应执行功能。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
