检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
功能简介 在使用HDFS提供的API之前，需要先进行HDFS初始化操作。过程为： 加载HDFS服务配置文件。 实例化Filesystem。 配置文件介绍 登录HDFS时会使用到如表1所示的配置文件。这些文件均已导入到“hadoop-examples”工程的“conf”目录。 表1 配置文件
中 - 大数据量的维度表建议采用HBase 数据量比较大，而且不要数据高一致的场景，可以采用HBase类的KV库提供维度表点查关联能力。 由于K-V库的数据需由另外的作业写入，与当前的Flink作业会存在一定的时差，容易导致当前Flink作业查询K-V库时不是最新的数据，且由于lo
问其他可用的正常节点。 在为MRS集群安装补丁的场景中，也支持排除指定节点不安装补丁。 隔离主机仅支持隔离非管理节点。 主机隔离后该主机上的所有角色实例将被停止，且不能对主机及主机上的所有实例进行启动、停止和配置等操作。 主机隔离后无法统计并显示该主机硬件和主机上实例的监控状态及指标数据。
更新管理 密码更新 MRS支持集群内用户密码的更新，建议管理员定期修改密码，提高系统安全性。 密码更新指导如下所示： 修改系统用户密码：请参见修改admin密码和修改操作系统用户密码。 修改系统内部用户密码 修改默认数据库用户密码 证书更新 MRS集群的CA证书与HA证书均支持更
MRS 3.x之前版本，单击集群名称，登录集群详情页面，选择“组件管理 > Yarn > 实例”。 如果集群详情页面没有“组件管理”页签，请先完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 MRS 3.x及后续版本，登录FusionInsight
配置HFile中block块的大小，不同的block块大小，可以影响HBase读写数据的效率。越大的block块，配合压缩算法，压缩的效率就越好；但是由于HBase的读取数据是以block块为单位的，所以越大的block块，对于随机读的情况，性能可能会比较差。 如果要提升写入的性能，一般扩大到
x之前版本集群。 当MRS服务中默认的参数配置不足以满足用户需要时，用户可以自定义修改参数配置来适应自身需求。 登录集群详情页面，选择“组件管理”。 若集群详情页面没有“组件管理”页签，请先完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。
“所有”，表示删除当前所有的作业。 “指定作业”，表示指定需要删除的作业。选择“指定作业”，在作业列表中勾选需要删除的作业。 单击“确定”，开始删除作业。当弹出框中进度条显示100%，则说明作业删除完成。 父主题： 管理Loader作业
配置JobHistory本地磁盘缓存 配置场景 JobHistory可使用本地磁盘缓存spark应用的历史数据，以防止JobHistory内存中加载大量应用数据，减少内存压力，同时该部分缓存数据可以复用以提高后续对相同应用的访问速度。 配置参数 登录FusionInsight Manager系统，选择“集群
在其中执行更新操作的CarbonData表的名称。 column_name 待更新的目标列。 sourceColumn 需在目标表中更新的源表的列值。 sourceTable 将其记录更新到目标CarbonData表中的表。 注意事项 以下是使用UPDATE命令的条件： 如果源表中的多个输入
在其中执行更新操作的CarbonData表的名称。 column_name 待更新的目标列。 sourceColumn 需在目标表中更新的源表的列值。 sourceTable 将其记录更新到目标CarbonData表中的表。 注意事项 以下是使用UPDATE命令的条件： 如果源表中的多个输入
springboot样例工程 操作场景 为了运行MRS产品ClickHouse组件的SpringBoot接口样例代码，需要完成下面的操作。 本章节以在Windows环境下开发SpringBoot方式连接ClickHouse服务的应用程序为例。 该章节内容适用于MRS 3.3.0及之后版本。 操作步骤
修改Hive服务配置后，保存配置失败，Manager页面Hive服务的配置状态为配置失败。 问题现象 用户A在MRS节点后台上打开了Hive相关配置文件且未关闭，此时用户B在MRS Manager页面的“服务管理”中修改Hive配置项，保存配置并重启Hive服务，此时保存配置失败，并且Hive服务启动失败。
uselocalFileCollect开启的情况下生效。直接序列化的方式，还是间接序列化的方式保存结果数据到磁盘。 优点：针对分区数特别多的表查询结果汇聚性能优于直接使用结果数据保证在磁盘的方式。 缺点：和spark.sql.uselocalFileCollect开启时候的缺点一样。 true：使用该功能
springboot样例工程 操作场景 为了运行MRS产品ClickHouse组件的SpringBoot接口样例代码，需要完成下面的操作。 本章节以在Windows环境下开发SpringBoot方式连接ClickHouse服务的应用程序为例。 该章节内容适用于MRS 3.3.0及之后版本。 操作步骤
建立ClickHouse连接 本章节介绍建立ClickHouse连接样例代码。 以下代码片段在“ClickhouseJDBCHaDemo”类的initConnection方法中。 在创建连接时传入表1中配置的user和password作为认证凭据，ClickHouse会带着用户名和密码在服务端进行安全认证。
大数据平台用户完成身份认证后，系统还需要根据实际权限管理配置，选择是否对用户进行鉴权，确保系统用户拥有资源的有限或全部权限。如果系统用户权限不足，需要由系统管理员为用户授予各个组件对应的权限后，才能访问资源。安全模式或者普通模式集群均提供鉴权能力，组件的具体权限项在两种模式中相同。 新安装的安全模式集群默认即安
uselocalFileCollect开启的情况下生效。直接序列化的方式，还是间接序列化的方式保存结果数据到磁盘。 优点：针对分区数特别多的表查询结果汇聚性能优于直接使用结果数据保证在磁盘的方式。 缺点：和spark.sql.uselocalFileCollect开启时候的缺点一样。 true：使用该功能。
MRS集群支持创建Task节点，只作为计算节点，不存放持久化的数据，是实现弹性伸缩的基础。 客户价值 在MRS服务只作为计算资源的场景下，使用Task节点可以节省成本，并可以更加方便快捷地对集群节点进行扩缩容，满足用户对集群计算能力随时增减的需求。 用户场景 当集群数据量变化不大而集群业务处
“所有”，表示删除当前所有的作业。 “指定作业”，表示指定需要删除的作业。选择“指定作业”，在作业列表中勾选需要删除的作业。 单击“确定”，开始删除作业。当弹出框中进度条显示100%，则说明作业删除完成。 父主题： 作业管理
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
