检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Flink任务进程参数 操作场景 Flink on YARN模式下，有JobManager和TaskManager两种进程。在任务调度和运行的过程中，JobManager和TaskManager承担了很大的责任。 因而JobManager和TaskManager的参数配置对F
据库名/表名"; 配置Spark基于Hive MetaStore方式对接OBS： 已完成配置Hive基于MetaStore方式对接OBS相关配置操作。 登录FusionInsight Manager，选择“集群 > 服务 > Spark > 配置 > 全部配置 ”。 在左侧的导航列表中选择“SparkResource
compaction&cleaning配置 参数 描述 默认值 hoodie.clean.automatic 是否执行自动clean。 true hoodie.cleaner.policy 要使用的清理策略。Hudi将删除旧版本的parquet文件以回收空间。 任何引用此版本文件
SFTP用户名 root 指定登录SFTP服务器的用户名。 SFTP密码 - 指定登录SFTP服务器的密码。 SFTP公共密钥 - 可选参数，指定SFTP服务器的公共密钥，建议配置SFTP的公共密钥，否则可能存在安全风险。 转储模式 按数量 指定转储模式 “按数量”：日志到达指定条数（默认10万条）时开始转储
同步Hive表配置 参数 描述 默认值 hoodie.datasource.hive_sync.enable 是否同步hudi表信息到hive metastore。 注意： 建议该值设置为true，统一使用hive管理hudi表。 false hoodie.datasource.hive_sync
配置HDFS通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后，即可在HDFS客户端查看和创建OBS文件目录。 HDFS对接OBS 以客户端安装用户登录安装了HDFS客户端的节点。 执行以下命令，切换到客户端安装目录。 cd 客户端安装目录
> 服务配置”。 将“基础配置”切换为“全部配置”。 搜索并配置如下参数。 “fs.obs.access.key”配置为获取AK/SK和Endpoint信息准备的AK。 “fs.obs.secret.key”配置为获取AK/SK和Endpoint信息准备的SK。 保存配置并重启Hive服务。
配置MRS租户 添加MRS租户 添加MRS子租户 为MRS集群用户绑定租户 添加MRS租户资源池 配置资源池的队列容量策略 配置MRS租户队列 父主题： 管理MRS集群租户
配置Sqoop通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成Sqoop客户端对接OBS文件系统的配置后，可在Sqoop客户端导入关系型数据库的表到OBS中，或导出OBS中的表到关系型数据库中。 前提条件 需在MySQL官网https://downloads
--list 执行删除命令后topic数据为空则此topic会立刻被删除，如果有数据则会标记删除，后续Kafka会自行进行实际删除。 父主题： 组件配置类
配置Presto通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后，Presto即可通过presto_cli.sh客户端创建表存储在OBS中。 Presto对接OBS 未开启Kerberos认证的集群 使用客户端安装用户，登录已安装客户端的节点。
不同类型数据库定义的定界符不完全相同。 文件服务器连接 文件服务器连接包含FTP连接和SFTP连接，是Loader与文件服务器进行数据交换的通道，配置参数如表4所示。 表4 ftp-connector或sftp-connector配置 参数 说明 名称 指定一个Loader连接的名称。
> 监控数据上传”，查看监控数据上传页面配置的FTP用户名、密码、端口、转储模式、公钥是否与服务器端配置一致。 是，执行5。 否，执行4。 填入正确的配置信息，然后单击“确定”，检查告警是否恢复。 是，执行完毕。 否，执行5。 查看服务器端保存路径权限是否正常。 选择“系统 > 对接
ALM-12062 OMS参数配置同集群规模不匹配 告警解释 系统每一个小时，整点检查一次OMS参数配置和集群规模是否匹配，如果检查OMS配置的参数不足以支撑当前的集群规模，系统将发送此告警。待用户修改OMS参数配置，该告警会自动清除。 告警属性 告警ID 告警级别 是否自动清除
同步MRS集群配置 某个新的配置需要同时下发到集群所有服务，或修改某项配置后导致多个不同服务的“配置状态”为“配置过期”或“失败”时，表示这些服务的配置参数值未同步且未生效，集群管理员可以对集群执行同步配置功能，并在同步配置后重启相关服务实例，使所有服务启用新的配置参数。 前提条件
表示队列使用的资源池。默认为“default”，如果需要修改为其他资源，需要先配置队列容量，请参见配置资源池的队列容量策略。 单击“确定”完成配置。 MRS 2.x及之前版本集群： 在MRS Manager，单击“租户管理”。 单击“动态资源计划”页签。 单击“队列配置”页签。 在租户队列表格，指定租户队列的“操作”列，单击“修改”。
配置MRS集群通过Guardian对接OBS 配置Guardian服务对接OBS MRS集群服务对接OBS示例 父主题： 配置MRS集群存算分离
应用新规则。 配置MRS集群告警阈值（MRS 2.x及之前版本） 在MRS Manager，单击“系统设置”。 在“配置”区域“监控和告警配置”下，单击“阈值配置”，依据规划选择监控指标并设置其基线。 单击某一指标例如“CPU使用率”，单击“添加规则”。 在“配置”对话框中填写监控指标规则参数。
应较慢。 原因分析 客户配置了DNS服务，由于客户端连接到HBase先通过DNS来解析服务器端，所以导致响应慢。 处理步骤 以root用户登录Master节点。 执行vi /etc/resolv.conf，打开resolv.conf文件，注释掉DNS服务器地址。 例如，#1.1.1
conf”文件中配置以下参数。 在spark-sql模式下配置：登录Spark客户端节点，在“{客户端安装目录}/Spark/spark/conf/spark-defaults.conf”文件中配置表5相关参数。 表5 spark-sql模式下的配置参数 参数 配置值 描述 spark
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
