正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Flink任务进程参数 操作场景 Flink on YARN模式下,有JobManager和TaskManager两种进程。在任务调度和运行的过程中,JobManager和TaskManager承担了很大的责任。 因而JobManager和TaskManager的参数配置对F
在“入方向规则”页签,选择“添加规则”,在“添加入方向规则”窗口配置Windows的IP和21007、21730TCP、21731TCP/UDP、21732TCP/UDP端口。 图3 添加入方向规则 。 在Manager界面选择“集群 > 服务 > Kafka > 配置 > 全部配置”,搜索“kafka.config
为什么新创建用户修改完密码后无法登录Ranger 问题 使用新建用户登录Ranger页面,为什么在修改完密码后登录报401错误? 回答 由于UserSync同步用户数据有时间周期,默认是5分钟,因此在Manager上新创建的用户在用户同步成功前无法登录Ranger,因为Ranger
安装Flink客户端 Flink使用Windows环境进行开发,运行环境则建议部署在Linux环境下,MRS客户端不支持安装在Windows环境。您可以执行如下操作完成客户端的配置。 操作步骤 安装Flink客户端。 确认服务端Flink组件已经安装。 下载Flink客户端程序。
用。 登录FusionInsight Manager界面,选择“集群 > ClickHouse > 配置 > 全部配置 > ClickHouseServer > 自定义 > clickhouse-config-customize”,添加如下配置,保存配置,重启服务。 配置项 参考值
加速后台任务,需要优先调整Zookeeper服务配置,否则Zookeeper会因为znode等资源不足,导致ClickHouse服务异常,后台任务异常。 调整Zookeeper配置:登录FusionInsight Manager界面,选择“集群 > Zookeeper > 配置 > 全部配置 > quorumpeer
操作步骤 读数据服务端调优 参数入口:登录FusionInsight Manager,选择“集群 > 服务 > HBase > 配置 > 全部配置”,进入HBase服务参数“全部配置”界面,具体操作请参考修改集群服务配置参数章节。 表1 影响实时读数据配置项 配置参数 描述 默认值
例用作维护实例。配置已存在计算实例为维护实例时,其状态需为“已停止”。 配置HetuEngine维护实例步骤 使用用于访问HetuEngine WebUI界面的用户登录FusionInsight Manager。 选择“集群 > 服务 > HetuEngine”,进入HetuEngine服务页面。
加速后台任务,需要优先调整Zookeeper服务配置,否则Zookeeper会因为znode等资源不足,导致ClickHouse服务异常,后台任务异常。 调整Zookeeper配置:登录FusionInsight Manager界面,选择“集群 > Zookeeper > 配置 > 全部配置 > quorumpeer
输入访问用户名后才可上传文件。 集群客户端配置文件获取方法: 登录FusionInsight Manager,选择“集群 > 概览”。 选择“更多 > 下载客户端 > 仅配置文件”,选择平台类型后单击“确定”。 用户凭据获取方法: 登录FusionInsight Manager,单击“系统”。
初始化HBase配置 功能介绍 HBase通过login方法来获取配置项。包括用户登录信息、安全认证信息等配置项。 代码样例 下面代码片段在com.huawei.bigdata.hbase.examples包的“TestMain”类的init方法中。 private static
Tez常用配置参数 参数入口 在Manager系统中,选择“集群 > 服务 > Tez > 配置”,选择“全部配置”。在搜索框中输入参数名称。 本章节适用于MRS 3.x及后续版本。 参数说明 表1 参数说明 配置参数 说明 缺省值 property.tez.log.dir Tez日志目录。
同步Hive表配置 参数 描述 默认值 hoodie.datasource.hive_sync.enable 是否同步hudi表信息到hive metastore。 注意: 建议该值设置为true,统一使用hive管理hudi表。 false hoodie.datasource.hive_sync
index相关配置 参数 描述 默认值 hoodie.index.class 用户自定义索引的全路径名,索引类必须为HoodieIndex的子类,当指定该配置时,其会优先于hoodie.index.type配置。 "" hoodie.index.type 使用的索引类型,默认为布隆过滤器。可能的选项是[BLOOM
需要和待访问集群的配置相同。 选择一个Windows系统的公共镜像。 其他配置参数详细信息,请参见“弹性云服务器 > 快速入门 > 购买并登录Windows弹性云服务器”。 开启Kerberos认证集群需要在Windows上配置集群的ip与主机名映射关系。登录集群后台,执行命令cat
Flink常用配置参数 配置说明 Flink所有的配置参数都可以在客户端侧进行配置,建议用户直接修改客户端的“flink-conf.yaml”配置文件进行配置,如果通过Manager界面修改Flink服务参数,配置完成之后需要重新下载安装客户端: 配置文件路径:客户端安装路径/Fli
用户加密 配置跨Manager互信,当前Kerberos服务端仅支持并使用“aes256-cts-hmac-sha1-96:normal”和“aes128-cts-hmac-sha1-96:normal”加密类型加密跨域使用的用户,不支持修改。 用户认证 配置跨Manager
32767:from all lookup default 没有配置ntp外部服务器时只会有一条om路由信息“om_rt”。 本章节仅适用于MRS 3.x及以后版本。 如果FusionInsight Manager创建的路由信息与企业网络规划配置的路由信息发生冲突时,集群管理员可以使用“autoroute
Hudi常见配置参数 本章节介绍Hudi重要配置的详细信息,更多配置请参考Hudi官网http://hudi.apache.org/cn/docs/configurations.html。 写入操作配置 表1 写入操作重要配置项 参数 描述 默认值 hoodie.datasource
配置互信MRS集群的用户权限 配置完跨Manager集群互信后,需要在互信的系统上设置访问用户的权限,这样指定的用户才能在互信系统上进行对应的业务操作。 前提条件 已完成跨集群互信配置,然后刷新两个集群的客户端。 配置互信集群的用户权限(MRS 3.x及之后版本) 登录本端系统的FusionInsight