检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
进入客户端配置文件解压路径的“Kafka\config”,获取Kafka表1中相关配置文件。 表1 配置文件 配置文件 作用 client.properties Kafka的客户端的配置信息。 consumer.properties Kafka的consumer端配置信息。 kafkaSecurityMode
Hue常用配置参数 参数入口 参数入口,请参考修改集群服务配置参数。 参数说明 表1 Hue常用参数 配置参数 说明 缺省值 范围 HANDLER_ACCESSLOG_LEVEL 表示Hue的访问日志级别。 DEBUG ERROR WARN INFO DEBUG HANDLER_AUDITSLOG_LEVEL
LdapServer主备倒换 次要 27000 DBService DBServer主备倒换 次要 38003 Kafka Topic数据保存周期配置调整 提示 43014 Spark Spark 数据倾斜 提示 43015 Spark Spark SQL 超大查询结果 提示 43016
配置Flink任务并行度 操作场景 并行度控制任务的数量,影响操作后数据被切分成的块数。调整并行度让任务的数量和每个任务处理的数据与机器的处理能力达到更优。 查看CPU使用情况和内存占用情况,当任务和数据不是平均分布在各节点,而是集中在个别节点时,可以增大并行度使任务和数据更均匀
Manager,修改该用户初始密码。 集群未启用Kerberos认证(普通模式) 使用admin用户连接Doris后,创建具有管理员权限的角色并绑定给用户。 已安装MySQL客户端,相关操作可参考使用MySQL客户端连接Doris。 如果Doris通过Broker Load跨集群导入数据,需要配置跨集群互信,相
Hudi表查询操作如下: 以Hive客户端安装用户登录安装客户端的节点。 执行以下命令,切换到客户端安装目录,配置环境变量并认证用户。 cd 客户端安装目录 source bigdata_env kinit Hive业务用户(如果集群未开启Kerberos认证,请跳过该操作) 执行以下命令登录Hive客户端。
MRS集群服务对接OBS示例 配置Flink通过Guardian访问OBS 配置HDFS通过Guardian访问OBS 配置HetuEngine通过Guardian访问OBS 配置Hive通过Guardian访问OBS 配置Hudi通过Guardian访问OBS 配置Mapreduce通过Guardian访问OBS
填写角色的名称,例如developrole。 (若安装了HBase,则配置)在“配置资源权限”表格中选择“待操作集群的名称 > HBase > HBase Scope > global”,勾选“default”的“创建”,单击“确定”保存。 (若安装了HBase,则配置)编辑角色,在“配置资源权限”的表格中选择“待操作集群的名称
SSL通信加密,修改客户端配置文件“conf/flink-conf.yaml”。 security.ssl.enabled: false 方法2: 开启Flink SSL通信加密,security.ssl.enabled 保持默认。 正确配置SSL: 配置keystore或trus
安装包含Flink、HBase等服务的客户端,安装路径如:/opt/hadoopclient。 以客户端安装用户登录安装客户端的节点,复制HBase的“/opt/client/HBase/hbase/conf/”目录下的所有配置文件至部署FlinkServer的所有节点的一个空目录,如“/tmp/client/HBase/hbase/conf/”。
ig”文件夹,获取表1中配置文件。 表1 配置文件 获取路径 配置文件 作用 Yarn\config core-site.xml 配置Hadoop Core详细参数。 hbase-site.xml 配置HBase详细参数。 hdfs-site.xml 配置HDFS详细参数。 mapred-site
Hue常用配置参数 参数入口 参数入口,请参考修改集群服务配置参数进入Hue服务“全部配置”页面。 参数说明 Hue常用参数请参见表1。 表1 Hue常用参数 配置参数 说明 缺省值 范围 HANDLER_ACCESSLOG_LEVEL Hue的访问日志级别。 DEBUG ERROR
st” 委托类型:选择“云服务” 云服务:选择“ECS BMS” 持续时间:根据实际情况自定义 在选择策略界面右上角单击“新建策略”,配置如下信息,单击“下一步”。 策略名称:自定义 策略配置方式:选择JSON视图 策略内容:配置如下信息 { "Version": "1.1"
配置MRS集群静态资源 当需要控制集群服务可以使用节点资源的情况,或者控制集群服务在不同时间段节点可用配额的CPU与I/O资源时,集群管理员可以在Manager调整资源基数,并自定义资源配置组。 配置MRS集群静态资源对系统的影响 配置静态服务池后,受影响的服务的配置状态将配置过期,需要重启服务,重启期间服务不可用。
该值关联OS的NICE值,值越小,则进程的CPU优先级越高。 该特性依赖OS的CAP_SYS_NICE能力,集群安装后默认不开启,如需使用,请参考开启ClickHouse租户CPU优先级配置。 父主题: ClickHouse多租户管理
配置HDFS存储策略 功能简介 为HDFS上某个文件或文件夹指定存储策略。 代码样例 登录FusionInsight Manager页面,选择“集群 > 待操作集群的名称 > 服务 > HDFS > 配置 > 全部配置”。 搜索并查看“dfs.storage.policy.ena
VALUES (1,2); 登录ClickHouse客户端安装节点。执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户,当前用户需要
default密码策略和已经被用户绑定的密码策略不能被删除。 修改密码策略 登录Manager。 进入密码策略配置页面。 MRS 2.x及之前版本:选择“系统设置”,单击“密码策略配置”。 MRS 3.x及之后版本:选择“系统 > 权限 > 安全策略 > 密码策略”,单击待修改的密码策略所在行的“修改”。
径。 进入Hive服务配置页面: MRS 3.x之前版本,单击集群名称,登录集群详情页面,选择“组件管理 > Hive > 服务配置”,单击“基础配置”下拉菜单,选择“全部配置”。 若集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的“概览”页签,单击“IA
oozie-instrumentation.log Oozie仪表盘日志,主要记录Oozie运行状态,各组件的配置信息 oozie-jpa.log openJPa运行日志 oozie.log Oozie运行日志 oozie-<SSH_USER>-<DATE>-<PID>-gc.log Oozie服务垃圾回收日志