检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
到HDFS上“/flume/test”目录下。 本章节适用于MRS 3.x及之后版本。 本配置默认集群网络环境是安全的,数据传输过程不需要启用SSL认证。如需使用加密方式,请参考配置Flume加密传输数据采集任务。 前提条件 已安装Flume客户端。 已成功安装集群,包含HDFS、Kafka及Flume服务。
ALM-12040 系统熵值不足(2.x及以前版本) 告警解释 每天零点系统检查熵值,每次检查都连续检查五次,首先检查是否启用并正确配置了rng-tools工具,如果没有配置,则继续检查当前熵值,如果五次均小于500,则上报故障告警。 当检查到真随机数方式已经配置或者伪随机数方式
Manager,修改该用户初始密码。 集群未启用Kerberos认证(普通模式) 使用admin用户连接Doris后,创建具有管理员权限的角色并绑定给用户。 备份Doris数据 登录安装了MySQL的节点,执行以下命令,连接Doris数据库。 如果集群已启用Kerberos认证(安全模式),
请参考修改集群服务配置参数,进入HDFS的“全部配置”页面,在搜索框中输入参数名称。 表1 参数说明 参数 描述 默认值 dfs.mover.auto.enable 是否开启数据副本迁移功能,该功能支持多种。默认值为“false”,表示关闭该特性。 false dfs.mover.auto.cron.expression
khouse”的密码。 本章节适用于MRS 3.3.0-LTS及后续版本。 “default”和“clickhouse”用户为普通模式(未开启kerberos认证)集群下ClickHouse默认内部管理员用户。 如果普通模式ClickHouse的默认用户“default”和“cl
为什么多次运行Spark应用程序会引发致命JRE错误 IE浏览器访问Spark2x原生UI界面失败,无法显示此页或者页面显示错误 Spark2x如何访问外部集群组件 对同一目录创建多个外表,可能导致外表查询失败 访问Spark2x JobHistory中某个应用的原生页面时页面显示错误
Manager访问地址形式为https://Manager浮动IP地址:28443/web。 访问启用Kerberos认证的集群时,需要输入MRS集群的用户名和密码,例如“admin”用户。未启用Kerberos认证的集群则不需要。 第一次访问时,请根据浏览器提示,添加站点信任以继续打开页面。
”列,单击“修改”。 在“修改资源分配”窗口设置任务队列在此资源池中的资源容量策略,需确保最大资源项大于0。 配置HetuEngine参数开启Coordinator放置策略,输入节点资源标签。 选中“集群 > 服务 > HetuEngine > 配置 > 全部配置”,配置如下参数,单击“保存”保存配置。
<Topic名称> --group <消费者组名称> MRS 1.6.3及之前版本,无论集群是否开启Kerberos认证ZooKeeper默认端口号均为24002。MRS 1.6.3及之后版本,无论集群是否开启Kerberos认证ZooKeeper默认端口号均为2181。 针对不同的Topic访问场景
source bigdata_env 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户,当前用户需要具有创建HBase表的权限,具体请参见创建角色配置拥有对应权限的角色,参考创建用户章节,为用户绑定对应角色。如果当前集群未启用Kerberos认证,则无需执行此命令。 kinit
执行以下命令配置环境变量。 source bigdata_env 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户,当前用户需要具有创建ClickHouse表的权限。如果当前集群未启用Kerberos认证,则无需执行本步骤。 如果是MRS 3.1.0版本集群,则需要先执行:
执行以下命令配置环境变量。 source bigdata_env 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户,当前用户需要具有创建ClickHouse表的权限。如果当前集群未启用Kerberos认证,则无需执行本步骤。 如果是MRS 3.1.0版本集群,则需要先执行:
习,或者可以根据指导,新建一个Spark工程。 导入并配置Spark样例工程 新建Spark样例工程(可选) 配置安全认证 如果您使用的是开启了kerberos认证的MRS集群,需要进行安全认证。 配置Spark应用安全认证 根据场景开发工程 提供了Scala、Java、Pyth
IP地址。 以客户端安装用户,登录客户端的节点,执行如下命令: cd {客户端安装路径} source bigdata_env 安全模式(开启Kerberos): kinit 组件业务用户 clickhouse client --host 上报告警的ClickHouseServer实例IP
wal.hsync 设置是否启用WAL文件耐久性以将WAL数据持久化到磁盘。如果将该参数设置为“true”,则性能将受到影响,因为每个WAL的编辑都会被Hadoop fsync同步到磁盘上。 false hbase.hfile.hsync 设置是否启用Hfile耐久性以将数据持久
source bigdata_env 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户,当前用户需要具有创建ClickHouse表的权限,具体请参见创建ClickHouse角色章节,为用户绑定对应角色。如果当前集群未启用Kerberos认证,则无需执行本步骤。 如果是MRS
name对应新建的用户hbaseuser,userKeytabName和krb5ConfName路径对应从准备HBase应用开发用户中获取的认证相关文件名称(未开启Kerberos认证集群可跳过此步)。 user.name=hbaseuser userKeytabName=user.keytab krb5ConfName=krb5
配置并导入样例工程 MRS提供了不同组件场景下的多种样例程序,用户可获取样例工程并导入本地开发环境中进行程序学习。 配置安全认证 连接开启了Kerberos认证的MRS集群时,应用程序中需配置具有相关资源访问权限的用户进行安全认证。 根据业务场景开发程序 根据实际业务场景开发程序,调用组件接口实现对应功能。
图2展示了用户将两个不同时间到期的资源,同时续费一个月,并设置“统一到期日”后的效果对比。 图2 统一到期日 更多关于统一到期日的规则请参见如何设置统一到期日。 父主题: 续费
source bigdata_env 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户,当前用户需要具有创建HBase表的权限,具体请参见创建角色配置拥有对应权限的角色,参考创建用户为用户绑定对应角色。如果当前集群未启用Kerberos认证,则无需执行此命令。 kinit