检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
成,且总长度不超过200个字符。 例如“/default/rack0”。 如果待修改机架中所包含的主机中有DataNode实例,请确保所有DataNode实例所在主机的机架名称的层级一致。否则,会导致配置下发失败。 单击“确定”,完成机架分配设置。 父主题: 管理MRS集群节点
avro”关键字确认Flume Sink是否是avro类型。 是,执行10。 否,执行13。 以root用户登录故障节点所在主机,执行ping Flume Sink配置的IP地址命令查看对端主机是否可以ping通,用户密码为安装前用户自定义,请咨询系统管理员。 是,执行13。 否,执行11。 联系网络管理员恢复网络。
x之前版本。 登录MRS Manager页面,选择“服务管理 > Yarn > 实例”。 分别单击两个ResourceManager名称,选择“更多 > 同步配置”,并选择不勾选“重启配置过期的服务或实例。”。 图1 同步配置 单击“是”进行配置同步。 以root用户分别登录Master节点。
kinit 组件业务用户 代码认证 通过获取客户端的principal和keytab文件在应用程序中进行认证。 安全认证代码 目前是统一调用LoginUtil类进行安全认证。 在MapReduce样例工程代码中,test@HADOOP.COM、user.keytab和krb5.con
“服务器IP地址”:填写备份数据的服务器IP地址。 “端口号”:填写SFTP协议连接备份服务器使用的端口号,默认值为“22”。 “用户名”:填写使用SFTP协议连接服务器时的用户名。 “密码”:填写使用SFTP协议连接服务器时的密码。 “源端路径”:填写备份文件在备份服务器中保存的完整路径
MRS与外部数据源交换数据和文件时需要连接数据源。系统提供以下连接器,用于配置不同类型数据源的连接参数: generic-jdbc-connector:关系型数据库连接器。 ftp-connector:FTP数据源连接器。 hdfs-connector:HDFS数据源连接器。 oracle-co
配置Spark数据传输加密 操作场景 本章节指导用户设置Spark安全通道加密,以增强安全性。 该章节仅适用于MRS 3.x及之后版本。 配置Spark数据传输加密 参数修改入口:登录Manager页面,选择“集群 > 服务 > Spark > 配置”,展开“全部配置”页签,在搜索框中输入相关参数名称。
clickhouse client --host clickhouse实例节点IP --port 9000 -m --user clickhouse -password 'clickhouse用户密码' 查看ClickHouse用户密码: 登录FusionInsight Manager界面,选择“集群
useServer节点执行失败或未执行。 处理步骤 登录FusionInsight Manager页面,选择“运维 > 告警 > 告警”,查看当前告警“定位信息”中的角色名以及确认主机名所在的IP地址。 以客户端安装用户,登录客户端的节点,执行如下命令: cd {客户端安装路径}
单击“Attempt ID”列的ID 图4 单击“Logs” 使用具有当前Flink作业的管理操作权限的用户登录Manager,选择“集群 > 服务 > Flink”,单击“Flink WebUI”后的链接,单击“作业管理”,在作业的“操作”列选择“更多 > 作业详情”也可查看Taskmanager日志。
查看MRS集群日志 MRS集群日志概述 查看MRS云服务操作日志 查看历史MRS集群信息 查看MRS集群审计日志 查看MRS组件角色实例日志 在线检索MRS集群日志 下载MRS集群日志 采集MRS集群服务堆栈信息 配置MRS组件默认日志级别与归档文件大小 配置MRS集群审计日志本地备份数
/default/rack0/datanodeip:port。 该问题是由于某个block块损坏或者丢失,导致该block对应的机器ip和port为空引起的,出现该问题的时候使用hdfs fsck检查对应文件块的健康状态,删除损坏或者恢复丢失的块,重新进行任务计算即可。 父主题:
clientPath:客户端安装路径,可以包含多个路径,以空格分隔多个路径。注意路径不要以“/”结尾。 user:节点用户名。 password:节点用户密码信息。 如果执行失败,请在执行目录的work_space/log_XXX下查看node.log日志。 配置文件中包含认
加乃至故障等。 处理步骤 登录FusionInsight Manager,选择“运维 > 告警 > 告警”,查找告警“ALM-47004 MemArtsCC Worker的read请求平均时延超过阈值”,根据告警信息找到状态异常的MemArtsCC实例节点,并从附加信息中找到当前告警值。
ClickHouse开启mysql_port配置 本章节指导用户使用MySQL客户端连接ClickHouse。 操作步骤 登录FusionInsight Manager,选择“集群 > 服务 > ClickHouse >配置 > 全部配置”。搜索参数项“clickhouse-co
MRS与外部数据源交换数据和文件时需要连接数据源。系统提供以下连接器,用于配置不同类型数据源的连接参数: generic-jdbc-connector:关系型数据库连接器。 hdfs-connector:HDFS数据源连接器。 oracle-connector:Oracle数据库专用连接器,使用row_
打印审计日志,会占用一定磁盘空间。该日志打印量不大,MB级别,且默认配置有老化机制和检测磁盘剩余空间机制,不会占满磁盘。 定位方法 在DataNode进程可能发生重启的所有节点,分别执行以下操作。 以root用户登录节点,执行service auditd status命令,确认该服务状态。
/default/rack0/datanodeip:port。 该问题是由于某个block块损坏或者丢失,导致该block对应的机器ip和port为空引起的,出现该问题的时候使用hdfs fsck检查对应文件块的健康状态,删除损坏或者恢复丢失的块,重新进行任务计算即可。 父主题:
假定某个Flink业务1每秒就会收到1条消息记录,消息记录某个用户的基本信息,包括名字、性别、年龄。另有一个Flink业务2会不定时收到1条消息记录,消息记录该用户的名字、职业信息。 基于某些业务要求,开发的Flink应用程序实现功能:实时的以根据业务2中消息记录的用户名字作为关键字,对两个业务数据进行联合查询。
假定某个Flink业务1每秒就会收到1条消息记录,消息记录某个用户的基本信息,包括名字、性别、年龄。另有一个Flink业务2会不定时收到1条消息记录,消息记录该用户的名字、职业信息。 基于某些业务要求,开发的Flink应用程序实现功能:实时的以根据业务2中消息记录的用户名字作为关键字,对两个业务数据进行联合查询。