检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
1)).reduceByKey(_+_).collect() 您可以直接在命令行中指定Keytab和Principal以获取认证,定期更新登录票据和授权tokens,避免认证过期。示例如下: spark-shell --principal spark2x/hadoop.<系统域名>@<系统域名>
Hue服务所依赖内部服务DBService故障。 与DBService连接的网络异常。 处理步骤 检查KrbServer服务是否正常。 登录MRS集群详情页面,选择“组件管理”。 在服务列表中查看“KrbServer”的“健康状态”是否为“良好”。 是,执行5。 否,执行3。
处理步骤 检查ClickHouse业务压力是否过大 登录FusionInsight Manager页面,选择“运维 > 告警 > 告警”,查看当前告警“定位信息”中的角色名以及确认主机名所在的IP地址。 以客户端安装用户,登录客户端的节点,执行如下命令: cd {客户端安装路径}
_0004,扫描数据量阈值配置10GB,但是因为判断周期和任务并发影响,可能在15GB甚至更高才进行熔断。 配置Hive SQL防御规则 登录FusionInsight Manager,选择“集群 > SQL防御”,打开SQL防御页面。 参考添加MRS SQL防御规则添加针对Hive的SQL防御规则。
Ranger权限配置 登录FusionInsight Manager,选择“系统 > 权限 > 用户组 > 添加用户组”。 创建一个空角色的用户组,例如,名称为“obs_flink”,并将该用户组绑定给对应用户。 使用rangeradmin用户登录Ranger管理页面。 在首页中单击“EXTERNAL
上传完成后如图3所示。 图3 数据文件列表 登录MRS控制台,在左侧导航栏选择“现有集群”,单击集群名称,该集群需要包含Hadoop组件,且已为MRS集群绑定具有OBS文件系统操作权限的IAM权限委托。 查看或绑定委托的操作如下: 登录MRS集群的“概览”页面,查看“委托”参数是
配置Flume参数。 使用FusionInsight Manager界面中的Flume配置工具来配置Flume角色服务端参数并生成配置文件。 登录FusionInsight Manager,选择“集群 > 服务 > Flume > 配置工具”。 图2 选择配置工具 “Agent名”选
ZooKeeper服务所有quorumpeer实例业务IP。登录FusionInsight Manager,选择“集群 > 服务 > ZooKeeper > 实例”,可查看所有quorumpeer实例所在主机业务IP地址。 ZooKeeper客户端端口号 登录FusionInsight Manager,选择“集群
Certificate”,以omm用户登录主OMS管理节点,执行2。 管理节点的主备状态及对应IP地址可在FusionInsight Manager主机管理界面查看。 告警附加信息中显示“HA root Certificate”,查看“定位信息”获取告警所在节点主机名,以omm用户登录该主机,执行3。
完成数据库连接数最大值修改后,需要重启DBService服务(不要重启其上层服务)。 操作步骤:登录FusionInsight Manager,选择“集群 > 服务 > DBService > 更多 > 重启服务”,输入当前登录的用户密码确认身份,单击“确定”。注意,不要勾选“同时重启上层服务”,单击“确定”完成重启。
配置Flume角色客户端参数。 使用FusionInsight Manager界面中的Flume配置工具来配置Flume角色客户端参数并生成配置文件。 登录FusionInsight Manager,选择“集群 > 服务 > Flume > 配置工具”。 图1 选择配置工具 “Agent名”选
Manager的主管理节点,需要在Master1节点中执行命令,确认MRS Manager的主管理节点。命令请参考2.d。 以root用户使用密码方式登录Master1节点。操作方法请参见登录集群节点章节。 切换至omm用户。 sudo su - root su - omm 执行以下命令确认MRS Manager的主管理节点。
Client端进程故障。 Flume Client端配置错误。 处理步骤 检查Flume Client与Flume Server的网络状况。 登录告警定位参数中描述的Flume ClientIP所在主机,执行以下命令切换root用户。 sudo su - root 执行ping Flume
告警对应Znode是否被写入较多数据。 是,执行3。 否,执行4。 图1 资源使用(按二级Znode) 登录ZooKeeper客户端,删除告警对应Znode下的无用数据。 登录FusionInsight Manager,选择“集群 > 待操作集群的名称 > 服务 > ZooKee
下载认证凭据 配置Flume参数。 使用FusionInsight Manager界面中的Flume来配置Flume角色服务端参数并生成配置文件。 登录FusionInsight Manager,选择“集群 > 服务 > Flume > 配置工具”。 图2 选择配置工具 “Agent名”选
下载认证凭据 配置Flume参数。 使用FusionInsight Manager界面中的Flume来配置Flume角色服务端参数并生成配置文件。 登录FusionInsight Manager,选择“集群 > 服务 > Flume > 配置工具”。 图2 选择配置工具 “Agent名”选
配置Flume参数。 使用FusionInsight Manager界面中的Flume配置工具来配置Flume角色服务端参数并生成配置文件。 登录FusionInsight Manager,选择“集群 > 服务 > Flume > 配置工具”。 图2 选择配置工具 “Agent名”选
已安装ClickHouse客户端。 在Manager已创建具有ClickHouse相关表权限的用户。 已准备好备份服务器。 备份数据 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env
RestServer实例IP地址可登录FusionInsight Manager,选择“集群 > 服务 > HBase > 实例”获取。 [3]安全模式采用https模式进行访问HBase REST服务,传入“securityModeUrl”作为test.test()参数。 安全登录 private
编译并生成Jar包,并将Jar包复制到与依赖库文件夹同级的目录“src/main/resources”下,具体步骤请参考在Linux调测程序。 使用集群安装用户登录集群客户端节点。 cd /opt/client source bigdata_env 创建输入Topic和输出Topic,与样例代码中指定