检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Linux中未安装客户端时提交Storm拓扑 操作场景 Storm支持拓扑在未安装Storm客户端的Linux环境中运行。 前提条件 客户端机器的时间与MRS集群的时间要保持一致,时间差要小于5分钟。 当Linux环境所在主机不是集群中的节点时,需要在节点的hosts文件中设置主
在Linux环境中调测HDFS应用 操作场景 HDFS应用程序支持在Linux环境中运行。在程序代码完成开发后,可以上传Jar包至准备好的Linux环境中运行。 HDFS应用程序运行完成后,可直接通过运行结果查看应用程序运行情况,也可以通过HDFS日志获取应用运行情况。 前提条件
在Linux环境中调测HDFS应用 操作场景 HDFS应用程序支持在Linux环境中运行。在程序代码完成开发后,可以上传Jar包至准备好的Linux环境中运行。 HDFS应用程序运行完成后,可直接通过运行结果查看应用程序运行情况,也可以通过HDFS日志获取应用运行情况。 前提条件
使用Hive异常文件定位定界工具 操作场景 由于某些异常操作或者磁盘损坏等原因导致Hive存储的数据文件出现异常,异常的数据文件会导致任务运行失败或者数据结果不正确。 该工具用于对常见的非文本类的数据文件格式进行异常排查。 该章节内容仅适用MRS 3.2.0及之后版本。 操作步骤
手动恢复Doris数据 Doris支持将当前数据以文件的形式,通过Broker备份到远端存储系统中。再通过恢复命令,从远端存储系统中将数据恢复到任意Doris集群中。可实现将Doris数据定期进行快照备份及数据迁移操作。 备份恢复相关的操作目前只允许拥有ADMIN权限的用户执行。
调测Kafka Producer样例程序 前提条件 已配置Windows通过EIP访问集群Kafka,详情请参见配置Windows通过EIP访问集群Kafka。 如需在Linux调测程序,需要确保当前用户对“src/main/resources”目录下和依赖库文件目录下的所有文件
登录ECS需要Windows系统的账号、密码,弹性IP地址以及配置安全组规则。具体请参见Windows云服务器登录方式。 在Windows的远程桌面中,打开浏览器访问Manager。 Manager访问地址为https://OMS浮动IP地址:28443/web地址。访问时需要输入集群
登录ECS需要Windows系统的账号、密码,弹性IP地址以及配置安全组规则。具体请参见Windows云服务器登录方式。 在Windows的远程桌面中,打开浏览器访问Manager。 Manager访问地址为https://OMS浮动IP地址:28443/web地址。访问时需要输入集群
更改NodeManager的存储目录 操作场景 Yarn NodeManager定义的存储目录不正确或Yarn的存储规划变化时,MRS集群管理员需要在Manager中修改NodeManager的存储目录,以保证Yarn正常工作。NodeManager的存储目录包含本地存放目录“yarn
添加ClickHouse数据源 ClickHouse数据源中同一个Schema(或Database)下不能存在名字内容相同但大小写格式不同的Table,例如:cktable(小写)、CKTABLE(大写)和CKtable(大小写混合),该内容的Table只能有一个,否则HetuE
配置MRS集群审计日志本地备份数 集群组件的审计日志按名称分类,保存在集群各节点“/var/log/Bigdata/audit”,OMS每天凌晨3点自动备份这些审计日志目录。 各节点审计日志目录会按<节点IP>.tar.gz的文件名压缩,所有压缩文件再按<yyyy-MM-dd_HH-mm-ss>
ALM-12085 服务审计日志转储失败 告警解释 系统每天凌晨三点启动服务审计日志转储,将服务审计日志备份到OMS节点,如果转储失败,则发送告警。当下一次转储成功,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 12085 次要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。
调测Kafka Producer样例程序 前提条件 如需在Windows调测程序,需要配置Windows通过EIP访问集群Kafka,详情请参见配置Windows通过EIP访问集群Kafka。 如需在Linux调测程序,需要确保当前用户对“src/main/resources”目
调测Kafka Producer样例程序 前提条件 如需在Windows调测程序,需要配置Windows通过EIP访问集群Kafka,详情请参见配置Windows通过EIP访问普通模式集群Kafka。 如需在Linux调测程序,需要确保当前用户对“src/main/resourc
调测Kafka Producer样例程序 前提条件 如需在Windows调测程序,需要配置Windows通过EIP访问集群Kafka,详情请参见配置Windows通过EIP访问安全模式集群Kafka。 如需在Linux调测程序,需要确保当前用户对“src/main/resourc
cn-north-1.myhuaweicloud.com/。 配置华为开源镜像仓 华为提供开源镜像站(网址为https://mirrors.huaweicloud.com/),各服务样例工程依赖的jar包都可在华为开源镜像站下载,剩余所依赖的开源jar包请直接从Maven中央库或者其他用户自定义的仓库地址下载。
在Linux环境中调测HDFS应用 操作场景 HDFS应用程序支持在Linux环境中运行。在程序代码完成开发后,可以上传Jar包至准备好的Linux环境中运行。 HDFS应用程序运行完成后,可直接通过运行结果查看应用程序运行情况,也可以通过HDFS日志获取应用运行情况。 前提条件
数据迁移到MRS前信息收集 由于离线大数据搬迁有一定的灵活性,迁移前需要掌握现有集群的详细信息,以能够更好的进行迁移决策。 业务信息调研 大数据平台及业务的架构图。 大数据平台和业务的数据流图(包括峰值和均值流量等)。 识别平台数据接入源、大数据平台数据流入方式(实时数据上报、批量数据抽取)、分析平台数据流向。
HBase容灾集群业务切换指导 操作场景 MRS集群管理员可配置HBase集群容灾功能,以提高系统可用性。容灾环境中的主集群完全故障影响HBase上层应用连接时,需要为HBase上层应用配置备集群信息,才可以使得该应用在备集群上运行。 对系统的影响 切换业务后,写入备集群的数据默
HBase容灾集群业务切换指导 操作场景 MRS集群管理员可配置HBase集群容灾功能,以提高系统可用性。容灾环境中的主集群完全故障影响HBase上层应用连接时,需要为HBase上层应用配置备集群信息,才可以使得该应用在备集群上运行。 本章节适用于MRS 3.x及之后版本。 对系统的影响