检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
例。 调度系统,需要考虑调度系统对接MRS集群。 迁移后,业务割接允许中断时长,识别平台业务优先级。 识别在迁移过程中不能中断的业务、可短时中断的业务、整体业务迁移可接受的迁移时长,梳理业务迁移顺序。 客户端部署要求。 业务执行时间段和高峰时间段。 大数据集群的数量和大数据集群功能划分,分析平台业务模型。
不同的Eclipse不要使用相同的workspace和相同路径下的示例工程。 准备一个应用程序运行测试的Linux环境。 准备运行调测环境 在弹性云服务器管理控制台,申请一个新的弹性云服务器,用于应用开发、运行、调测。 弹性云服务器的安全组需要和MRS集群Master节点的安全组相同。 弹性云服务器的VPC需要与MRS集群在同一个VPC中。
提交MapReduce任务时客户端长时间无响应 问题 向YARN服务器提交MapReduce任务后,客户端提示如下信息后长时间无响应。 16/03/03 16:44:56 INFO hdfs.DFSClient: Created HDFS_DELEGATION_TOKEN token
产生告警的主机名。 对系统的影响 服务审计日志在系统本地最多保存7个压缩文件,如果该故障持续存在,本地服务审计日志可能会丢失。 管理审计日志每达到10万条会以文件形式转储到本地,存储在本地的文件最多保留50个,如果该故障持续存在,管理审计日志可能会丢失。 可能原因 无法连接OBS服务器。 指定的OBS文件系统不存在。
Spark2x可以使用Java/Scala/Python语言进行应用开发,要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows 7以上版本。 运行环境:Windows系统或Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。
创建MRS集群时计价器为什么未显示价格? MRS集群中的弹性伸缩功能如何收费? MRS集群的Task节点如何收费? 退订MRS集群后在ECS中退订弹性云服务器时报异常如何处理?
Kafka开发应用时,需要准备的开发和运行环境如表1所示: 表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows 7以上版本。 运行环境:Windows系统或Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。 安装和配置IntelliJ
Spark2x可以使用Java/Scala/Python语言进行应用开发,要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows 7以上版本。 运行环境:Windows系统或Linux系统。 如需在本地调测程序,运行环境需要和集群业务平面网络互通。
提交MapReduce任务时客户端长时间无响应 问题 向YARN服务器提交MapReduce任务后,客户端长时间无响应。 回答 对于上述出现的问题,ResourceManager在其WebUI上提供了MapReduce作业关键步骤的诊断信息,对于一个已经提交到YARN上的MapR
户端连接服务器的端口和备集群的HBase在ZooKeeper上的根目录。 备集群ZooKeeper实例业务IP地址可在FusionInsight Manager界面,选择“集群 > 服务 > ZooKeeper > 实例”查看。 备集群ZooKeeper客户端连接服务器的端口和备
将下载的样例工程导入到Windows开发环境IDEA中即可开始样例学习。 前提条件 已在Linux环境中安装了完整客户端。 获取Oozie服务器URL(任意节点),这个URL将是客户端提交流程任务的目标地址。 URL格式为:https://oozie实例业务IP:21003/oozie。可登录FusionInsight
将下载的样例工程导入到Windows开发环境IDEA中即可开始样例学习。 前提条件 已在Linux环境中安装了完整客户端。 获取Oozie服务器URL(任意节点),这个URL将是客户端提交流程任务的目标地址。 URL格式为:https://Oozie业务IP:21003/oozie。例如,“https://10
修改域名后,“admin”用户、组件运行用户和系统管理员在修改域名以前添加的“人机”用户,密码会重置为相同密码,请重新修改。重置后的密码由两部分组成:系统生成部分和用户设置部分,系统生成部分为Admin@123,用户设置部分规则参照表2中“密码后缀”参数的说明,默认值为Admin@123。例如:系统生成部分为A
x及之后版本MRS客户端兼容两种CPU架构。 已准备一个弹性云服务器,主机操作系统及版本请参见表1。 表1 参考列表 CPU架构 操作系统 支持的版本号 x86计算 Euler 可用:Euler OS 2.2 可用:Euler OS 2.3 可用:Euler OS 2.5 鲲鹏计算(ARM) Euler
更新管理 密码更新 MRS支持集群内用户密码的更新,建议管理员定期修改密码,提高系统安全性。 密码更新指导如下所示: 修改系统用户密码:请参见修改admin密码和修改操作系统用户密码。 修改系统内部用户密码 修改默认数据库用户密码 证书更新 MRS集群的CA证书与HA证书均支持更
ClickHouse系统表日志过大时如何添加定期删除策略? 问题现象 客户使用ClickHouse,系统表产生的日志过大,一次性删除会耗费较长时间,客户可以添加定期删除策略,即添加TTL。 处理步骤 MRS 3.3.0及之后版本,在Manager页面,选择“集群 > 服务 > ClickHouse>
ALM-12087 系统处于升级观察期 告警解释 系统定时在每天零点查看当前系统是否处于升级观察期,同时检查进入升级观察时间是否超过了为客户预留的升级观察期时间(默认为10天)。当系统处于升级观察期,并且进入升级观察期时间超过了为客户预留的升级观察期时间(默认时间为10天)时,系统触发此告警
spark-shell执行SQL跨文件系统load数据到Hive表失败 用户问题 使用spark-shell命令执行SQL或者spark-submit提交的Spark任务里面有SQL的load命令,并且原数据和目标表存储位置不是同一套文件系统,上述两种方式MapReduce任务启动时会报错。
MRS集群用户绑定多个队列时系统如何选择队列? 问: MRS集群内属于同一个用户组,并且权限也相同的两个用户A和B,同时绑定了queueA以及queueB两个队列。 为什么用户A的任务一直提交到queueA队列,用户B的任务却一直提交到queueB队列? 答: MRS集群内用户绑
通过MRS集群客户端来以命令行形式提交作业。 前提条件 用户已经将运行作业所需的程序包和数据文件上传至OBS系统或HDFS中。 如果作业程序需要读取以及分析OBS文件系统中的数据,需要先配置MRS集群的存算分离,请参考配置MRS集群存算分离。 通过管理控制台提交作业 登录MRS管理控制台。