检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
1、命令行方式提交,这种需要将应用程序jar包复制到客户端机器上执行客户端命令提交 * 2、远程方式提交,这种需要将应用程序的jar包打包好之后在IntelliJ IDEA中运行main方法提交 * 3、本地提交 ,在本地执行应用程序,一般用来测试
MRS作业分类 MRS作业是MRS为用户提供的程序执行平台,用于处理和分析用户数据。用户可以在MRS管理控制台中在线创建作业任务,也可以通过集群客户端后台方式提交作业。 MRS作业处理的数据通常来源于OBS或HDFS,用户创建作业前需要将待分析数据上传至OBS系统,MRS使用OBS中的数据进行计算分析。
志混在一起打印,如何将业务日志单独输出至指定文件? 回答 Flink所有的运行日志打印都会打印至Yarn的本地目录下,默认所有Log都会输出至Yarn container本地目录下taskmanager.log,所有调用System.out打印都会输出至taskmanager.out文件。查看方式如下:
选择“保存 > 确定”后等待操作成功。 滚动重启Yarn服务,输入密码并单击“确定”后等待操作成功。 进入主管理节点重启AOS服务。 使用PuTTY工具以omm用户登录主OMS服务器。 执行以下命令,防止“PuTTY”超时退出。 TMOUT=0 执行完本章节操作后,请及时恢复超时退
使用新建的用户dorisuser重新登录FusionInsight Manager,修改该用户初始密码。 集群未启用Kerberos认证(普通模式) 使用admin用户连接Doris后,创建具有管理员权限的角色并绑定给用户。 已安装MySQL客户端,相关操作可参考使用MySQL客户端连接Doris。 已准备待导入至Doris的数据文件。
sql”文件上传至客户端环境。 per-job模式:将上述文件上传到“客户端安装目录/Flink/flink”。 yarn-application模式:将上述文件上传到“客户端安装目录/Flink/flink/yarnship”。 yarn-session模式:将上述文件上传到“客户端安装目
sql”文件上传至客户端环境。 per-job模式:将上述文件上传到“客户端安装目录/Flink/flink”。 yarn-application模式:将上述文件上传到“客户端安装目录/Flink/flink/yarnship”。 yarn-session模式:将上述文件上传到“客户端安装目
Linux环境下运行。 在Linux环境下可以使用storm命令行完成拓扑的提交。 前提条件 已安装Storm客户端。 当客户端所在主机不是集群中的节点时,需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 已执行生成Storm应用J
对单词记录进行分类统计。 计算结果,并进行打印。 打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“ /opt/female/” )下。 运行任务 在
加supergroup用户组才能代理其他用户鉴权),如hetuadmin1。 kinit hetuadmin1 根据提示输入用户密码,首次登录需重置密码。 再使用--session-user指定代理用户,如user1。 hetu-cli --session-user user1
平滑的弹性扩容能力 随着业务的快速增长,面对集群存储容量或者CPU计算资源接近极限等场景,MRS服务提供了ClickHouse数据迁移工具,该工具可以将某几个ClickHouseServer实例节点上的一个或多个MergeTree引擎分区表的部分分区迁移至其他ClickHouse
文件句柄数不满足当前业务需求。 系统环境异常。 处理步骤 增大文件句柄数。 登录MRS集群详情页面,选择“告警管理”。 在实时告警列表中,单击此告警。在“告警详情”区域,获取告警所在主机IP地址。 使用PuTTY工具,以root用户登录告警所在主机。 执行命令ulimit -n,查看当前系统最大句柄设置数。
HBase应用程序支持在已安装或未安装HBase客户端的Linux环境中运行。在程序代码完成开发后,您可以上传Jar包至准备好的Linux运行环境中运行。 前提条件 已安装客户端时: 已安装HBase客户端。 当客户端所在主机不是集群中的节点时,需要在客户端所在节点的hosts文件中设置主机名
需要重启controller,重新获取token。操作步骤如下: 登录FusionInsight Manager界面,单击右上角任务中心图标,确认任务管理中心无执行中的任务。 使用PuTTY工具,以omm用户登录主管理节点。 执行以下命令重启controller。 sh ${BI
ask节点的方式实现。 密码要求 MRS不会保存您设置的登录Master节点的初始密码,请您设置并保管好密码。为避免被恶意攻击,建议设置复杂度高的密码。 技术支持 集群处于非人为异常状态时,可以联系技术支持人员,技术支持人员征得您同意后会请您提供密码,登录MRS集群进行问题排查。
多。 处理步骤 登录集群客户端。 以root用户登录任意一个Master节点,用户密码为创建集群时用户自定义的密码。 如果集群开启Kerberos认证,执行如下命令进入客户端安装目录并设置环境变量,再认证用户并按照提示输入密码,该密码请向管理员获取。 cd 客户端安装目录 source
磁盘小文件过多。 系统环境异常。 处理步骤 磁盘小文件过多。 登录MRS集群详情页面,选择“告警管理”。 在实时告警列表中,单击此告警。在“告警详情”区域,获取告警所在主机地址和磁盘分区。 使用PuTTY工具,以root用户登录告警所在主机。 执行命令df -i 分区名称,查看磁盘当前Inode使用率。
集群购买成功后,在MRS集群的任一节点内,使用omm用户安装集群客户端,具体操作可参考安装并使用集群客户端。 例如客户端安装目录为“/opt/client”。 步骤2:准备测试数据 在创建Flink作业进行数据分析前,需要在提前准备待分析的测试数据,并将该数据上传至OBS文件系统中。 本地创建一个“mrs_flink_test
使用具有Manager管理员权限的用户登录FusionInsight Manager页面,选择“集群 > 服务 > Doris”。 在概览页面,单击“FE WebUI”右侧的超链接进入Doris WebUI登录页面,输入具有Doris管理权限的用户名和密码(集群已启用Kerberos认证
目前支持使用Hive读取DB2和Oracle两种关系型数据库的数据。 前提条件 已安装Hive客户端。 操作步骤 以Hive客户端安装用户登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd 客户端安装目录 例如安装目录为“/opt/client”,则执行以下命令: cd /opt/client