检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何配置Flume定制脚本 Flume支持定制脚本,支持在传输前或者传输后执行指定的脚本,用于执行准备工作。 本章节适用于MRS 3.x及之后版本。 未安装Flume客户端 获取软件包。 登录FusionInsight Manager,选择“集群 > 待操作集群的名称 > 服务 >
准备MRS节点引导操作脚本 引导操作目前仅支持Linux Shell脚本,脚本文件需以.sh结尾。 准备MRS节点引导操作脚本步骤如下: 上传所需安装包等文件至OBS文件系统。 正式编写脚本前,您需要将所需安装包、配置包的所有相关文件都上传到同Region的OBS文件系统中。 因
如何配置Flume定制脚本 Flume支持定制脚本,支持在传输前或者传输后执行指定的脚本,用于执行准备工作。 未安装Flume客户端场景 获取软件包。 登录FusionInsight Manager,选择“集群 > 待操作集群的名称 > 服务 > Flume”进入Flume服务界面,在右上角选择“更多
id String 参数解释: 虚拟机ID。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 name String 参数解释: 虚拟机名称。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 ip String 参数解释: 虚拟机IP地址。 约束限制: 不涉及
使用Hue提交Oozie HQL脚本 操作场景 该任务指导用户通过Hue界面提交Hive脚本作业。 操作步骤 访问Hue WebUI,请参考访问Hue WebUI界面。 在界面左侧导航栏选择“ > Workflow”,打开Workflow编辑器。 单击“文档”, 在操作列表中选择Hive脚本,将其拖到操作界面中。
名称。 脚本路径 obs://mrs-samples/xxx.sh 脚本的路径。路径可以是OBS文件系统的路径或虚拟机本地的路径。 OBS文件系统的路径,必须以obs://开头,以.sh结尾。例如:obs://mrs-samples/xxx.sh 虚拟机本地的路径,脚本所在的路径必须以‘/’开头,以
使用Hue提交Oozie HQL脚本 操作场景 该任务指导用户通过Hue界面提交Hive脚本作业。 操作步骤 访问Hue WebUI,请参考访问Hue WebUI界面。 在界面左侧导航栏选择“ > Workflow”,打开Workflow编辑器。 单击“文档”, 在操作列表中选择Hive脚本,将其拖到操作界面中。
ql作业。 HiveSql作业用于提交Hive SQL语句和SQL脚本文件查询和分析数据,包括SQL语句和Script脚本两种形式,如果SQL语句中涉及敏感信息,也可使用脚本文件方式提交。 用户可以在MRS管理控制台在线创建一个作业并提交运行,也可以通过MRS集群客户端来以命令行形式提交作业。
的安装部署和参数调优。 MRS服务为客户提供完全可控的大数据集群,客户在创建时可设置虚拟机的登录方式(密码或者密钥对),所创建的MRS集群资源完全归客户所用。同时MRS支持在两节点4U8G的ECS上部署大数据集群,为客户测试开发提供更多的灵活选择。 MRS集群类型包括分析集群、流式集群和混合集群。
使用Phoenix Sqlline脚本报import argparse错误 问题 在客户端使用sqlline脚本时,报import argparse错误。 回答 以root用户登录安装HBase客户端的节点,使用hbase用户进行安全认证。 进入HBase客户端sqlline脚本所在目录执行python3
使用Phoenix Sqlline脚本报import argparse错误 问题 在客户端使用sqlline脚本时,报import argparse错误。 回答 以root用户登录安装HBase客户端的节点,使用hbase用户进行安全认证。 进入HBase客户端sqlline脚本所在目录执行python3
切换,Master1节点不一定是主管理节点。 通过执行脚本确定主备管理节点 获取MRS集群的Master节点信息。 登录MRS管理控制台,选择“现有集群”,单击待操作集群名称,进入集群信息页面。 单击“节点管理”查看Master节点名称,名称中包含“master1”的节点为Mas
后,请参见本节操作对隔离主机进行补丁修复。修复完成后,被隔离的主机节点版本将与其他未被隔离的主机节点一致。 MRS 3.x版本不支持在管理控制台执行本章节操作,本章节仅适用于3.x之前的版本。 访问MRS Manager,详细操作请参见访问MRS集群Manager。 选择“系统设置
SparkSql作业用于查询和分析数据,包括SQL语句和Script脚本两种形式,如果SQL语句涉及敏感信息,也可使用脚本文件方式提交。 用户可以在MRS管理控制台在线创建一个作业并提交运行,也可以通过MRS集群客户端来以命令行形式提交作业。 操作视频 本视频以在MRS集群的管理控制台上提交并查看SparkSql作业为例进行说明。
配置Yarn权限控制开关 配置场景 在安全模式的多租户场景下,一个集群可以支持多个用户使用以及支持多个用户任务提交、运行,用户之间不可见,需要有一个权限控制机制,使用户的任务信息不被其他用户获取。 例如,用户A提交的应用正在运行,此时用户B登录系统并查看应用列表,用户B不应该访问到A用户的应用信息。
配置Yarn权限控制开关 配置场景 在安全模式的多租户场景下,一个集群可以支持多个用户使用以及支持多个用户任务提交、运行,用户之间是不可见,需要有一个权限控制机制,使用户的任务信息不被其他用户获取。 例如,用户A提交的应用正在运行,此时用户B登录系统并查看应用列表,用户B不应该访问到A用户的应用信息。
/opt/Bigdata/client 执行以下命令,配置环境变量。 source bigdata_env 执行以下命令,输入kadmin/admin用户密码后进入kadmin控制台。 kadmin -p kadmin/admin kadmin/admin的默认密码为“Admin@123”,首次登录后需修改密码,请按照提示修改并妥善保存。
申请一台Windows的ECS访问MRS集群操作Presto。申请ECS访问MRS集群的步骤如下: 在“现有集群”列表中,单击已创建的集群名称。 记录集群的“可用分区”、“虚拟私有云”,以及Master节点的“默认安全组”。 在弹性云服务管理控制台,创建一个新的弹性云服务器。 弹性云服务器的“可用
在MRS主机上安装ICAgent,详情请参考:安装ICAgent(华为云主机)。 首次安装先安装一台服务器,然后按照继承批量安装的方式安装其他所有主机。 创建主机组,把1中已安装的ICAgent的主机加到主机组里面。 在云日志服务管理控制台,单击“主机管理”,进入主机管理页面,单击右上角“新建主机组”。
在需导出文件的用户所在行,选择“更多 > 下载认证凭据”。 选择认证凭据下载位置,并配置相关参数。 如果下载到服务器或远端节点,请在使用完成后及时删除,避免认证凭据泄漏。 浏览器:下载到本地电脑。 服务器端:下载到集群的主OMS节点上。 文件生成后默认保存在主OMS节点“/tmp/FusionIn