检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Spark客户端创建CarbonData表 本章节介绍创建CarbonData table、加载数据,以及查询数据的快速入门流程。该快速入门提供基于Spark Beeline客户端的操作。如果使用Spark shell,需将查询命令写在spark.sql()的括号中。 本操作
运行HiveSql作业 用户可将自己开发的程序提交到MRS中,执行程序并获取结果,本章节指导您如何在MRS集群中提交一个HiveSql作业。 HiveSql作业用于提交Hive SQL语句和SQL脚本文件查询和分析数据,包括SQL语句和Script脚本两种形式,如果SQL语句中涉及敏感信息,也可使用脚本文件方式提交。
使用Capacity调度器集群请参考表4为子租户配置属性。 新安装集群的Yarn组件默认使用Superior调度器。也可以参考切换MRS租户资源调度器切换调度器。 调度器类型可登录Manager,在Yarn服务“全部配置”页面搜索“yarn.resourcemanager.scheduler
Manager的日志,具体操作如下: 下载并安装Yarn客户端(例安装目录:/opt/client)。 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式,执
访问MRS集群Manager。 如果当前退服DataNode节点,退服前需要进行健康检查,步骤如下。 使用客户端用户登录客户端安装节点,并切换到客户端安装目录。 如果是安全集群,需要使用hdfs用户进行权限认证。 source bigdata_env #配置客户端环境变量
超时时长 单位:分钟 默认值:1 1 单击“删除”可以删除已增加的自定义配置参数。 单击“确定”。 登录集群客户端所在节点,执行以下命令,切换到客户端安装目录并认证用户。 cd /opt/client source bigdata_env kinit HetuEngine组件操作用户
Manager的日志,具体操作如下: 下载并安装Yarn客户端(例安装目录:/opt/client)。 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式,执
Manager的日志,具体操作如下: 下载并安装Yarn客户端(例安装目录:/opt/hadoopclient)。 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/hadoopclient 执行以下命令配置环境变量。 source bigdata_env 如果集群为
还可单击“导出全部”,在“保存类型”选择“TXT”或“CSV”,单击“确定”导出所有主机的信息。系统默认为“主机视图”,单击“角色视图”切换视图类型,也可单击编辑按钮自定义各视图展示的内容。 表2 主机视图类型说明 视图类型 说明 主机视图 主要显示每个主机的IP地址信息、机架
所有镜像均支持Cloud-init特性。Cloud-init预配置的用户名“root”,密码为创建集群时设置的密码。首次登录建议修改。 在弹性云服务器,切换到root用户,并将安装包复制到目录“/opt”。 sudo su - root cp /tmp/MRS_Flume_Client.tar
Worker节点数量。 配置完成后将“立即启动”置为“是”,单击“确定”等待实例配置完成。 登录安装有HetuEngine客户端的节点,执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令,配置环境变量。 source bigdata_env 认证或指定用户。 安全模式集群:执行以下命令认证用户
集群信息页面。 在集群详情页,单击“组件管理”。 图1 组件管理 单击服务列表中指定的服务名称。 单击“服务配置”。将页面右侧“基础配置”切换为“全部配置”,界面上将显示该服务的全部配置参数导航树,导航树从上到下的根节点分别为服务名称和角色名称。 在服务节点下的参数属于服务级别的
Spark客户端配置文件(例如:客户端目录为“/opt/client”,具体以实际为准): 以root用户登录Spark客户端所在的节点,切换到客户端安装目录。 cd /opt/client 执行以下命令修改Spark客户端配置文件目录下的“hive-site.xml”。 vi
查看Master1节点 使用root用户登录Master1节点,密码为购买集群时配置的用于登录集群节点的“root”用户自定义密码。 执行以下命令切换到客户端软件包所在目录,并解压客户端软件包: cd /tmp/FusionInsight-Client/ tar -xvf FusionI
catalogs; 执行以下命令查询Catalog下面的数据库: show databases from hive_catalog; 执行以下命令切换到指定Catalog,再进入到数据库中: switch hive_catalog; use default; 查询Catalog中某个库中的所有表:
component client is installed successfully 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/hadoopclient 执行如下命令初始化环境变量。 source /opt/hadoopclient/bigdata_env
修改MRS集群系统域名 操作场景 每个系统用户安全使用的范围定义为“域”,不同的系统需要定义唯一的域名。FusionInsight Manager的域名在安装过程中生成,如果需要修改为特定域名,系统管理员可通过FusionInsight Manager进行配置。 修改系统域名为高
Flink安全认证机制说明 Flink认证和加密 Flink集群中,各部件支持认证。 Flink集群内部各部件和外部部件之间,支持和外部部件如YARN、HDFS、ZooKeeprer进行kerberors认证。 Flink集群内部各部件之间,如Flink client和JobMa
jar,将获取的包上传到/opt/client/Hbase/hbase/lib目录下。 执行Jar包。 在Linux客户端下执行Jar包的时候,需要用安装用户切换到客户端目录: cd $BIGDATA_CLIENT_HOME/HBase/hbase “$BIGDATA_CLIENT_HOME”指的是客户端安装目录。
n 在FusionInsight Manager管理界面,选择“集群 > 服务 > HDFS > 实例”,单击指定的DataNode实例并切换到“实例配置”页签。 将配置项“dfs.datanode.data.dir”从默认值“%{@auto.detect.datapart.dn