检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
编写Coordinator任务:“coordinator.xml”。 完成每天一次的定时数据分析工作,请参见coordinator.xml。 上传流程文件。 使用或切换到拥有HDFS上传权限的用户。 使用HDFS上传命令,将“dataLoad”目录上传到HDFS某个指定目录(oozie_cli用户需要对该目录有读写权限)。
使用客户端。 操作步骤 在主管理节点使用客户端。 安装客户端,具体请参考安装客户端章节。 以客户端安装用户登录客户端安装节点,执行以下命令切换到客户端目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果当前集群已启用Kerb
通模式不涉及) 使用HDFS客户端 安装客户端,详细操作请参考使用MRS客户端。 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式,执
数据倾斜,需要均衡集群中的数据。以root用户登录MRS客户端,用户密码为安装前用户自定义,请咨询系统管理员。如果集群为普通模式,执行su - omm切换到omm用户。执行cd命令进入客户端安装目录,然后执行source bigdata_env。如果集群采用安全版本,要进行安全认证。执行kinit
根据业务情况,准备好客户端,使用root用户登录安装客户端的节点。 例如在Master2节点更新客户端,则在该节点登录客户端,具体参见使用MRS客户端。 切换用户与配置环境变量。 sudo su - omm source /opt/client/bigdata_env 启用Kerberos认证的
使用Ranger安全区管理员用户登录Ranger管理页面。 在Ranger首页右上角的“Security Zone”选项的下拉列表中选择对应的安全区,即可切换至该安全区内的权限视图。 单击组件名称下的权限插件名称,即可进入组件安全访问策略列表页面。 各组件的策略列表中,系统默认生成的条目会自动继
RPC_PORT”的值,默认为“22260”。 (可选)根据需求可添加自定义配置。 单击“确定”。 登录集群客户端所在节点,执行以下命令,切换到客户端安装目录并认证用户。 cd /opt/client source bigdata_env kinit HetuEngine组件操作用户
已安装HDFS客户端。 配置Balance任务 使用客户端安装用户登录客户端所在节点。执行命令切换到客户端安装目录,例如“/opt/client”。 cd /opt/client 如果集群为普通模式,需先执行su - omm切换为omm用户。 执行以下命令配置环境变量。 source bigdata_env
已安装HDFS客户端。 配置Balance任务 使用客户端安装用户登录客户端所在节点。执行命令切换到客户端安装目录,例如“/opt/client”。 cd /opt/client 如果集群为普通模式,需先执行su - omm切换为omm用户。 执行以下命令配置环境变量。 source bigdata_env
要下载keytab文件。“人机”用户第一次登录时需修改密码。 使用Hive客户端 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/hadoopclient 执行以下命令配置环境变量。 source bigdata_env 根据集群认证模式,完成Hive客户端登录。
UDF。 关闭Kerberos认证的集群请参考注册UDF。 以root用户,登录IoTDBServer所在的节点,执行su - omm命令切换到omm用户,将1.a中的Jar包导入到目录“$BIGDATA_HOME/FusionInsight_IoTDB_*/install/Fu
查看Master1节点 使用root用户登录Master1节点,密码为购买集群时配置的用于登录集群节点的“root”用户自定义密码。 执行以下命令切换到客户端软件包所在目录,并解压客户端软件包: cd /tmp/FusionInsight-Client/ tar -xvf FusionI
编写Coordinator任务:“coordinator.xml”。 完成每天一次的定时数据分析工作,请参见配置Coordinator定时调度作业。 上传流程文件。 使用或切换到拥有HDFS上传权限的用户。 使用HDFS上传命令,将“dataLoad”目录上传到HDFS某个指定目录(oozie_cli用户需要对该目录有读写权限)。
编写Coordinator任务文件“coordinator.xml”。 完成每天一次的定时数据分析工作,请参见coordinator.xml。 上传流程文件。 使用或切换到拥有HDFS上传权限的用户,准备用户可参见准备本地应用开发环境。 使用该用户进行Kerberos认证。 使用HDFS上传命令,将“dat
“操作”列单击“编辑”,选择新增的数据表进行数据迁移。 Hive表有删除或已有表的数据结构有修改:请在目的端集群中手动删除对应表或手动更新变更的表结构。 父主题: 数据迁移
HA方案和设置ThriftServer连接的超时时间。 ThriftServer HA方案,当ThriftServer主节点发生故障时,备节点能够主动切换为主节点,为集群提供服务。Beeline和JDBC客户端代码两种连接方式的操作相同。 连接HA模式下的ThriftServer,连接字符串
是,处理完毕。 否,执行19。 检查主备DBServer数据库进程状态。 以root用户登录DBService浮动IP所在主机,执行su - omm命令切换至omm用户。 执行cd ${DBSERVER_HOME}命令进入DBService服务的安装目录。 执行sh sbin/status-dbserver
omm:wheel ${BIGDATA_DATA_HOME}/data2 -R。 在Manager管理界面,单击指定的NodeManager实例并切换到“实例配置”。 将配置项“yarn.nodemanager.local-dirs”或“yarn.nodemanager.log-dirs”修改为新的目标目录。
编写Coordinator任务文件“coordinator.xml”。 完成每天一次的定时数据分析工作,请参见配置Coordinator定时调度作业。 上传流程文件。 使用或切换到拥有HDFS上传权限的用户,准备用户可参见准备本地应用开发环境。 使用该用户进行Kerberos认证。 使用HDFS上传命令,将“dat
jar包 Oozie的share HDFS的“/user/oozie/share/lib/spark2x”目录 说明: 请执行su - oozie切换到oozie用户,使用oozie用户上传文件。 上传结束后再重启Oozie服务。 将待使用样例工程的项目打包成jar包 jar包 HDFS