检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
hdfsDisconnect(fs); 准备运行环境 在节点上安装客户端,例如安装到“/opt/client”目录,安装方法可参考《MapReduce服务用户指南》的“客户端管理”章节。 确认服务端HDFS组件已经安装,并正常运行。 客户端运行环境已安装1.7或1.8版本的JDK。 获取并解压缩安装“MRS_HDFS_Client
本章节适用于MRS 3.x及后续版本。 场景1 DataNodes分区场景。 场景说明: 用户需要让不同的应用数据运行在不同的节点,分开管理,就可以通过标签表达式,来实现不同业务的分离,指定业务存放到对应的节点上。 通过配置NodeLabel特性使得: /HBase下的数据存储
authentication.kerberos.principal”,其对应的值即为服务端Principal的值。 使用HetuEngine管理员用户登录FusionInsight Manager,选择“集群 > 服务 > HetuEngine”,进入HetuEngine服务页面。
sftp-to-hdfs.xml -a delete lt-ctl使用说明 lt-ctl:loader-tool controller作业管理工具,用于启停作业,查询作业状态与进度,查询作业是否运行中。 表3 lt-ctl脚本的“参数选项”配置说明 参数选项 说明 参数值示例 -help
sftp-to-hdfs.xml -a delete lt-ctl使用说明 lt-ctl:loader-tool controller作业管理工具,用于启停作业,查询作业状态与进度,查询作业是否运行中。 表3 lt-ctl脚本的“参数选项”配置说明 参数选项 说明 参数值示例 -help
在主集群手动将索引列族(默认是d)的REPLICATION_SCOPE设置为1。 配置HBase本地二级索引 登录MRS控制台,单击集群名称,选择“组件管理”。 在组件列表中选择“HBase > 服务配置”,在下拉列表中将“基础配置”切换为“全部配置”,进入HBase服务参数“全部配置”界面。
在主集群手动将索引列族(默认是d)的REPLICATION_SCOPE值设置为1。 配置HBase本地二级索引 登录MRS控制台,在现有集群列表中单击集群名称,选择“组件管理”。 在组件列表中选择“HBase > 服务配置”,在下拉列表中将“基础配置”切换为“全部配置”,进入HBase服务参数“全部配置”界面。
代码设置运行用户。若在没有修改代码的场景下,执行以下语句添加环境变量: export HADOOP_USER_NAME=test 用户可向管理员咨询运行用户。test在这里只是举例,若需运行Colocation相关操作的样例代码,则此用户需属supergroup用户组。 执行如下命令,运行Jar包。
hive_sync.enable 是否同步Hudi表信息到Hive Metastore。 注意: 建议该值设置为true,统一使用Hive管理Hudi表。 false hoodie.datasource.hive_sync.database 要同步给Hive的数据库名。 default