检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
IP获取方式如下: 登录MapReduce服务管理控制台,选择“现有集群”,选中当前的集群并单击集群名,进入集群信息页面。在“节点管理”中查看安装客户端所在的节点IP。 keytab路径。 security.kerberos.login.keytab: /home/flinkuser/keytab/flinkuser
0-SNAPSHOT.jar com.huawei.bigdata.HCatalogExample -libjars $LIB_JARS t1 t2 运行结果查看,运行后t2表数据如下所示: 0: jdbc:hive2://192.168.1.18:2181,192.168.1.> select *
及对应账号的keytab文件和krb5文件。 用户可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信”,查看“本端域”参数,即为当前系统域名。 “zookeeper/hadoop.<系统域名>”为用户名,用户的用户名所包含的系统域名所有字母为小写
待连接的IoTDBServer所在的节点IP地址,可通过登录FusionInsight Manage界面,选择“集群 > 服务 > IoTDB > 实例”查看。 RPC端口可通过登录FusionInsight Manager,选择“集群 > 服务 > IoTDB > 配置 > 全部配置”,搜索参
0-SNAPSHOT.jar com.huawei.bigdata.HCatalogExample -libjars $LIB_JARS t1 t2 运行结果查看,运行后t2表数据如下所示: 0: jdbc:hive2://192.168.1.18:2181,192.168.1.> select *
在“作业管理”的作业列表中,找到创建的作业名称,单击操作列的“启动”,等待作业启动。 观察数据传输是否生效,例如在opengauss数据库中对表进行插入数据操作,查看Hudi导入的文件内容。 父主题: 创建CDL作业
Zone”。单击“Save”保存。如需添加多条策略有效期,可单击按钮添加。如需删除策略有效期,可单击按钮删除。 单击“Add”,在策略列表可查看策略的基本信息。等待策略生效后,验证相关权限是否正常。 如需禁用某条策略,可单击按钮编辑策略,设置策略开关为“Disabled”。 如果不再使用策略,可单击按钮删除策略。
对应该账号的keytab文件和krb5文件。 用户可登录FusionInsight Manager,单击“系统 > 权限 > 域和互信”,查看“本端域”参数,即为当前系统域名。 “zookeeper/hadoop.<系统域名>”为用户名,用户的用户名所包含的系统域名所有字母为小写
WebUI,然后选择“Utilities > Browse the file system”。 观察HDFS上“/flume/test”目录下是否有产生数据。 图4 查看HDFS目录和文件 父主题: 配置Flume非加密传输数据采集任务
0-SNAPSHOT.jar com.huawei.bigdata.HCatalogExample -libjars $LIB_JARS t1 t2 运行结果查看,运行后t2表数据如下所示: 0: jdbc:hive2://192.168.1.18:2181,192.168.1.> select *
0-SNAPSHOT.jar com.huawei.bigdata.HCatalogExample -libjars $LIB_JARS t1 t2 运行结果查看,运行后t2表数据如下所示: 0: jdbc:hive2://192.168.1.18:2181,192.168.1.> select *
WebUI,然后选择“Utilities > Browse the file system”。 观察HDFS上“/flume/test”目录下是否有产生数据。 图4 查看HDFS目录和文件 父主题: 配置Flume非加密传输数据采集任务
loader/hadoop.<系统域名> 说明: 用户可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信”,查看“本端域”参数,即为当前系统域名。 client.keytab 使用keytab认证方式登录时,使用的keytab文件所在目录。 普通模式或者密码登录方式,则不需要设置该参数。
StormSubmitter.submitTopology(args[0], conf, builder.createTopology()); } 部署运行及结果查看 获取相关配置文件,获取方式如下。 安全模式:参见4获取keytab文件。 普通模式:无。 在Storm示例代码根目录执行如下命令打包:"mvn
规划好新的目录路径,用于保存旧目录中的数据。 准备好MRS集群管理员用户admin。 操作步骤 检查环境。 登录Manager,选择“集群 > 待操作集群的名称 > 服务”查看Yarn的状态“运行状态”是否为“良好”。 是,执行1.c。 否,Yarn状态不健康,执行1.b。 修复Yarn异常,任务结束。 确定修改NodeManager的存储目录场景。
Shell的转义字符规则。 - job.jobId 需要执行数据备份的作业ID。 作业ID可通过登录Loader webUI在已创建的作业查看。 1 use.keytab 是否使用keytab方式登录。 true,表示使用keytab文件登录 false,表示使用密码登录。 true
行完成。 步骤3:检查迁移后的文件信息 登录迁移目的端集群主管理节点。 在集群客户端内执行hdfs dfs -ls -h /user/命令查看迁移目的端集群中已迁移的文件。 (可选)如果源端集群中有新增数据需要定期将新增数据迁移至目的端集群,则配置定期任务增量迁移数据,直到所有业务迁移至目的端集群。
loader/hadoop.<系统域名> 说明: 用户可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信”,查看“本端域”参数,即为当前系统域名。 client.keytab 使用keytab认证方式登录时,使用的keytab文件所在目录。 普通模式或者密码登录方式,则不需要设置该参数。
WebUI,然后选择“Utilities > Browse the file system”。 观察HDFS上“/flume/test”目录下是否有产生数据。 图4 查看HDFS目录和文件 父主题: 配置Flume非加密传输数据采集任务
{}内的参数为指定列簇的参数,多个列簇可以用多个{}并用逗号隔开。关于建表语句的更多使用说明可以在hbase shell中执行help 'create'进行查看。 方法二:使用Java API。 以下代码片段仅展示如何在建表时设置列簇的编码和压缩方式,完整的建表代码以及如何通过代码建表请参考HBase开发指南的创建HBase表章节。