检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
egionServer信息。 在FusionInsight Manager界面,选择“集群 > 服务 > HBase >实例”,勾选4.d查看到的RegionServerServer实例,选择“更多 > 重启实例”或“更多 > 滚动重启实例”,重启RegionServer实例。 观察hbase
loader/hadoop.<系统域名> 说明: 用户可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信”,查看“本端域”参数,即为当前系统域名。 client.keytab 使用keytab认证方式登录时,使用的keytab文件所在目录。 普通模式或者密码登录方式,则不需要设置该参数。
Shell的转义字符规则。 - job.jobId 需要执行数据备份的作业ID。 作业ID可通过登录Loader webUI在已创建的作业查看。 1 use.keytab 是否使用keytab方式登录。 true,表示使用keytab文件登录 false,表示使用密码登录。 true
通过同时利用Flume服务端和客户端,构成Flume的级联任务,采集日志的流程如下所示。 安装Flume客户端。 配置Flume服务端和客户端参数。 查看Flume客户端收集日志。 停止及卸载Flume客户端。 图1 Flume使用流程 Flume模块介绍 Flume客户端/服务端由一个或多
cli方式运行metastore session临时文件 否 任务运行失败 /tmp/logs/ 固定目录 存放container日志文件 是 container日志不可查看 /tmp/carbon/ 固定目录 数据导入过程中,如果存在异常CarbonData数据,则将异常数据放在此目录下 是 错误数据丢失 /
在“作业管理”的作业列表中,找到创建的作业名称,单击操作列的“启动”,等待作业启动。 观察数据传输是否生效,例如在PgSQL数据库中对表进行插入数据操作,查看Hudi导入的文件内容。 父主题: 创建CDL作业
行完成。 步骤3:检查迁移后的文件信息 登录迁移目的端集群主管理节点。 在集群客户端内执行hdfs dfs -ls -h /user/命令查看迁移目的端集群中已迁移的文件。 (可选)如果源端集群中有新增数据需要定期将新增数据迁移至目的端集群,则配置定期任务增量迁移数据,直到所有业务迁移至目的端集群。
通过同时利用Flume服务端和客户端,构成Flume的级联任务,采集日志的流程如下所示。 安装Flume客户端。 配置Flume服务端和客户端参数。 查看Flume客户端收集日志。 停止及卸载Flume客户端。 图1 Flume使用流程 Flume模块介绍 Flume客户端/服务端由一个或多
在“作业管理”的作业列表中,找到创建的作业名称,单击操作列的“启动”,等待作业启动。 观察数据传输是否生效,例如在Oracle数据库中对表进行插入数据操作,查看Hudi导入的文件内容。 父主题: 创建CDL作业
物理内存 * mem_limit(BE内存限制百分比)* 20%。 “并发数”:表示单个FE实例可运行查询任务的并发数上限。 “队列长度”:表示超出并发数,在队列中等待执行的查询任务数上限。 “队列等待时长(毫秒)”:表示在队列中,任务的最长等待时间,单位为毫秒。 “开启内存软隔
单击链接,如图1所示。 图1 创建目录样例命令 进入到客户端的安装目录下,此处为“/opt/client”,创建名为“huawei”的目录。 执行下列命令,查看当前是否存在名为“huawei”的目录。 hdfs dfs -ls / 执行结果如下: linux1:/opt/client # hdfs
输入“([\s\S]*?)”。例如要筛选命名规则为字母数字组合的文件,如file1可输入“file\d*”。 单击“刷新”,在“目录名称”查看筛选的目录。 单击“同步”保存筛选结果。 输入正则表达式时,可以使用和增加或删除一条表达式。 如果已选择的表或目录不正确,可以单击“清除选中节点”清除勾选。
单击链接,如图1所示。 图1 创建目录样例命令 进入到客户端的安装目录下,此处为“/opt/client”,创建名为“huawei”的目录。 执行下列命令,查看当前是否存在名为“huawei”的目录。 hdfs dfs -ls / 执行结果如下: linux1:/opt/client # hdfs
可输入“tb\d*”。 单击“刷新”,在“目录名称”查看筛选的表。 单击“同步”保存筛选结果。 输入正则表达式时,可以使用和增加或删除一条表达式。 如果已选择的表或目录不正确,可以单击“清除选中节点”清除勾选。 单击“校验”查看备份任务的配置是否正确。 校验失败可能存在以下原因:
{}内的参数为指定列簇的参数,多个列簇可以用多个{},然后用逗号隔开。关于建表语句的更多使用说明可以在hbase shell中执行help 'create' 进行查看。 方法二:使用Java API。 以下代码片段仅展示如何在建表时设置列簇的编码和压缩方式,完整的建表代码以及如何通过代码建表请参考HBase开发指南的创建HBase表章节。
”结尾。 user:节点用户名。 password:节点用户密码信息。 如果执行失败,请在执行目录的work_space/log_XXX下查看node.log日志。 配置文件中包含认证密码信息可能存在安全风险,建议当前场景执行完毕后删除相关配置文件或加强安全管理。 批量升级MRS集群客户端
组件操作用户 beeline create database testdb1; show create database testdb1; 图3 查看新创建的Hive数据库的Location Ranger权限配置 hive用户组赋予OBS路径的读写权限 使用Ranger管理员用户登录Ranger
{}内的参数为指定列簇的参数,多个列簇可以用多个{}并用逗号隔开。关于建表语句的更多使用说明可以在hbase shell中执行help 'create'进行查看。 方法二:使用Java API。 以下代码片段仅展示如何在建表时设置列簇的编码和压缩方式,完整的建表代码以及如何通过代码建表请参考HBase开发指南的创建HBase表章节。
在“作业管理”的作业列表中,找到创建的作业名称,单击操作列的“启动”,等待作业启动。 观察数据传输是否生效,例如在drs-avro-oracle数据库中对表进行插入数据操作,查看Hudi导入的文件内容。 父主题: 创建CDL作业
灵活调整。 登录FusionInsight Manager。 选择“集群 > 服务 > Kafka > 更多 > 启用Ranger鉴权”,查看该参数是否置灰。 是,创建用户并在Ranger中赋予该用户相关操作权限: 选择“系统 > 权限 > 用户 > 添加用户”,在新增用户界面创