检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
WebUI，然后选择“Utilities > Browse the file system”。 观察HDFS上“/flume/test”目录下是否有产生数据。 图4 查看HDFS目录和文件 父主题： 配置Flume非加密传输数据采集任务
规划好新的目录路径，用于保存旧目录中的数据。 准备好MRS集群管理员用户admin。 操作步骤 检查环境。 登录Manager，选择“集群 > 待操作集群的名称 > 服务”查看Yarn的状态“运行状态”是否为“良好”。 是，执行1.c。 否，Yarn状态不健康，执行1.b。 修复Yarn异常，任务结束。 确定修改NodeManager的存储目录场景。
IP获取方式如下： 登录MapReduce服务管理控制台，选择“现有集群”，选中当前的集群并单击集群名，进入集群信息页面。在“节点管理”中查看安装客户端所在的节点IP。 keytab路径。 security.kerberos.login.keytab: /home/flinkuser/keytab/flinkuser
客户端安装节点的业务IP获取方法： 集群内节点： 登录MapReduce服务管理控制台，选择“现有集群”，选中当前的集群并单击集群名，进入集群信息页面。 在“节点管理”中查看安装客户端所在的节点IP。 集群外节点：安装客户端所在的弹性云服务器的IP。 配置安全认证，在“/opt/hadoopclient/Fli
0。不可与“Map数”同时配置。 1000 单击“保存并运行”，开始保存并运行作业。 查看作业完成情况 进入“Loader WebUI”界面，待“状态”显示“成功”则说明作业完成。 图4 查看作业 父主题： 创建Loader数据导入作业
通过同时利用Flume服务端和客户端，构成Flume的级联任务，采集日志的流程如下所示。 安装Flume客户端。 配置Flume服务端和客户端参数。 查看Flume客户端收集日志。 停止及卸载Flume客户端。 图1 Flume使用流程 Flume模块介绍 Flume客户端/服务端由一个或多
在“作业管理”的作业列表中，找到创建的作业名称，单击操作列的“启动”，等待作业启动。 观察数据传输是否生效，例如在Oracle数据库中对表进行插入数据操作，查看Hudi导入的文件内容。 父主题： 创建CDL作业
单击链接，如图1所示。 图1 创建目录样例命令 进入到客户端的安装目录下，此处为“/opt/client”，创建名为“huawei”的目录。 执行下列命令，查看当前是否存在名为“huawei”的目录。 hdfs dfs -ls / 执行结果如下： linux1:/opt/client # hdfs
可输入“tb\d*”。 单击“刷新”，在“目录名称”查看筛选的表。 单击“同步”保存筛选结果。 输入正则表达式时，可以使用和增加或删除一条表达式。 如果已选择的表或目录不正确，可以单击“清除选中节点”清除勾选。 单击“校验”查看备份任务的配置是否正确。 校验失败可能存在以下原因：
令记录功能，避免信息泄露。 - job.jobId 需要执行数据备份的作业ID。 作业ID可通过登录Loader webUI在已创建的作业查看。 1 use.keytab 是否使用keytab方式登录。 true，表示使用keytab文件登录 false，表示使用密码登录。 true
在“作业管理”的作业列表中，找到创建的作业名称，单击操作列的“启动”，等待作业启动。 观察数据传输是否生效，例如在opengauss数据库中对表进行插入数据操作，查看Hudi导入的文件内容。 父主题： 创建CDL作业
egionServer信息。 在FusionInsight Manager界面，选择“集群 > 服务 > HBase >实例”，勾选4.d查看到的RegionServer实例，选择“更多 > 重启实例”或“更多 > 滚动重启实例”，重启RegionServer实例。 观察hbase
loader/hadoop.<系统域名> 说明： 用户可登录FusionInsight Manager，选择“系统 > 权限 > 域和互信”，查看“本端域”参数，即为当前系统域名。 client.keytab 使用keytab认证方式登录时，使用的keytab文件所在目录。 普通模式或者密码登录方式，则不需要设置该参数。
通过同时利用Flume服务端和客户端，构成Flume的级联任务，采集日志的流程如下所示。 安装Flume客户端。 配置Flume服务端和客户端参数。 查看Flume客户端收集日志。 停止及卸载Flume客户端。 图1 Flume使用流程 Flume模块介绍 Flume客户端/服务端由一个或多
cli方式运行metastore session临时文件 否 任务运行失败 /tmp/logs/ 固定目录 存放container日志文件 是 container日志不可查看 /tmp/carbon/ 固定目录 数据导入过程中，如果存在异常CarbonData数据，则将异常数据放在此目录下 是 错误数据丢失 /
在“作业管理”的作业列表中，找到创建的作业名称，单击操作列的“启动”，等待作业启动。 观察数据传输是否生效，例如在PgSQL数据库中对表进行插入数据操作，查看Hudi导入的文件内容。 父主题： 创建CDL作业
Shell的转义字符规则。 - job.jobId 需要执行数据备份的作业ID。 作业ID可通过登录Loader webUI在已创建的作业查看。 1 use.keytab 是否使用keytab方式登录。 true，表示使用keytab文件登录 false，表示使用密码登录。 true
单击链接，如图1所示。 图1 创建目录样例命令 进入到客户端的安装目录下，此处为“/opt/client”，创建名为“huawei”的目录。 执行下列命令，查看当前是否存在名为“huawei”的目录。 hdfs dfs -ls / 执行结果如下： linux1:/opt/client # hdfs
输入“([\s\S]*?)”。例如要筛选命名规则为字母数字组合的文件，如file1可输入“file\d*”。 单击“刷新”，在“目录名称”查看筛选的目录。 单击“同步”保存筛选结果。 输入正则表达式时，可以使用和增加或删除一条表达式。 如果已选择的表或目录不正确，可以单击“清除选中节点”清除勾选。
jar文件后，服务器默认保留5分钟，5分钟内单击确定则完成UDF创建，超时后单击确定则创建UDF失败并弹出错误提示：本地UDF文件路径有误。 在UDF列表中，可查看当前应用内所有的UDF信息。可在对应UDF信息的“操作”列编辑或删除UDF信息（只能删除未被使用的UDF项）。 （可选）如果需要立即运行或
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
