检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过同时利用Flume服务端和客户端，构成Flume的级联任务，采集日志的流程如下所示。 安装Flume客户端。 配置Flume服务端和客户端参数。 查看Flume客户端收集日志。 停止及卸载Flume客户端。 图1 Flume使用流程 Flume模块介绍 Flume客户端/服务端由一个或多
在“作业管理”的作业列表中，找到创建的作业名称，单击操作列的“启动”，等待作业启动。 观察数据传输是否生效，例如在Oracle数据库中对表进行插入数据操作，查看Hudi导入的文件内容。 父主题： 创建CDL作业
在“作业管理”的作业列表中，找到创建的作业名称，单击操作列的“启动”，等待作业启动。 观察数据传输是否生效，例如在opengauss数据库中对表进行插入数据操作，查看Hudi导入的文件内容。 父主题： 创建CDL作业
要求Compaction执行合并的过程必须和实时任务解耦，通过周期调度Spark任务来完成异步Compaction，这个方案的关键之处在于如何合理的设置这个周期，周期如果太短意味着Spark任务可能会空跑，周期如果太长可能会积压太多的Compaction Plan没有去执行而导致
在“作业管理”的作业列表中，找到创建的作业名称，单击操作列的“启动”，等待作业启动。 观察数据传输是否生效，例如在drs-avro-oracle数据库中对表进行插入数据操作，查看Hudi导入的文件内容。 父主题： 创建CDL作业
组件操作用户 beeline create database testdb1; show create database testdb1; 图3 查看新创建的Hive数据库的Location Ranger权限配置 hive用户组赋予OBS路径的读写权限 使用Ranger管理员用户登录Ranger
stream.context。 dstream.context是Streaming Context启动时从output Streams反向查找所依赖的DStream，逐个设置context。如果Spark Streaming应用创建1个输入流，但该输入流无输出逻辑时，则不会给它设
stream.context。 dstream.context是Streaming Context启动时从output Streams反向查找所依赖的DStream，逐个设置context。若Spark Streaming应用创建1个输入流，但该输入流无输出逻辑时，则不会给它设置
确保本地环境的时间与MRS集群的时间差要小于5分钟，若无法确定，请联系系统管理员。MRS集群的时间可通过FusionInsight Manager页面右下角查看。 已准备开发环境及MRS集群相关配置文件，详情请参考准备Spark连接集群配置文件。 操作步骤 参考获取MRS应用开发样例工程，获取样例
确保本地环境的时间与MRS集群的时间差要小于5分钟，若无法确定，请联系系统管理员。MRS集群的时间可通过FusionInsight Manager页面右下角查看。 已准备开发环境及MRS集群相关配置文件，详情请参考准备Spark连接集群配置文件。 操作步骤 参考获取MRS应用开发样例工程，获取样例
修改参数值后，需重启Yarn服务使其生效。 说明： 在修改值为“false”并生效后，生效前的日志无法在WebUI中获取。 如果需要在WebUI界面上查看之前产生的日志，建议将此参数设置为“true”。 true yarn.nodemanager.log-aggregation.roll-m
修改参数值后，需重启YARN服务使其生效。 说明： 在修改值为“false”并生效后，生效前的日志无法在WebUI中获取。 如果需要在WebUI界面上查看之前产生的日志，建议将此参数设置为“true”。 true yarn.nodemanager.log-aggregation.roll-m
6.1.tar.gz 编译安装GDB。 cd gdb-7.6.1/ ./configure && make && make install 查看GDB是否安装成功。 gdb --version 打印出gdb版本信息即为安装成功。 父主题： HDFS应用开发常见问题
建议您在调试阶段设置为“继续”，无论此脚本是否执行成功，则集群都能继续扩缩容操作。 若脚本执行失败，请到集群虚拟机的“/var/log/Bootstrap”路径下查看失败日志。 由于缩容成功不可回滚，缩容后执行的脚本失败操作只能选择“继续”。 自动化脚本只在弹性伸缩时触发，手动调整集群节点时不会运行。 父主题：
在“作业管理”的作业列表中，找到创建的作业名称，单击操作列的“启动”，等待作业启动。 观察数据传输是否生效，例如在MySQL数据库中对作业中指定的表进行插入数据操作，查看Hudi导入的文件内容是否正常。 父主题： 创建CDL作业
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
