检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
样例目录下需关注文件如表2所示。 表2 文件说明 文件名称 描述 job.properties 工作流的参数变量定义文件。 workflow.xml 工作流的规则定制文件。 lib 工作流运行依赖的jar包目录。
文件放到HDFS上。
选择此参数值，还需要配置“最大备份数”，表示备份目录中可保留的备份文件集数量。 “LocalHDFS”：表示将备份文件保存在当前集群的HDFS目录。 选择此参数值，还需要配置以下参数： “目的端路径”：填写备份文件在HDFS中保存的目录。
执行以下命令创建Schema，并指定Location为OBS路径，例如： CREATE SCHEMA hive.demo WITH (location = 'obs://mrs-word001/presto-demo002/'); 在该Schema中建表，该表的数据即会存储在OBS文件系统内
配置keystore或truststore文件路径为绝对路径时，需要在Flink Client以及各个节点的该绝对路径上放置keystore和truststore文件，并且提交作业的用户需要具有读取keystore和truststore文件的权限。
准备本地应用开发环境 准备连接集群配置文件 应用程序开发或运行过程中，需通过集群相关配置文件信息连接MRS集群，配置文件通常包括集群组件信息文件以及用于安全认证的用户文件，可从已创建好的MRS集群中获取相关内容。
图2 查看历史记录 表1 参数说明 名称 说明 行/文件 读取数 从输入源中读取的行数（文件数）。 行/文件 写入数 写入到输出源的行数（文件数）。 行/文件 跳过数 转换过程中记录的坏行数（文件数）：输入格式不正确，无法进行转换。 转换过程中配置过滤条件后跳过的行数。
桶名 mrs-bucket 必选参数，指定审计日志导出到OBS的文件系统名。 OBS路径 opt/omm/oms/auditLog 必选参数，指定审计日志导出到OBS的路径。 AK - 必选参数，用户的Access Key ID。
当HDFS上存储了大量的文件和文件夹时，这两个section的加载就会非常耗时，影响HDFS文件系统的启动时间。
无 存储配置 表4 存储参数配置 参数 描述 默认值 hoodie.parquet.max.file.size Hudi写阶段生成的parquet文件的目标大小。对于DFS，这需要与基础文件系统块大小保持一致，以实现最佳性能。
下载样例工程的Maven工程源码和配置文件，请参见获取MRS应用开发样例工程。 将样例代码导入IDEA中。 获取配置文件。 从集群的客户端中获取文件。在“$SPARK_HOME/conf”中下载hive-site.xml与spark-defaults.conf文件到本地。
图1 查看实例配置文件 单击要查看的配置文件的名称，可查看配置文件内具体的配置参数值内容。 如需获取该配置文件，可单击“下载至本地”按钮，将该配置文件内容下载到本地PC。 集群内的节点故障时，将无法查看配置文件，请修复故障的节点后再查看。 父主题： 管理MRS集群组件
本地新建文件“input_data1.txt”，将“log1.txt”的内容复制保存到“input_data1.txt”。 在客户端安装节点下创建文件目录：“/home/data”。将上述文件上传到此“/home/data”目录下。
“flink.truststore”文件。
在服务端配置文件“ENV_VARS”中进行配置。JobHistory Server和JDBCServer的日志级别在服务端配置文件“log4j.properties”中设置。
将准备HBase应用开发用户中获取的krb5.conf和user.keytab文件拷贝上传至“/opt/test/conf”目录中，并新建hbaseclient.properties文件，文件中user.name对应新建的用户hbaseuser，userKeytabName和krb5ConfName
在服务端配置文件“ENV_VARS”中进行配置。JobHistory Server和JDBCServer的日志级别在服务端配置文件“log4j.properties”中设置。
样例目录下需关注文件如表2所示。 表2 文件说明 文件名称 描述 job.properties 工作流的参数变量定义文件。 workflow.xml 工作流的规则定制文件。 lib 工作流运行依赖的jar包目录。
文件放到HDFS上。
egg文件。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
