检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
目前MRS记录以下操作类型的日志信息： 集群操作 在管理控制台创建集群、删除集群、扩容集群和缩容集群等。 在管理控制台创建目录、删除目录和删除文件。 作业操作：在管理控制台创建作业、停止作业和删除作业。 数据操作：IAM用户任务、新增用户、新增用户组等操作。 查看云服务操作日志 登录MRS管理控制台。
条件逻辑为“OR”，如果未添加过滤条件，全部数据成为脏数据；或者原始数据满足任意添加的过滤条件，当前行成为脏数据。 样例 通过“CSV文件输入”算子，生成两个字段A和B。 源文件如下： 配置“过滤行转换”算子，过滤掉含有test的行。 转换后，输入原字段，结果如下： 父主题： Loader转换类算子
rConverter 回答 因为schema演进以非向后兼容的方式进行，此错误将再次发生。基本上，如果已经写入Hudi数据集parquet文件的记录R有一些更新U。R包含字段F，该字段包含某类数据类型，也就是LONG。U具有相同的字段F，该字段的数据类型是INT。Parquet FS不支持这种不兼容的数据类型转换。
在MRS管理控制台为MRS的Manager界面绑定了EIP后，通过弹性公网IP列表界面无法直接解绑EIP。 如需解绑，可通过调用EIP服务的相关API接口进行解绑： 登录EIP管理控制台，在EIP列表中查看并记录需要解绑的公网IP地址对应的ID信息。 参考解绑弹性公网IP接口说明，在API Explorer中解绑EIP。
使用安装客户端的用户登录客户端所在节点，具体操作请参见使用客户端运行Loader作业。 执行以下命令，进入“backup.properties”文件所在目录。例如，Loader客户端安装目录为 “/opt/client/Loader/”。 cd /opt/client/Loader/loader-tools-1
Spark SQL企业级能力增强 配置矢量化读取ORC数据 配置过滤掉分区表中路径不存在的分区 配置Drop Partition命令支持批量删除 配置Hive表分区动态覆盖 配置Spark SQL开启Adaptive Execution特性 配置Spark SQL语法支持关联子查询不带聚合函数
安装补丁过程中会重启OMS，会导致MRS Manager页面无法访问，预计持续10-20分钟。 安装补丁过程中会影响弹性伸缩以及MRS Manager上正在运行的任务，升级前请确认已经关闭弹性伸缩，并且MRS Manager上没有正在运行的任务。 安装补丁过程中，不允许在作业管理页面提交作业。
getCurrentWatermark: Watermark = { new Watermark(System.currentTimeMillis()) } // 给每个元组打上时间戳
输出算子 Hive输出 Spark输出 表输出 文件输出 HBase输出 ClickHouse输出 父主题： 算子帮助
HDFS用户权限管理 创建HDFS权限角色 配置HDFS用户访问HDFS文件权限 父主题： 使用HDFS
tablelocation; 参数描述 表1 参数描述 参数 描述 tableIdentifier Hudi表的名称 tablelocation Hudi表的存储路径 示例 run archivelog on h1; run archivelog on "/tmp/hudi/h1"; 注意事项 cl
Projects”，进行maven项目依赖import。 图1 reimport projects 编译运行程序。 放置好配置文件，并修改代码匹配登录用户后，文件列表如图2所示。 图2 hbase-example待编译目录列表 编译方式有以下两种： 方法一 选择“Maven > 样例工程名称
String messageStr = "Message_" + messageNo; long startTime = System.currentTimeMillis(); // 构造消息记录
请参见配置Container日志聚合功能。 然而，开启container日志聚合功能之后，其日志聚合至HDFS目录中，只能通过获取HDFS文件来查看日志。开源Spark和Yarn服务不支持通过WebUI查看聚合后的日志。 因此，Spark在此基础上进行了功能增强。如图1所示，在H
INFO DEBUG HANDLER_LOGFILE_MAXBACKUPINDEX Hue日志文件最大个数。 20 1～999 HANDLER_LOGFILE_SIZE Hue日志文件最大大小。 5MB - Hue自定义参数请参见表2。以下自定义参数仅MRS 3.1.2及之后版本适用。
请参见配置Container日志聚合功能。 然而，开启container日志聚合功能之后，其日志聚合至HDFS目录中，只能通过获取HDFS文件来查看日志。开源Spark和Yarn服务不支持通过WebUI查看聚合后的日志。 因此，Spark在此基础上进行了功能增强。如图1所示，在H
检查“flink-conf.yaml”文件各参数是否配置正确。 对于开启Kerberos认证的集群配置项包括Kerberos的keytab、principal等。 从KDC服务器上下载用户keytab，并将keytab放到Flink客户端所在主机的某个文件夹下(例如/home/flinkuser/keytab)。
建议：编程时必须加以考虑的原则。 说明：对此规则或建议进行的解释。 示例：对此规则或建议从正、反两个方面给出。 适用范围 基于MRS-Hudi进行数据存储、数据加工作业的设计、开发、测试和维护。 该设计开发规范是基于MRS 3.3.0版本。 父主题： Hudi应用开发规范
户端目录只是举例，请根据实际安装目录修改。 各组件业务用户由MRS集群管理员根据业务需要创建。安全模式下，“机机”用户需要下载keytab文件。“人机”用户第一次登录时需修改密码。 使用Oozie客户端 以客户端安装用户，登录安装客户端的节点。 执行以下命令，切换到客户端安装目录
户端目录只是举例，请根据实际安装目录修改。 各组件业务用户由MRS集群管理员根据业务需要创建。安全模式下，“机机”用户需要下载keytab文件。“人机”用户第一次登录时需修改密码。 使用Oozie客户端 以客户端安装用户，登录安装客户端的节点。 执行以下命令，切换到客户端安装目录
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
