检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
的日期格式定义可参考“java.text.SimpleDateFormat.java”中的定义，但需要遵循目标系统的约束，例如HDFS/OBS目录不支持特殊符号等。 Loader宏定义 目前Loader默认支持以下时间宏定义： 表1 Loader常用宏定义 名称 替换后效果 说明
足的现象。 规避措施： 根据业务需要，配置合适的需要保留的Job和Stage的UI数据个数，即配置“spark.ui.retainedJobs”和“spark.ui.retainedStages”参数。详细信息请参考常用参数中的表13。 如果需要保留的Job和Stage的UI数据个数较多，可通过配置“spark
ID = root_20160716174218_90f55869-000a-40b4-a908-533f63866fed Total jobs = 1 Launching Job 1 out of 1 Number of reduce tasks is set to 0 since
足的现象。 规避措施： 根据业务需要，配置合适的需要保留的Job和Stage的UI数据个数，即配置“spark.ui.retainedJobs”和“spark.ui.retainedStages”参数。详细信息请参考Spark常用配置参数中的表13。 如果需要保留的Job和Sta
into时，会往表中追加数据，而使用insert overwrite时，如果表属性“auto.purge”被设置为“true”，直接删除原表数据，再写入新的数据。 如果对象表是分区表时，insert overwrite会删除对应分区的数据而非所有数据。 insert into后面的table关键字为可选，以兼容hive语法。
查询历史”，打开备份任务执行历史记录。 在弹出的窗口中，在指定一次执行成功记录的“备份路径”列，单击“查看”，打开此次任务执行的备份路径信息，查找以下信息： “备份对象”表示备份的数据源。 “备份路径”表示备份文件保存的完整路径。 选择正确的项目，在“备份路径”手工选中备份文件的完整路径并复制。 创建恢复任务。
2 16/02/24 15:45:41 INFO mapreduce.JobSubmitter: number of splits:2 16/02/24 15:45:42 INFO mapreduce.JobSubmitter: Submitting tokens for job:
2 16/02/24 15:45:41 INFO mapreduce.JobSubmitter: number of splits:2 16/02/24 15:45:42 INFO mapreduce.JobSubmitter: Submitting tokens for job:
在Loader页面，单击“管理连接”。 单击指定连接的名称，进入编辑页面。 根据业务需要，修改连接配置参数。 单击“测试”。 如果显示测试成功，则执行5；如果显示不能连接至OBS Server，则需要重复3。 单击“保存”。 如果某个Loader作业已集成一个Loader连接，那么编辑连接参数后可能导致Loader作业运行效果也产生变化。
apache.oozie.service.ZKXLogStreamingService,org.apache.oozie.service.ZKJobsConcurrencyService,org.apache.oozie.service.ZKUUIDService HA启用的功能 oozie
告警级别，取值范围： 1：紧急告警 2：重要告警 3：次要告警 4：提示告警 cause 告警原因 additionalInfo 附加信息 object 告警对象 父主题： 查看与配置MRS告警事件
2 16/07/12 17:07:18 INFO mapreduce.JobSubmitter: number of splits:2 16/07/12 17:07:18 INFO mapreduce.JobSubmitter: Submitting tokens for job:
StageCompleted， TaskResubmit， TaskStart，TaskEnd， TaskGettingResult， JobStart，JobEnd）按文件的大小进行决定是否写入新的日志文件。对于Spark SQL的应用，Job事件还包含ExecutionStart、ExecutionEnd。
StageCompleted， TaskResubmit， TaskStart，TaskEnd， TaskGettingResult， JobStart，JobEnd）按文件的大小进行决定是否写入新的日志文件。对于Spark SQL的应用，Job事件还包含ExecutionStart、ExecutionEnd。
apache.oozie.service.ZKXLogStreamingService,org.apache.oozie.service.ZKJobsConcurrencyService,org.apache.oozie.service.ZKUUIDService HA启用的功能 oozie
从Hudi同步数据到DWS或ClickHouse任务中，在Hudi中物理删除的数据目的端不会同步删除。例如，在Hudi中执行delete from tableName命令硬删除表数据，目的端DWS或ClickHouse仍存在该表数据。 MySQL数据库需要开启MySQL的bin
10-5-146-1 storm- INFO Nimbus start normally 审计日志 <用户名><用户IP><时间><操作><操作对象><操作结果> UserName=storm/hadoop, UserIP=10.10.0.2, Time=Tue Mar 10 01:15:35
API来执行Hive DDL，提交Mapreduce任务，查询Mapreduce任务执行结果等操作。 权限要求 表1 操作权限要求 操作类型/作用对象 操作 权限要求 DATABASE CREATE DATABASE dbname [LOCATION "hdfs_path"] 如果指定了
a高可靠性功能，防止当Kafka发生故障或者Kafka重启时传输的数据丢失。 表1 使用MRS Kafka同步数据的CDL任务 数据源 目的端 描述 MySQL Hudi 该任务支持从MySQL同步数据到Hudi。 Kafka 该任务支持从MySQL同步数据到Kafka。 PgSQL
包和业务表在同一个OBS桶下偶现OBS 403认证过期问题，开启方法（若之前有设置过，则跳过）：在Master节点通过ps -ef | grep executor命令确定executor进程ID，并添加参数executor.spark.launcher.obs.user-agency
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
