检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
选择客户端类型：选择“完整客户端”。 选择平台类型：默认勾选即可，例如“x86_64”。 勾选“仅保存到如下路径”，使用默认保存路径，文件生成后将保存在集群主OMS节点的“/tmp/FusionInsight-Client”目录下。 图3 下载集群客户端提示框 单击“确定”后，等待客户端软件生成成功。
reduceByKey((x, y) => x, numPartitions).map(_._1) 这个过程比较耗时，尤其是数据量很大时，建议不要直接对大文件生成的RDD使用。 join() : (RDD[(K, V)], RDD[(K, W)]) => RDD[(K, (V, W))]，作用是将两个RDD通过key做连接。
管理员工具（动态更新信息）。 version 打印版本信息。 jar <jar> 运行jar文件。 logs 获取container日志。 classpath 打印获取Hadoop JAR包和其他库文件所需的CLASSPATH路径。 daemonlog 获取或者设置服务LOG级别。 CLASSNAME
管理员工具（动态更新信息）。 version 打印版本信息。 jar <jar> 运行jar文件。 logs 获取container日志。 classpath 打印获取Hadoop JAR包和其他库文件所需的CLASSPATH路径。 daemonlog 获取或者设置服务LOG级别。 CLASSNAME
执行程序Jar包或sql文件地址。 约束限制： 不涉及 取值范围： 最多为1023字符，不能包含;|&>,<'$特殊字符，且不可为空或全空格。 文件可存储于HDFS或者OBS中，不同的文件系统对应的路径存在差异。 OBS：以“obs://”开头。不支持KMS加密的文件或程序。 HDFS：以“/”开头。
管理员工具（动态更新信息）。 version 打印版本信息。 jar <jar> 运行jar文件。 logs 获取container日志。 classpath 打印获取Hadoop JAR包和其他库文件所需的CLASSPATH路径。 daemonlog 获取或者设置服务LOG级别。 CLASSNAME
管理员工具（动态更新信息）。 version 打印版本信息。 jar <jar> 运行jar文件。 logs 获取container日志。 classpath 打印获取Hadoop JAR包和其他库文件所需的CLASSPATH路径。 daemonlog 获取或者设置服务LOG级别。 CLASSNAME
到channel被终止后认为driver失联，然后整个应用停止。 解决办法：在Spark客户端的“spark-defaults.conf”文件中或通过set命令行进行设置。参数配置时要保证channel过期时间（spark.rpc.io.connectionTimeout）大于或等于RPC响应超时时间（spark
约束限制： 不涉及 取值范围： 不涉及 默认取值： default archive_path 否 String 参数解释： SQL执行结果的转储文件夹。只有select语句才会转储查询的结果。当前仅支持转储到OBS中。 约束限制： 不涉及 取值范围： 不涉及 默认取值： 不涉及 响应参数
的HiveServer节点的HiveServerAudit日志，下载的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟。打开日志文件查找“Result=FAIL”关键字筛选执行错误语句的日志信息，再根据日志信息中的“UserName”查看执行错误语句的用户。 输入正确的HQL语句，观察命令是否正确执行。
名称，单击操作列的“启动”，等待作业启动。 观察数据传输是否生效，例如在opengauss数据库中对表进行插入数据操作，查看Hudi导入的文件内容。 父主题： 创建CDL作业
+"%Y-%m-%d %H:%M:%S" > "${TIME_RECORD_FILE}" cat ${TIME_RECORD_FILE} （确保文件生成并写入时间） cd ${BIGDATA_HOME}/FusionInsight_JobGateway_*/install/Fusion
channel被终止后认为driver失联，然后整个应用停止。 解决办法： 在Spark客户端的“spark-defaults.conf”文件中或通过set命令行进行设置。参数配置时要保证channel过期时间（spark.rpc.io.connectionTimeout）大于或等于RPC响应超时时间（spark
not supported. 不支持此操作！ 请避免进行此操作 400 12000055 Failed to open the file. 打开文件失败！ 请尝试重新发起调用，或联系技术支持 400 12000059 Key pair xxx does not exist. 用户密钥对xxx不存在。
0及之后版本如果需要将Hive元数据存储到RDS PostgreSQL数据库中，还需要登录到所有的MetaStore实例节点执行以下命令替换SQL文件内容： sed -i 's#PRIMARY KEY ("MAPPING_ID"),#PRIMARY KEY (MAPPING_ID),#g'
切分数据块。 setJarByClass(Class< > cls) 核心接口，指定执行类所在的jar包本地位置。java通过class文件找到执行jar包，该jar包被上传到HDFS。 setJar(String jar) 指定执行类所在的jar包本地位置。直接设置执行jar
在“作业管理”的作业列表中，找到创建的作业名称，单击操作列的“启动”，等待作业启动。 观察数据传输是否生效，例如在PgSQL数据库中对表进行插入数据操作，查看Hudi导入的文件内容。 父主题： 创建CDL作业
处理对应问题，问题解决后等待10分钟，检查该告警是否恢复。 NTP不能正常同步，通常与系统防火墙有关：如果能关闭防火墙，建议尝试关闭防火墙后查看问题能否解决；如果不能关闭防火墙，请检查防火墙配置策略，确保UDP 123端口未禁用（具体遵循各系统下防火墙配置策略）。 是，处理完毕。 否，执行3。
级联时需要走Avro或者Thrift协议进行级联。 聚合端存在多个节点时，连接配置尽量配置均衡，不要聚合到单节点上。 Flume客户端可以包含多个独立的数据流，即在一个配置文件properties.properties中配置多个Source、Channel、Sink。这些组件可以链接以形成多个流。 例如在一个配置中配置两个数据流，示例如下：
tsdb命令可以使用“tsdb import”命令批量导入指标数据，可执行如下命令： 准备指标数据，如包含如下内容的importData.txt文件。 sys.cpu.user 1356998400 41 host=web01 cpu=0 sys.cpu.user 1356998401
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
