检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
log.max-history:计算实例日志在本地的最大保留时间,默认值:7天。 log.clean.task.schedule.plan:自动清理计算实例日志的调度计划。值为cron表达式,此处仅允许指定一天中固定的触发时间。
JDBC_LOOKUP_BOLT, new Fields("WORD")); StormSubmitter.submitTopology(args[0], conf, builder.createTopology()); } } 部署运行及结果查看 导出本地
<checkpointDir>指checkpoint文件存放路径,本地或者HDFS路径下。 <kafkaProtocol>指安全访问协议(如SASL_PLAINTEXT)。 <kafkaService>指kerberos服务名称(如kafka)。
JDBC_LOOKUP_BOLT, new Fields("WORD")); StormSubmitter.submitTopology(args[0], conf, builder.createTopology()); } } 部署运行及结果查看 导出本地
log4j.logger.DUAL=debug,DUAL log4j.appender.DUAL=org.apache.log4j.RollingFileAppender log4j.appender.DUAL.File=/var/log/dual.log //客户端本地双读日志路径
log4j.logger.DUAL=debug,DUAL log4j.appender.DUAL=org.apache.log4j.RollingFileAppender log4j.appender.DUAL.File=/var/log/dual.log //客户端本地双读日志路径
约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 hive_script_path String 参数解释: Hive脚本地址。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 create_by String 参数解释: 创建作业的用户ID。
nodeagent_ctl.log,start-agent.log NodeAgent启动日志 agent.log NodeAgent运行日志 cert.log 证书日志 agentplugin.log 监控agent侧插件运行日志 omaplugin.log OMA插件运行日志 diskhealth.log 磁盘健康检查日志
/user/example/output/part-r-0000 输出结果保存在HDFS文件系统中,可以通过命令将其下载到本地进行查看。
4oBVKNo5v8HCBSE3Fg0f_EwtFKKlODKQSM2t32CjhNTV0VCSERGUyBkZWxlZ2F0aW9uFDEwLjEyMC4xNzIuMTA5OjI1MDAw&namenoderpcaddress=hacluster 根据获取的Location地址信息,可将本地
4oBVKNo5v8HCBSE3Fg0f_EwtFKKlODKQSM2t32CjhNTV0VCSERGUyBkZWxlZ2F0aW9uFDEwLjEyMC4xNzIuMTA5OjI1MDAw&namenoderpcaddress=hacluster 根据获取的Location地址信息,可将本地
设置为OBS桶的路径或虚拟机本地的路径。 OBS桶的路径:直接手动输入脚本路径。示例:s3a://XXX/scale.sh 虚拟机本地的路径:用户需要输入正确的脚本路径。脚本所在的路径必须以‘/’开头,以.sh结尾。
/user/example/output/part-r-0000 输出结果保存在HDFS文件系统中,可以通过命令将其下载到本地进行查看。
4oBVKNo5v8HCBSE3Fg0f_EwtFKKlODKQSM2t32CjhNTV0VCSERGUyBkZWxlZ2F0aW9uFDEwLjEyMC4xNzIuMTA5OjI1MDAw&namenoderpcaddress=hacluster 根据获取的Location地址信息,可将本地
登录OBS控制台,在已创建的文件系统的“文件”页面,将本地的原始数据分别上传至生成的“employees_info”、“employees_contact”文件夹下。
Ranger策略不支持本地路径以及HDFS上带空格的路径。
secondstep:表示将临时复制表里面的数据attach到目的集群的本地表中。 注意: 参数值为secondstep时,脚本执行前,需要运维人员和用户确认ClickHouse相关业务必须已经停止。
false 否 State Backend 表8 State Backend参数说明 参数 描述 默认值 是否必选 state.backend.fs.checkpointdir 当backend为filesystem时的路径,路径必须能够被JobManager访问到,本地路径只支持
如果报没有权限读写本地目录的错误,需要指定"spark.sql.streaming.checkpointLocation"参数,且用户必须具有该参数指定的目录的读、写权限。
false 否 State Backend 表8 State Backend参数说明 参数 描述 默认值 是否必选 state.backend.fs.checkpointdir 当backend为filesystem时的路径,路径必须能够被JobManager访问到,本地路径只支持