检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark Core 日志聚合下如何查看Spark已完成应用日志 Driver返回码和RM WebUI上应用状态显示不一致 为什么Driver进程不能退出 网络连接超时导致FetchFailedException 当事件队列溢出时如何配置事件队列的大小 Spark应用执行过程中,日志中一直打印
com.huawei.bigdata.jobgateway.job.task.JobStatusRefreshTask] - [start update job task] 审计日志 <远程主机名称> <远程用户名> <被认证的远程用户> <yyyy-MM-dd HH:mm:ss,SSS> <"日志请求的第一行" 响应码
状态码 状态码 描述 200 正常响应示例。 错误码 请参见错误码。 父主题: 集群管理接口
MRS通过引导操作脚本返回码来判断结果,如果返回零,则代表脚本执行成功,非零代表执行失败。一个节点上执行某个引导脚本失败,则会导致相应引导脚本失败,您可以通过“失败后操作”来选择是否继续执行后续脚本。
如果有全量数据接增量的需求,且已经有全量的离线Hoodie表,需要接上实时写入,同时保证数据不重复,可以开启索引加载功能。
状态码 状态码 描述 204 删除集群成功。 错误码 请参见错误码。 父主题: 集群管理接口
状态码 状态码 描述 204 操作成功。 错误码 请参见错误码。 父主题: 标签管理接口
状态码 状态码 描述 204 删除数据连接成功 错误码 请参见错误码。 父主题: 数据连接管理
状态码 状态码 描述 202 在MRS集群中批量删除作业成功 错误码 请参见错误码。 父主题: 作业管理接口
状态码 状态码 描述 202 请求成功 400 请求失败 错误码 请参见错误码。 父主题: 标签管理接口
com.huawei.bigdata.spark.examples.KafkaWordCount /opt/SparkStreamingKafka010JavaExample-1.0.jar <checkpointDir> <brokers> <topic> <batchTime> Spark Streaming Write To Kafka 0-10代码样例
com.huawei.bigdata.spark.examples.KafkaWordCount /opt/SparkStreamingKafka010JavaExample-1.0.jar <checkpointDir> <brokers> <topic> <batchTime> Spark Streaming Write To Kafka 0-10代码样例
图3 关闭通信安全授权 若用户已开启敏感操作保护(详见IAM服务的敏感操作),则输入选择的对应验证方式获取的验证码进行进行验证,避免误操作带来的风险和损失。 图4 身份验证 为关闭安全通信的集群开启安全通信 登录MRS管理控制台。
状态码 状态码 描述 204 操作成功。 错误码 请参见错误码。 父主题: 标签管理接口
Streaming读取Kafka0-10代码样例 下面代码片段仅为演示,具体代码参见:com.huawei.bigdata.spark.examples.KafkaWordCount。 /** * 从Kafka的一个或多个主题消息。
Streaming读取Kafka0-10代码样例 下面代码片段仅为演示,具体代码参见:com.huawei.bigdata.spark.examples.KafkaWordCount。 /** * 从Kafka的一个或多个主题消息。
Streaming读取Kafka0-10代码样例 下面代码片段仅为演示,具体代码参见:com.huawei.bigdata.spark.examples.SecurityKafkaWordCount。 /** *从Kafka的一个或多个主题消息。
执行cat /etc/ntp.keys查看key值索引号为1的认证码是否与主OMS节点NTP服务的值相同。 是,执行4.a。 否,执行5。 检查该节点与主OMS节点NTP服务时间偏差是否太大。 NTP告警的“附加信息”是否描述时间偏差(time offset)太大。
Streaming读取Kafka0-10代码样例 下面代码片段仅为演示,具体代码参见:com.huawei.bigdata.spark.examples.SecurityKafkaWordCount。 /** *从Kafka的一个或多个主题消息。
Streaming读取Kafka0-10代码样例 下面代码片段仅为演示,具体代码参见:com.huawei.bigdata.spark.examples.SecurityKafkaWordCount。