检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
高,打印出来的日志就越少。 表2 日志级别 级别 描述 FATAL FATAL表示当前事件处理出现严重错误信息,可能导致系统崩溃。 ERROR ERROR表示当前事件处理出现错误信息,系统运行出错。 WARN WARN表示当前事件处理存在异常信息,但认为是正常范围,不会导致系统出错。
jar”上传至所有MetaStore实例节点“${BIGDATA_HOME}/third_lib/Hive”目录下(开源驱动包下载地址:https://repo1.maven.org/maven2/org/postgresql/postgresql/42.2.5/)。 在上传驱动包
ibm.jsse2.overrideDefaultTLS”为“true”,设置后可以同时支持TLS V1.0/V1.1/V1.2,详情可参考https://www.ibm.com/support/knowledgecenter/zh/SSYKE2_8.0.0/com.ibm.java.security
掉相应的“temp_shuffle”文件。 当用户正在查看即将被回收的Spark应用时,可能会出现找不到“temp_shuffle”文件的错误,从而导致当前页面无法访问。 处理步骤 如果遇到上述问题,可参考以下两种方法解决。 重新访问这个Spark应用的HistoryServer页面,即可查看到正确的页面信息。
"hdfsCopy- SUCCESS!, File copied, src : %s, des : %s \n", file, destfile); 移动文件。 const char* mvfile = "/tmp/nativeTest/testfile2.txt"; if (hdfsMove(fs
"hdfsCopy- SUCCESS!, File copied, src : %s, des : %s \n", file, destfile); 移动文件。 const char* mvfile = "/tmp/nativeTest/testfile2.txt"; if (hdfsMove(fs
使用Loader导出MRS集群内数据 操作场景 该任务指导用户完成将数据从MRS导出到外部的数据源的工作。 一般情况下,用户可以手工在Loader界面管理数据导入导出作业。当用户需要通过shell脚本来更新与运行Loader作业时,必须对已安装的Loader客户端进行配置。 前提条件
掉相应的“temp_shuffle”文件。 当用户正在查看即将被回收的Spark应用时,可能会出现找不到“temp_shuffle”文件的错误,从而导致当前页面无法访问。 如果遇到上述问题,可参考以下两种方法解决。 重新访问这个Spark应用的HistoryServer页面,即可查看到正确的页面信息。
印高于或等于所设置级别的日志,设置的日志等级越高,打印出来的日志就越少。 表2 日志级别 级别 描述 ERROR ERROR表示系统运行的错误信息。 WARN WARN表示当前事件处理存在异常信息。 INFO INFO表示记录系统及各事件正常运行状态信息。 DEBUG DEBUG表示记录系统及系统的调试信息。
-list 客户端常见使用问题 当执行Yarn客户端命令时,客户端程序异常退出,报“java.lang.OutOfMemoryError”的错误。 这个问题是由于Yarn客户端运行时的所需的内存超过了Yarn客户端设置的内存上限(默认为128MB)。可以通过修改“<客户端安装路径>
使用Loader导出数据 操作场景 该任务指导用户完成将数据从MRS导出到外部的数据源的工作。 一般情况下,用户可以手工在Loader界面管理数据导入导出作业。当用户需要通过shell脚本来更新与运行Loader作业时,必须对已安装的Loader客户端进行配置。 前提条件 创建或
"hdfsCopy- SUCCESS!, File copied, src : %s, des : %s \n", file, destfile); 移动文件。 const char* mvfile = "/tmp/nativeTest/testfile2.txt"; if (hdfsMove(fs
更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 查询集群列表信息成功。 错误码 请参见错误码。 父主题: 集群管理接口
"hdfsCopy- SUCCESS!, File copied, src : %s, des : %s \n", file, destfile); 移动文件。 const char* mvfile = "/tmp/nativeTest/testfile2.txt"; if (hdfsMove(fs
Streaming中定义了每60s一个批次,回写数据总共为600MB。而Kafka中定义了接收数据的阈值大小为500MB。那么此时回写数据已超出阈值。此时,会出现上述错误。 图1 应用场景 解决措施: 方式一:推荐优化Spark Streaming应用程序中定义的批次时间,降低批次时间,可避免超过Kafka
Streaming中定义了每60s一个批次,回写数据总共为600MB。而Kafka中定义了接收数据的阈值大小为500MB。那么此时回写数据已超出阈值。此时,会出现上述错误。 图1 应用场景 解决措施: 方式一:推荐优化Spark Streaming应用程序中定义的批次时间,降低批次时间,可避免超过Kafka
xml与llama-site.xml文件中配置的资源池) 执行SQL查询。 登录到Impalad WebUI上查看资源池使用情况,确认配置已生效。 https://{集群控制台地址}:9022/component/Impala/Impalad/95/ 父主题: 使用Impala
NOT NULL COMMENT "日志类型", `error_code` INT COMMENT "错误码", `error_msg` VARCHAR(1024) COMMENT "错误详细信息", `op_id` BIGINT COMMENT "负责人id", `op_time` DATETIME
Streaming中定义了每60s一个批次,回写数据总共为600MB。而Kafka中定义了接收数据的阈值大小为500MB。那么此时回写数据已超出阈值。此时,会出现上述错误。 图1 应用场景 解决措施: 方式一:推荐优化Spark Streaming应用程序中定义的批次时间,降低批次时间,可避免超过Kafka
Streaming中定义了每60s一个批次,回写数据总共为600MB。而Kafka中定义了接收数据的阈值大小为500MB。那么此时回写数据已超出阈值。此时,会出现上述错误。 图1 应用场景 解决措施: 方式一:推荐优化Spark Streaming应用程序中定义的批次时间,降低批次时间,可避免超过kafka