检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Structured Streaming的cluster模式,在数据处理过程中终止ApplicationManager,应用失败 问题 Structured Streaming的cluster模式,在数据处理过程中终止ApplicationManager,执行应用时显示如下异常。
Structured Streaming的cluster模式,在数据处理过程中终止ApplicationManager,应用失败 问题 Structured Streaming的cluster模式,在数据处理过程中终止ApplicationManager,执行应用时显示如下异常。
Structured Streaming的cluster模式,在数据处理过程中终止ApplicationManager,应用失败 问题 Structured Streaming的cluster模式,在数据处理过程中终止ApplicationManager,执行应用时显示如下异常。
Structured Streaming的cluster模式,在数据处理过程中终止ApplicationManager,应用失败 问题 Structured Streaming的cluster模式,在数据处理过程中终止ApplicationManager,执行应用时显示如下异常。
同步Hive表配置 参数 描述 默认值 hoodie.datasource.hive_sync.enable 是否同步hudi表信息到hive metastore。 注意: 建议该值设置为true,统一使用hive管理hudi表。 false hoodie.datasource.hive_sync
执行analyze table语句,因资源不足出现任务卡住 问题 使用spark-sql执行analyze table语句,任务一直卡住,打印的信息如下: spark-sql> analyze table hivetable2 compute statistics; Query ID
-status <application_id> prints status of specified application 用户可通过应用的浏览访问权限查看应用相关信息。 application -list以表的形式提供所有应用的信息摘要: > superior application
-status <application_id> prints status of specified application 用户可通过应用的浏览访问权限查看应用相关信息。 application -list以表的形式提供所有应用的信息摘要: > superior application
Storm-HDFS开发指引 操作场景 本章节只适用于Storm和HDFS交互的场景。本章中描述的jar包的具体版本信息请以实际情况为准。 应用开发操作步骤 确认Storm和HDFS组件已经安装,并正常运行。 将storm-examples导入到IntelliJ IDEA开发环境,请参见准备Storm应用开发环境。
获取MRS集群信息 MRS服务支持的组件 MRS 3.2.0-LTS.1支持的组件信息如下: 分析集群包含的组件有:Hadoop,Spark2x,HBase,Hive,Hue,Loader,Flink,Oozie,ZooKeeper,HetuEngine,Ranger,Tez,Guardian
-status <application_id> prints status of specified application 用户可通过应用的浏览访问权限查看应用相关信息。 application -list以表的形式提供所有应用的信息摘要: > superior application
-status <application_id> prints status of specified application 用户可通过应用的浏览访问权限查看应用相关信息。 application -list以表的形式提供所有应用的信息摘要: > superior application
查看Manager应用调测结果 操作场景 Manager应用程序运行完成后,可通过如下方式查看运行结果: 通过IntelliJ IDEA运行结果查看应用程序运行情况,可通过配置文件“conf\log4j.properties”配置日志打印信息。 登录主管理节点查看系统日志“/va
字符串函数和运算符 字符串运算符 ||表示字符连接 SELECT 'he'||'llo'; –hello 字符串函数 这些函数假定输入字符串包含有效的UTF-8编码的Unicode代码点。不会显式检查UTF-8数据是否有效,对于无效的UTF-8数据,函数可能会返回错误的结果。可以
使用Hue提交Oozie Hive2作业 操作场景 该任务指导用户通过Hue界面提交Hive2类型的Oozie作业。 操作步骤 创建工作流,请参考使用Hue创建工作流。 在工作流编辑页面,选择“HiveServer2 脚本”按钮,将其拖到操作区中。 在弹出的“HiveServer2
使用Hue提交Oozie Hive2作业 操作场景 该任务指导用户通过Hue界面提交Hive2类型的Oozie作业。 操作步骤 创建工作流,请参考使用Hue创建工作流。 在工作流编辑页面,选择“HiveServer2 脚本”按钮,将其拖到操作区中。 在弹出的“HiveServer2
ClickHouse表开发建议 配置多个ClickHouseBalancer实例IP 配置多个ClickHouseBalancer实例IP可以避免ClickHouseBalancer实例单点故障。相关配置(with属性)如下: 'url' = 'jdbc:clickhouse:/
查看MapReduce应用调测结果 MapReduce应用程序运行完成后,可以通过WebUI查看应用程序运行情况,也可以通过MapReduce日志获取应用运行情况。 通过MapReduce服务的WebUI进行查看 登录MRS Manager,单击“服务管理 > MapReduce
新增了HBase双读特性。 HBase双读特性是建立在主备集群容灾能力之上,两套集群同时产生毛刺的概率要远远小于一套集群,即采用双集群并发访问的方式,保证查询的稳定性。当用户发起查询请求时,同时查询两个集群的HBase服务,在等待一段时间(最大容忍的毛刺时间)后,如果主集群没有返
HDFS写并发较大时报副本不足 问题背景与现象 用户运行作业时写文件到HDFS,偶现写文件失败的情况。 操作日志如下: 105 | INFO | IPC Server handler 23 on 25000 | IPC Server handler 23 on 25000, call