检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
购买MRS集群时，找不到ZooKeeper组件如何处理？ 问： 购买MRS集群时，为什么找不到ZooKeeper组件？ 答： 创建MRS 3.x之前版本集群时，ZooKeeper组件为默认安装的组件，不在创建集群的界面上显示。 集群创建完成后可在集群“组件管理”页签看到ZooKeeper组件。
集群外节点提交Spark作业时报错无法连接Driver 问题现象 集群外节点和集群各个节点网络已经互通，在集群外节点使用client模式提交Spark任务到Yarn上，任务失败，报错信息为无法连接Driver。 原因分析 使用client模式提交Spark任务的时候，Spark的
通过Yarn WebUI页面查看作业日志提示“ERROR 500”错误 问题背景与现象 在MRS上提交的SparkStreaming流式作业执行一段时间后，查看Yarn WebUI页面全量日志报“HTTP ERROR 500 org.apache.http.ConnectionCloseException:
Spark增量读取Hudi参数规范 规则 增量查询之前必须指定当前表的查询为增量查询模式，并且查询后重写设置表的查询模式 如果增量查询完，不重新将表查询模式设置回去，将影响后续的实时查询 示例 set hoodie.tableName.consume.mode=INCREMENT
Flink流式读Hudi表建议 设置合理的消费参数避免File Not Found问题 当下游消费Hudi过慢，上游写入端会把Hudi文件归档，导致File Not Found问题。优化建议如下： 调大read.tasks。 如果有限流则调大限流参数。 调大上游compaction、archive、clean参数。
Flink SQL逻辑开发规则 维表lookup join场景维度表个数不超过五个 Hudi维度表都在TM heap中，当维表过多时heap中保存的维表数据过多，TM会不断GC，导致作业性能下降。 【示例】lookup join维表数5个： CREATE TABLE table1(id
安装补丁 安装补丁 将从OBS路径中下载的补丁（MRS_3.1.0_TROS_Tools_patch_20240430.tar.gz）工具放至主OMS节点的“/home/omm”目录下。 执行如下命令下载补丁，如果已存在，可跳过此步骤。 wget ${补丁下载地址} 补丁下载地址请参考补丁下载地址。
删除作业执行对象（废弃） 功能介绍 删除指定的作业执行对象。该接口兼容Sahara。 MRS 3.x版本镜像，不支持MRS V1.1作业管理接口，需要使用V2作业管理接口。 接口约束 无 调试 您可以在API Explorer中调试该接口。 URI DELETE /v1.1/{p
查询作业exe对象详情（废弃） 功能介绍 查询指定作业的exe对象详细信息。该接口不兼容Sahara。 MRS 3.x版本镜像，不支持MRS V1.1作业管理接口，需要使用V2作业管理接口。 接口约束 无 调试 您可以在API Explorer中调试该接口。 URI GET /v1
Kafka应用开发流程介绍 Kafka客户端角色包括Producer和Consumer两个角色，其应用开发流程是相同的。 开发流程中各个阶段的说明如图1和表1所示。 图1 Kafka客户端程序开发流程 表1 Kafka客户端开发的流程说明 阶段 说明 参考文档 准备开发环境 Ka
MRS集群中的弹性伸缩功能如何收费？ 问： MRS集群中的弹性伸缩功能如何收费？ 答： 在创建集群时，Task节点只配置了弹性伸缩的取值范围，而没有配置实例数量时，产品报价不会产生收费。如果客户配置了实例数量，产品报价会在浏览器下方即时显示出来。 如果在集群使用时，配置的弹性伸缩
如何使用PySpark连接MRS Spark？ 问： 如何在ECS服务器上用PySpark连接内网开启Kerberos认证的MRS Spark集群？ 答： 将Spark的“spark-defaults.conf”文件中“spark.yarn.security.credentials
ClickHouse逻辑视图设计 建议如下： 业务逻辑上有很多比较复杂的SQL运算，可以封装为一个视图，后续查询时只查询视图，简化业务查询使用。 如果业务间有权限隔离诉求，可将部分数据查询封装到视图中，使用视图方只能看到视图下有限行及列的数据。 父主题： ClickHouse应用开发规范
Doris连接运行规范 连接Doris和运行Doris任务时需遵循的规范如下： 推荐使用ELB连接Doris，避免当连接的FE故障时，无法对外提供服务。 当Doris单实例或硬件故障时，新提交的任务能运行成功，但不能确保故障时正在运行的任务能执行成功。因此，需要用户连接Doris执行任务
集群修改域名后Hive样例程序运行报错 问题背景与现象 Hive的二次开发代码样例运行报No rules applied to ****的错误： 原因分析 Hive的二次开发样例代码会加载core-site.xml，此文件默认是通过classload加载，所以使用的时候要把此配置
使用Yarn客户端命令查询历史作业报错 问题现象 执行Yarn客户端命令查询历史作业报错，进程被终止。具体错误如下: 原因分析 客户端分配内存不足，导致提交命令报错。 处理步骤 以root用户登录HDFS客户端安装节点。 执行以下命令编辑文件。 vim /opt/client/HDFS/component_env
在Linux环境中调测Doris应用 操作场景 在程序代码完成开发后，您可以上传Jar包至Linux环境中运行应用。 前提条件 Linux环境已安装JDK，版本号需要和IntelliJ IDEA导出Jar包使用的JDK版本一致。 当Linux环境所在主机不是集群中的节点时，需要在
/opt/client”。 然后执行： source bigdata_env 启用多实例功能后，为其他HBase服务实例进行应用程序开发时还需执行以下命令，切换指定服务实例的客户端。 例如HBase2：source /opt/client/HBase2/component_env。
在本地Windows环境中调测IoTDB应用 操作场景 在程序代码完成开发后，您可以在Windows开发环境中运行应用。本地和集群业务平面网络互通时，您可以直接在本地进行调测。 如果Windows开发环境中使用IBM JDK，不支持在Windows环境中直接运行应用程序。 需要在
12-3.1.1-hw-ei-311001.jar 6 10 10 3 spark-sql 可用于local模式或者集群模式运行Hive元数据服务以及命令行查询。如果需要查看其逻辑计划，只需在SQL语句前面加上explain extended即可。 示例： Select key from
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
