检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检查客户端节点网络连接。 在安装客户端过程中，系统会自动配置客户端节点“hosts”文件，建议检查“/etc/hosts”文件内是否包含集群内节点的主机名信息，如未包含，需要手动复制解压目录下的“hosts”文件中的内容到客户端所在节点的hosts文件中，确保本地机器能与集群各主机在网络上互通。
修改“Module SDK” 单击“Apply”，单击“OK”。 配置Maven。 参考配置华为开源镜像仓章节描述，增加开源镜像仓地址等配置信息到本地Maven的“setting.xml”配置文件。 修改完成后，在IntelliJ IDEA选择“File > Settings > Build
需要处理大量重复数据，影响作业性能。 如A表字段（P1，A1，A2）使用如下方式关联B表字段（P1，B1，B2，B3）生成C的场景中，B表信息发生大量更新，但是B中的所需字段没有更新，在该关联中仅用到了B表的B1和B2字段，对于B表，每个记录更新只更新B3字段，B1和B2不更新，因此当B表更新，可以忽略更新后的数据。
wordCounts = words.groupBy("word").count() # 开始运行将running counts打印到控制台的查询 query = wordCounts.writeStream\ .outputMode("complete")\
wordCounts = words.groupBy("word").count() # 开始运行将running counts打印到控制台的查询 query = wordCounts.writeStream\ .outputMode("complete")\
的调度池中运行。 设置BroadCastHashJoin的超时时间。 BroadCastHashJoin有超时参数，一旦超过预设的时间，该查询任务直接失败，在多并发场景下，由于计算任务抢占资源，可能会导致BroadCastHashJoin的Spark任务无法执行，导致超时出现。因
修改参数值后，需重启Yarn服务使其生效。 说明： 在修改值为“false”并生效后，生效前的日志无法在WebUI中获取。 如果需要在WebUI界面上查看之前产生的日志，建议将此参数设置为“true”。 true yarn.nodemanager.log-aggregation.roll-m
费更长的时间，且对应服务的吞吐量、性能等可能会受到影响。 当前MRS集群中，服务和实例是否支持滚动重启、滚动重启参数说明请参见组件重启参考信息。 重启MRS集群组件使用限制 请在低业务负载时间段进行滚动重启操作。 在滚动重启Kafka服务时， 如果Kafka服务业务吞吐量很高（1
doc/security-component/jsse2Docs/matchsslcontext_tls.html#matchsslcontext_tls。 毕昇JDK详细信息可参考https://www.hikunpeng.com/zh/developer/devkit/compiler/jdk。 安装和配置IntelliJ
HDFS目录配额不足导致写文件失败 执行balance失败报错“Source and target differ in block-size” 查询或者删除HDFS文件失败 非HDFS数据残留导致数据分布不均衡 HDFS客户端安装在数据节点导致数据分布不均衡 节点内DataNode磁盘使用率不均衡
的总和是否是100。 是，则说明配置正常。 否，则说明配置异常，请执行后续步骤修复。 登录MRS Manager页面，选择“主机管理”。 查找主Master节点，主机名称前带实心五角星的Master节点即为主Master节点。 以root用户登录主Master节点。 执行su -
单击“下一步”，在“选择授权范围”中勾选“全局服务资源”，单击“确定”。 创建完成后，将鼠标放在新建的委托上，记录下委托ID，如下图所示。 图1 查看委托ID 创建云服务委托并绑定集群 登录华为云管理控制台。 在服务列表中选择“管理与监管 > 统一身份认证服务 IAM”。 选择“委托 >
SparkScript：提交SparkScript脚本，批量执行Spark SQL语句。 Spark SQL：使用Spark提供的类似SQL的Spark SQL语句，实时查询和分析用户数据。 Hive：建立在Hadoop基础上的开源的数据仓库。MRS支持提交HiveScript脚本和直接执行Hive SQL语句。
Encoders.STRING()).groupBy("value").count(); //开始运行将运行计数打印到控制台的查询。 StreamingQuery query = wordCounts.writeStream() .outputMode("complete")
MY_TABLE; UPSERT VALUES 插入/修改数据。 UPSERT INTO MY_TABLE VALUES(1,'abc'); SELECT 查询数据。 SELECT * FROM MY_TABLE; CREATE INDEX 创建全局索引。 CREATE INDEX MY_IDX ON
('202306270002', 'webShop', '2023-06-27 11:00:00', 'CUST2', 5000, 5000); 查询表数据，验证数据是否插入。 SELECT * FROM dws_data.dws_order; 下载GaussDB(DWS)数据库JDBC驱动并上传到MRS集群。
MY_TABLE; UPSERT VALUES 插入/修改数据。 UPSERT INTO MY_TABLE VALUES(1,'abc'); SELECT 查询数据。 SELECT * FROM MY_TABLE; CREATE INDEX 创建全局索引。 CREATE INDEX MY_IDX ON
/etc/hosts后，把hosts文件中的ip与hostname映射关系拷贝到“C:\Windows\System32\drivers\etc\hosts”中。其中主机名请以查询结果为准。 192.168.0.90 node-master1BedB.089d8c43-12d5-410c-b980-c2728a305be3
rand() % 365, 'abc'), (2, rand() % 365, 'bcd'), (1, rand() % 365, 'def'); 查询test_upsert表数据 select * from upsert_tab; ┌─id─┬───pdate─┬─name─┐ │ 2
S，热数据存储在HDFS中，能有效降低存储成本。 该功能仅MRS 3.3.0及之后版本支持。 OBS读IOPS的能力降低，因此只适用于低频查询的场景。 OBS不适合并发大量读请求的场景，并发大量读请求可能会导致请求异常。 原理介绍 HBase支持对同一张表的数据进行冷热分离存储。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
