检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
stHashJoin的Spark任务无法执行，导致超时出现。因此需要在JDBCServer的“spark-defaults.conf”配置文件中调整超时时间。 表1 参数描述 参数 描述 默认值 spark.sql.broadcastTimeout BroadcastHashJo
properties路径。右键clickhouse-example.properties文件，单击“Copy Path/Reference > Absolute Path”。 图1 复制配置文件绝对路径 使用clickhouse-example.properties路径替换ClickHouseFunc
ms，即重试次数=连接RM的等待时间最大值/重试连接RM的时间频率。 在Spark客户端机器中，通过修改“conf/yarn-site.xml”文件，添加并配置“yarn.resourcemanager.connect.max-wait.ms”和“yarn.resourcemanager
不同语言的开发环境配置。Flink的运行环境即Flink客户端，请根据指导完成客户端的安装和配置。 准备本地应用开发环境 准备连接集群配置文件 准备工程 Flink提供了样例程序，您可以导入样例工程进行程序学习。或者您可以根据指导，新建一个Flink工程。 导入并配置Flink样例工程
tempt次数（MapReduce默认4次）而失败。 规避手段： 在“客户端安装路径/Yarn/config/yarn-site.xml”文件中修改“yarn.resourcemanager.am-scheduling.node-blacklisting-disable-thre
insync.replicas可以确保多副本写入成功，只要有一个副本保持活跃状态，记录将不会丢失。 说明： 该参数在kafka客户端配置文件中配置。 min.insync.replicas 1 当Producer设置acks为-1时，指定需要写入成功的副本的最小数目。 配置高可用、高性能的影响：
properties路径。右键clickhouse-example.properties文件，单击“Copy Path/Reference > Absolute Path”。 图1 复制配置文件绝对路径 使用clickhouse-example.properties路径替换ClickHouseFunc
具体计费请以MRS价格计算器中的价格为准。 弹性云服务器 计费因子：vCPU和内存，不同规格的实例类型提供不同的计算和存储能力。 包年/包月、按需计费 节点个数 * 弹性云服务器单价 * 购买时长 弹性云服务器单价请以弹性云服务器价格计算器中的价格为准。 云硬盘（系统盘和数据盘）
path at index” 问题 运行应用程序时，操作失败，日志显示如图1所示。 图1 操作失败日志 回答 可能的原因是URL中带空格导致服务器端无法正确识别URL。 需要去掉URL中的空格。 父主题： Manager应用开发常见问题
为了解决上面问题，需要对参数进行调整。 增大partition数，把任务切分的更小。 增大任务执行过程中的超时时间。 在客户端的“spark-defaults.conf”配置文件中配置如下参数。 表2 参数说明 参数 描述 建议值 spark.sql.shuffle.partitions shuffle操作时，shuffle数据的分块数。
业失败如何处理？ Spark Job对应的运行日志保存在哪里？ 执行Spark任务报内存不足告警如何处理？ 修改hdfs-site.xml文件后未及时重启NameNode导致产生告警如何处理？ SparkSQL访问Hive分区表启动Job前耗时较长如何处理？ MRS集群用户绑定多个队列时系统如何选择队列？
调测Hive Python样例程序 Python样例工程的命令行形式运行 赋予“python-examples”文件夹中脚本的可执行权限。在命令行终端执行以下命令： chmod +x python-examples -R。 在“python-examples/pyCLI_sec.
准备开发用户 参考准备MRS应用开发用户进行操作，准备用于应用开发的集群用户并授予相应权限。 7-zip 用于解压“*.zip”和“*.rar”文件，支持7-zip 16.04版本。 准备运行环境 进行应用开发时，需要同时准备代码的运行调测的环境，用于验证应用程序运行正常。 如果本地W
BrokerList格式为brokerIp:9092； 若用户需要对接安全Kafka，则还需要在spark客户端的conf目录下的“jaas.conf”文件中增加“KafkaClient”的配置信息，示例如下： KafkaClient { com.sun.security.auth.module
html#matchsslcontext_tls。 安装Maven 开发环境的基本配置。用于项目管理，贯穿软件开发生命周期。 7-zip 用于解压“*.zip”和“*.rar”文件,支持7-Zip 16.04版本。 父主题： 准备Kafka应用开发环境
html#matchsslcontext_tls。 安装Maven 开发环境的基本配置。用于项目管理，贯穿软件开发生命周期。 7-zip 用于解压“*.zip”和“*.rar”文件，支持7-Zip 16.04版本。 父主题： 准备Kafka应用开发环境
为了解决上面问题，需要对参数进行调整。 增大partition数，把任务切分的更小。 增大任务执行过程中的超时时间。 在客户端的“spark-defaults.conf”配置文件中配置如下参数。 表2 参数说明 参数 描述 建议值 spark.sql.shuffle.partitions shuffle操作时，shuffle数据的分块数。
html#matchsslcontext_tls。 安装Maven 开发环境的基本配置。用于项目管理，贯穿软件开发生命周期。 7-zip 用于解压“*.zip”和“*.rar”文件,支持7-Zip 16.04版本。 父主题： 准备Kafka应用开发环境
final String hostName = paraTool.get("hostName"); // 修改hosts文件，使用主机名 final String keytab = paraTool.get("keytab"); //
7的MySQL软件包。 例如需安装的MySQL 8.0.22客户端需下载如下四个软件包： 将下载的软件包上传到待安装MySQL客户端的节点上。 在上传的文件所在目录执行以下命令，安装MySQL客户端及对应的依赖包： rpm -ivh mysql-community-client-8.0.22-1
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
