检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通。 安装JDK 开发和运行环境的基本配置。版本要求如下： 服务端和客户端仅支持自带的OpenJDK，版本为1.8.0_272，不允许替换。 对于客户应用需引用SDK类的Jar包运行在客户应用进程中的。 X86客户端：Oracle JDK：支持1.8版本；IBM JDK：支持1.8
Kafka开发应用时，需要准备的开发环境如下表所示： 表1 开发环境 准备项 说明 操作系统 Windows系统，推荐Windows 7以上版本。 安装JDK和Maven 开发环境的基本配置。JDK版本要求：1.7或者1.8。Maven版本要求：3.3.0及以上 安装和配置Eclipse或IntelliJ IDEA
常。 表1 开发环境 准备项 说明 安装JDK 开发环境的基本配置。版本要求：1.7或者1.8。 说明： 基于安全考虑，MRS 服务端只支持TLS 1.1和TLS 1.2加密协议，IBM JDK默认TLS只支持1.0，若使用IBM JDK，请配置启动参数“com.ibm.jsse2
0_272版本（集群自带JDK，可通过集群客户端安装目录中“JDK”文件夹下获取）。 毕昇JDK：支持1.8.0_272版本。 说明： 基于安全考虑，服务端只支持TLS V1.2及以上的加密协议。 IBM JDK默认只支持TLS V1.0，若使用IBM JDK，请配置启动参数“com
定的公网IP和主机名的映射。 若运行报“Message stream modified (41)”的错误，这可能与JDK的版本有关系，可以尝试修改运行样例代码的JDK为8u_242以下版本或删除“krb5.conf”配置文件的“renew_lifetime = 0m”配置项。 查看结果。
Structure”页面中，选择“SDKs”，单击加号添加JDK。 图5 添加JDK 在弹出的“Select Home Directoty for JDK”窗口，选择对应的JDK目录，然后单击“OK”。 图6 选择JDK目录 完成JDK选择后，单击“OK”完成配置。 图7 完成JDK配置 （可选）如果是Scala开发环境，还需要在IntelliJ
Structure”页面中，选择“SDKs”，单击加号添加JDK。 图5 添加JDK 在弹出的“Select Home Directoty for JDK”窗口，选择对应的JDK目录，然后单击“OK”。 图6 选择JDK目录 完成JDK选择后，单击“OK”完成配置。 图7 完成JDK配置 （可选）如果是Scala开发环境，还需要在IntelliJ
Structure”页面中，选择“SDKs”，单击加号添加JDK。 图5 添加JDK 在弹出的“Select Home Directoty for JDK”窗口，选择对应的JDK目录，然后单击“OK”。 图6 选择JDK目录 完成JDK选择后，单击“OK”完成配置。 图7 完成JDK配置 （可选）如果是Scala开发环境，还需要在IntelliJ
UDF功能的权限控制机制 由于kafka配置的限制，导致Spark Streaming应用运行失败 如何使用IDEA远程调试 使用IBM JDK产生异常，提示“Problem performing GSS wrap”信息 Spark on Yarn的client模式下spark-s
overwrite语句误操作导致数据丢失 未安装HBase时Hive on Spark任务卡顿如何处理 Hive使用WHERE条件查询超过3.2万分区的表报错 使用IBM的JDK访问beeline客户端出现连接HiveServer失败 Hive表的Location支持跨OBS和HDFS路径吗 MapReduce引擎
Spark应用名在使用yarn-cluster模式提交时不生效 如何使用IDEA远程调试 如何采用Java命令提交Spark应用 使用IBM JDK产生异常，提示“Problem performing GSS wrap”信息 Structured Streaming的cluster模式
Spark应用名在使用yarn-cluster模式提交时不生效 如何使用IDEA远程调试 如何采用Java命令提交Spark应用 使用IBM JDK产生异常，提示“Problem performing GSS wrap”信息 Structured Streaming的cluster模式
Spark应用名在使用yarn-cluster模式提交时不生效 如何使用IDEA远程调试 如何采用Java命令提交Spark应用 使用IBM JDK产生异常，提示“Problem performing GSS wrap”信息 Structured Streaming的cluster模式
overwrite语句误操作导致数据丢失 未安装HBase时Hive on Spark任务卡顿如何处理 Hive使用WHERE条件查询超过3.2万分区的表报错 使用IBM的JDK访问Beeline客户端出现连接HiveServer失败 Hive表的Location支持跨OBS和HDFS路径吗 MapReduce引擎
Spark应用名在使用yarn-cluster模式提交时不生效 如何使用IDEA远程调试 如何采用Java命令提交Spark应用 使用IBM JDK产生异常，提示“Problem performing GSS wrap”信息 Structured Streaming的cluster模式
0/conf/flume-env.sh + '[' -n '' ']' + exec /tmp/MRS-Client/MRS_Flume_ClientConfig/JDK/jdk-8u18/bin/java '-XX:OnOutOfMemoryError=bash /opt/FlumeClient/fusioninsight-flume-1
“-n”：可选参数，表示自定义的Flume客户端的名称。 IBM的JDK不支持“-Xloggc”，需要修改“flume/conf/flume-env.sh”，将“-Xloggc”修改为“-Xverbosegclog”，若JDK为32位，“-Xmx”不能大于3.25GB。 “flume/conf/flume-env
提交Spark任务时Driver端提示运行内存超限 Yarn-cluster模式下提交Spark任务报“Can't get the Kerberos realm”异常 JDK版本不匹配导致启动spark-sql和spark-shell失败 Yarn-client模式提交Spark任务时ApplicationMaster尝试启动两次失败
其中Host为Spark运行机器IP地址，Port为调试的端口号（确保该端口在运行机器上没被占用）。 图2 配置参数 当改变Port端口号时，For JDK1.4.x对应的调试命令也跟着改变，比如Port设置为5006，对应调试命令会变更为-Xdebug -Xrunjdwp:transport=dt_socket
其中Host为Spark运行机器IP地址，Port为调试的端口号（确保该端口在运行机器上没被占用）。 图2 配置参数 当改变Port端口号时，For JDK1.4.x对应的调试命令也跟着改变，比如Port设置为5006，对应调试命令会变更为-Xdebug -Xrunjdwp:transport=dt_socket
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
