检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
"spark.yarn.jars" 解决方法 手动删除checkpoint目录,重启业务程序。 删除文件为高危操作,在执行操作前请务必确认对应文件是否不再需要。 父主题: Spark应用开发常见问题
0版本。 安装和配置IntelliJ IDEA 开发环境的基本配置,建议使用2019.1或其他兼容版本。 说明: 若使用IBM JDK,请确保IntelliJ IDEA中的JDK配置为IBM JDK。 若使用Oracle JDK,请确保IntelliJ IDEA中的JDK配置为Oracle
用于开发Spark应用程序的工具,建议使用2019.1或其他兼容版本。 说明: 若使用IBM JDK,请确保IntelliJ IDEA中的JDK配置为IBM JDK。 若使用Oracle JDK,请确保IntelliJ IDEA中的JDK配置为Oracle JDK。 若使用Open JDK,请确保IntelliJ
main()'”运行对应的应用程序工程。 使用Oozie客户端执行以下命令: oozie job -oozie https://Oozie业务IP:21003/oozie -config job.properties -run 其中需要提前将待使用样例工程目录“src\main\resources”中的“job
main()'”运行对应的应用程序工程。 使用Oozie客户端执行以下命令: oozie job -oozie https://Oozie业务IP:21003/oozie -config job.properties -run 其中需要提前将待使用样例工程目录“src\main\resources”中的“job
hosts”中。 xx.xx.xx.xx node-ana-corejnWt xx.xx.xx.xx node-ana-coreddlI 使用Windows访问MRS集群来操作OpenTSDB,有如下两种方式: 申请一台Windows的ECS访问MRS集群操作OpenTSDB。安
"spark.yarn.jars" 解决方法 手动删除checkpoint目录,重启业务程序。 删除文件为高危操作,在执行操作前请务必确认对应文件是否不再需要。 父主题: Spark应用开发常见问题
on Hudi作业参数规则 Flink作业参数配置规范 Flink作业参数配置规范如下表所示。 表1 Flink作业参数配置规范 参数名称 是否必填 参数描述 建议值 -c 必填 指定主类名。 根据实际情况而定 -ynm 必填 Flink Yarn作业名称。 根据实际情况而定 execution
"spark.yarn.jars" 解决方法 手动删除checkpoint目录,重启业务程序。 删除文件为高危操作,在执行操作前请务必确认对应文件是否不再需要。 父主题: Spark应用开发常见问题
非法获取。 集群中的LDAP服务默认支持SSLv3协议,可安全使用。当升级openldap版本为2.4.39或更高时,LDAP将自动使用TLS1.0以上的协议通讯,避免未知的安全风险。 加固JDK 如果客户端程序使用了AES256加密算法,则需要对JDK进行安全加固,具体操作如下:
安装和配置IntelliJ IDEA 开发环境的基本配置。版本要求:JDK使用1.8版本,IntelliJ IDEA使用2019.1或其他兼容版本。 说明: 若使用IBM JDK,请确保IntelliJ IDEA中的JDK配置为IBM JDK。 若使用Oracle JDK,请确保IntelliJ IDEA中的JDK配置为Oracle
页面。 图6 查看Yarn作业详情 对于在session中提交的作业,可以单击“Tracking URL”链接登录Flink原生页面查看作业信息。 图7 查看Flink作业详情 在本示例程序中,单击“Task Managers”,在作业的“Stdout”页签中可查看程序运行结果。
在本地开发环境中调测Manager应用 操作场景 在程序代码完成开发后,可以在Windows开发环境中直接运行应用。 如果Windows运行环境中使用IBM JDK,不支持在Windows环境中直接运行应用程序。 操作步骤 在开发环境中(例如IntelliJ IDEA中),分别选中以下两个工程运行程序:
FusionInsight_Cluster_1_Services_Client.tar 执行如下命令校验解压得到的文件,检查回显信息与sha256文件里面的内容是否一致,例如: sha256sum -c FusionInsight_Cluster_1_Services_ClientConfig.tar
FusionInsight_Cluster_1_Services_Client.tar 执行如下命令校验解压得到的文件,检查回显信息与sha256文件里面的内容是否一致,例如: sha256sum -c FusionInsight_Cluster_1_Services_ClientConfig.tar
执行以下命令创建目的表t2: create table t2(col1 int,col2 int); 本样例工程中创建的表使用Hive默认的存储格式,暂不支持指定存储格式为ORC的表。 使用Yarn客户端提交任务。 yarn --config $HADOOP_HOME/etc/hadoop jar
最长时长为1年。 按需计费:节点按实际使用时长计费,计费周期为一小时。 表1列出了两种计费模式的区别。 表1 计费模式 计费模式 包年/包月 按需计费 相关文档 付费方式 预付费 按照订单的购买周期结算。 后付费 按照MRS集群实际使用时长计费。 - 计费周期 按订单的购买周期
整文件存储策略、修改文件副本数、移动文件所在目录、自动删除文件,以便充分利用存储的性能和容量。 MR引擎。用户执行Hive SQL可以选择使用MR引擎执行。 可靠性增强。Hue自身主备部署。Hue与HDFS、Oozie、Hive、Yarn等对接时,支持Failover或负载均衡工作模式。
动重启服务不断服。 MRS 1.9.3.1补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即您自行搭建的客户端)。 主备Master节点的原始客户端全量更新,请参见更新客户端配置(2.x及之前版本)。 自行搭建的客户端全量安装方法,请参见安装客户端(2
出窗口单击“确定”。默认实例组不支持删除。 多余或者不再使用的实例组可以删除,删除前需要将组内的实例全部迁移至其他实例组。系统默认的实例组不可删除。 查看实例组信息:在“实例组”页签导航栏选择一个角色,在“基本”页签,查看该实例组的全部实例。 需要将某个实例从一个实例组移动到另一个实例组中时,可以根据以下操作: