检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过JDBC访问Spark SQL样例程序（Java） 功能简介 使用自定义客户端的JDBC接口提交数据分析任务，并返回结果。 样例代码 定义SQL语句。SQL语句必须为单条语句，注意其中不能包含“;”。示例： ArrayList<String> sqlList = new ArrayList<String>();
配置Spark通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后，即可在Spark客户端创建Location为OBS路径的表。 集群安装后使用spark beeline 登录FusionInsight Manager，选择“集群 > 服务 >
访问安全集群环境中的服务，需要先通过Kerberos安全认证。所以HDFS应用程序中需要写入安全认证代码，确保HDFS程序能够正常运行。 安全认证有两种方式： 命令行认证： 提交HDFS应用程序运行前，在HDFS客户端执行如下命令进行认证。 kinit 组件业务用户 该方式仅适用于Linux操作系统，且安装了HDFS的客户端。
配置Sqoop通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成Sqoop客户端对接OBS文件系统的配置后，可在Sqoop客户端导入关系型数据库的表到OBS中，或导出OBS中的表到关系型数据库中。 前提条件 需在MySQL官网https://downloads
证代码，确保MapReduce程序能够正常运行。 安全认证有两种方式： 命令行认证： 提交MapReduce应用程序运行前，在MapReduce客户端执行如下命令获得认证。 kinit 组件业务用户 代码认证： 通过获取客户端的principal和keytab文件在应用程序中进行认证。
在Flink应用中，调用flink-connector-kafka模块的接口，生产并消费数据。 代码样例 用户在开发前需要使用对接安全模式的Kafka，则需要引入FusionInsight的kafka-clients-*.jar，该jar包可在kafka客户端目录下获取。 下面代码片段仅为演示，完整
on Tez/Mapreduce/Spark时会偶现一些空指针或类型转化异常？ 回答 当前Hive不支持向量化执行。 向量化执行有很多社区问题引入目前没有稳定修复，默认hive.vectorized.execution.enabled=false，不建议将此参数打开。 父主题： Hive常见问题
配置Hive通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后，即可在Hive客户端创建Location为OBS路径的表。 建表时指定Location为OBS路径 使用安装客户端用户登录客户端安装节点。 执行如下命令初始化环境变量。 source
IoTDB Session样例程序 功能简介 通过Session连接方式，执行IoTDB SQL语句。 代码样例 下面代码片段仅为演示，具体代码参见“com.huawei.bigdata.SessionExample”。 其中在Session对象的参数里，设置IoTDBServer所在的节点IP、端口、用户名和密码。
访问安全集群环境中的服务，需要先通过Kerberos安全认证。所以HDFS应用程序中需要写入安全认证代码，确保HDFS程序能够正常运行。 安全认证有两种方式： 命令行认证： 提交HDFS应用程序运行前，在HDFS客户端执行如下命令进行认证。 kinit 组件业务用户 该方式仅适用于Linux操作系统，且安装了HDFS的客户端。
rk、HBase、Kafka、Storm等大数据组件，并具备在后续根据业务需要进行定制开发的能力，帮助企业快速构建海量数据信息处理系统，并通过对海量信息数据实时与非实时的分析挖掘，发现全新价值点和企业商机。 产品架构 MRS集群各版本组件情况请参见MRS组件版本一览表。 MRS逻辑架构如图1所示。
远程代码执行漏洞（CVE-2021-44228）修复指导 本章节指导用户修复log4j2的CVE-2021-44228漏洞。目前有两种方式可以采用如下两种方式修复： 现有集群节点安装补丁 扩容节点安装补丁 前提条件 从OBS路径中下载的补丁工具“MRS_Log4j_Patch.tar.
服务配置参数：使用默认值即可，如需手动配置作业相关参数，可参考运行Flink作业。 确认作业配置信息后，单击“确定”，完成作业的新增，并等待运行完成。 方式2：通过集群客户端提交作业。 使用root用户登录集群客户端节点，进入客户端安装目录。 su - omm cd /opt/client source
在Flink应用中，调用flink-connector-kafka模块的接口，生产并消费数据。 代码样例 用户在开发前需要使用对接安全模式的Kafka，则需要引入FusionInsight的kafka-clients-*.jar，该jar包可在Kafka的客户端目录下获取。 下面代码片段仅为演示，完
在Flink应用中，调用flink-connector-kafka模块的接口，生产并消费数据。 代码样例 用户在开发前需要使用对接安全模式的Kafka，则需要引入FusionInsight的kafka-clients-*.jar，该jar包可在Kafka客户端目录下获取。下面列出producer和consumer，以及Flink
Launcher的方式依赖Spark客户端，即运行程序的节点必须已安装Spark客户端，且客户端可用。运行过程中依赖客户端已配置好的环境变量、运行依赖包和配置文件， 在Spark应用程序运行节点，执行如下命令使用Spark Launcher方式提交。之后，可通过Spark Web
hon） 功能介绍 在Spark应用中，通过使用Spark调用Hive接口来操作hive表，然后把Hive表的数据经过分析后写到HBase表。 代码样例 由于pyspark不提供Hbase相关api，本样例使用Python调用Java的方式实现。 下面代码片段仅为演示，具体代码参
除了spark-submit命令提交应用外，如何采用Java命令提交Spark应用？ 回答 您可以通过org.apache.spark.launcher.SparkLauncher类采用java命令方式提交Spark应用。详细步骤如下： 定义org.apache.spark.launcher
IoTDB JDBC样例程序 功能简介 通过JDBC连接方式，执行IoTDB SQL语句。 代码样例 下面代码片段仅为演示，具体代码参见“com.huawei.bigdata.iotdb.JDBCExample”类。 其中，在jdbc url里设置待连接的IoTDBServer所在的节点IP、端口、用户名和密码。
选择引导操作脚本所执行的节点类型。 执行时机 组件首次启动后 选择引导操作脚本执行的时间。 组件首次启动前 组件首次启动后 说明： 为已运行的集群添加引导操作时，只能通过手动方式在节点上执行第三方组件的安装脚本进行安装。 失败操作 继续 该脚本执行失败后，是否继续执行后续脚本和创建集群。 说明： 建议您设置为“
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
