检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
与运行Loader作业时,必须对已安装的Loader客户端进行配置。 Loader不兼容旧版本客户端,如果重新安装集群或Loader服务,请重新下载并安装客户端,然后正常使用客户端。 前提条件 完成Loader客户端的安装。使用非root用户安装Loader客户端时,如果其他用户
时需修改密码。(普通模式不涉及) 使用HDFS客户端 安装客户端,详细操作请参考使用MRS客户端。 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果
载keytab文件及修改密码操作。 使用Yarn客户端 安装客户端,具体请参考安装MRS客户端。 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果集
前提条件 MRS集群中已安装Flink组件。 集群正常运行,已安装集群客户端,例如安装目录为“/opt/hadoopclient”。以下操作的客户端目录只是举例,请根据实际安装目录修改。 使用Flink客户端(MRS 3.x及之后版本) 安装客户端。 以在集群内节点安装客户端为例: 登录
32:21007表示kafka服务器的IP:port SSL加密配置 服务端配置。 登录FusionInsight Manager页面,选择“集群 > 服务 > Kafka > 配置”,参数类别设置为“全部配置”,搜索“ssl.mode.enable”并配置为“true”。 客户端配置。 登录集群的FusionInsight
配置Hudi通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后,即可在spark-shell中创建Hudi COW表存储到OBS中。 Hudi对接OBS 使用安装客户端用户登录客户端安装节点。 配置环境变量。 source 客户端安装目录/bigdata_env
提交Storm拓扑 Linux中安装客户端时提交Storm拓扑 Linux中未安装客户端时提交Storm拓扑 在IDEA中提交Storm拓扑 父主题: 调测Storm应用
2版本已发布的所有补丁已解决的问题。 安装补丁的影响 安装MRS 1.9.2.5补丁期间会重启MRS Manager,重启期间会引起MRS Manager服务暂时不可用。如果集群之前安装了1.9.2.3补丁,安装完MRS 1.9.2.5补丁后不需要重启服务,否则安装MRS 1.9.2.5补丁
将IntelliJ IDEA中导出的jar包复制到“lib”目录下,并解压。 若业务需要访问外部组件,其所依赖的配置文件请参考相关开发指引,获取到配置文件后将配置文件放在1中指定的目录下。 若业务需要访问外部组件,其所依赖的jar包请参考相关开发指引,获取到jar包后将jar包放在1中指定的目录下。
使用FusionInsight Manager界面中的Flume配置工具来配置服务端参数并生成配置文件。 登录FusionInsight Manager,选择“ 服务 > Flume > 配置工具”。 图1 选择配置工具 “Agent名”选择“server”,然后选择要使用的so
使用Yarn客户端 安装客户端。 MRS 3.x之前版本请参考安装客户端章节。 MRS 3.x及之后版本请参考安装客户端章节。 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source
32:21007表示kafka服务器的IP:port SSL加密配置 服务端配置。 登录FusionInsight Manager页面,选择“集群 > 服务 > Kafka > 配置”,参数类别设置为“全部配置”,搜索“ssl.mode.enable”并配置为“true”。 客户端配置。 登录集群的FusionInsight
时需修改密码。(普通模式不涉及) 使用HDFS客户端 安装客户端,详细操作请参考使用MRS客户端。 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果
选择Windows开发环境下,安装Eclipse,安装JDK。 JDK使用1.8版本,Eclipse使用4.3.2及以上版本。 若使用IBM JDK,请确保Eclipse中的JDK配置为IBM JDK。 若使用Oracle JDK,请确保Eclipse中的JDK配置为Oracle JDK。
jar" Linux系统路径示例:"/opt/hetu-examples-python3/hetu-jdbc-XXX.jar" 运行python3样例代码。 Windows直接通过pycharm或者Python IDLE运行py脚本。 Linux运行样例代码前需要已安装Java。
补丁兼容关系 MRS 2.1.1.1补丁包中包含MRS 2.1.1版本已发布的所有补丁内容。 安装补丁的影响 安装MRS 2.1.1.1补丁期间会重启MRS Manager。 MRS 2.1.1.1补丁安装完成之后,需要关闭指标共享,重新打开指标共享。 父主题: MRS集群补丁说明
0版本单点问题修复补丁。 安装补丁的影响 请参考安装补丁的影响。 安装补丁的影响 MRS 3.1.0版本的补丁安装/卸载过程中会自动重启OMS,安装过程中将影响作业提交以及集群扩缩容等管控面集群控制功能,请选择适当的时间进行补丁安装。 MRS 3.1.0版本的补丁安装完成后,如需对接CES,请联系运维处理。
/opt/example/” )下。 运行任务 登录Spark客户端节点,执行如下命令: source 客户端安装目录/bigdata_env source 客户端安装目录/Hudi/component_env 编译构建样例代码后可以使用spark-submit提交命令,执行命令
该参数或修改参数值进行开启。 本章节操作适用于MRS 3.x及之后版本。 配置描述 在客户端的“mapred-site.xml”配置文件中进行如下配置。“mapred-site.xml”配置文件在客户端安装路径的config目录下,例如“/opt/client/Yarn/config”。
据盘扩容操作。 本文为您介绍通过MRS控制台对数据盘进行扩容的相关操作。 当集群版本为MRS 3.1.0(须安装3.1.0.0.11及以上补丁)、MRS 3.1.5(须安装3.1.5.0.3及以上补丁)、MRS 3.3.0-LTS请参考数据盘扩容(一键扩容)进行数据盘扩容。 当集群版本为MRS