检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
其他Kafka配置,可以接受任意Kafka支持的生产配置,配置需要加前缀 .kafka。 Thrift Sink Thrift Sink把events转化为Thrift events并发送到配置的主机的监测端口。常用配置如下表所示: 表20 Thrift Sink常用配置 参数 默认值
如果配置了SASL,则必须配置sasl.kerberos.service.name为kafka,配置kerberos.domain.name为hadoop.系统域名,并在conf/flink-conf.yaml中配置security.kerberos.login相关配置项。 说明:
开发环境和运行环境:Linux系统。 安装Python 用于开发Hive应用程序的工具,版本要求不低于2.6.6,最高不超过2.7.13。 安装setuptools Python开发环境的基本配置,版本要求5.0以上。 Python开发工具的详细安装配置可参见配置Hive Python样例工程。
客户端软件包名称格式为:“FusionInsight_Cluster_集群ID_Services_Client.tar”。本章节仅以集群ID为1进行介绍,请以实际集群ID为准。 以客户端安装用户登录将要安装客户端的服务器。 进入安装包所在目录,执行如下命令解压软件包。 cd /
客户端软件包名称格式为:“FusionInsight_Cluster_集群ID_Services_Client.tar”。本章节仅以集群ID为1进行介绍,请以实际集群ID为准。 以客户端安装用户登录将要安装客户端的服务器。 进入安装包所在目录,执行如下命令解压软件包。 cd /
一次登录时需修改密码。 使用Oozie客户端 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录,该操作的客户端目录只是举例,请根据实际安装目录修改。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 判断集群认证模式。
开发环境和运行环境:Linux系统。 安装Python 用于开发Hive应用程序的工具,版本要求不低于2.6.6,最高不超过2.7.13。 安装setuptools Python开发环境的基本配置,要求5.0之后版本。 Python开发工具的详细安装配置可参见配置Hive Python样例工程。
Spark常用配置参数 概述 本节介绍Spark使用过程中的常用配置项。以特性为基础划分子章节,以便用户快速搜索到相应的配置项。如果用户使用MRS集群,本节介绍的参数大部分已经适配好,用户无需再进行配置。少数需要用户根据实际场景配置的参数,请参见快速配置Spark参数。 配置Stage失败重试次数
一次登录时需修改密码。 使用Oozie客户端 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录,该操作的客户端目录只是举例,请根据实际安装目录修改。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 判断集群认证模式。
客户端配置文件至集群主OMS点。 以root登录主OMS节点,进入客户端配置文件所在路径(默认为“/tmp/FusionInsight-Client/”),解压软件包后获取“*\Spark\config”路径下的配置文件。并将所有的配置文件放置到与准备放置编译出的jar包同目录的
install。如果安装过程中提示python3缺少模块或者包,则需要自行进行补充。 以JayDeBeApi-1.2.3为例,提示Successfully installed JayDeBeApi-1.2.3表示已安装成功。 客户端机器必须安装Java,支持的版本可参考表1中的“安装JDK”。
备份Manager数据(MRS 2.x及之前版本) 操作场景 为了确保元数据信息安全,或者用户在对元数据功能进行重大操作(如扩容缩容、安装补丁包、升级或迁移等)前后,需要对元数据进行备份,从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复,将对业务的影响降到最低。元数据
3版本单点问题修复补丁。 安装补丁的影响 请参考安装补丁的影响。 安装补丁的影响 MRS 1.9.3.11补丁安装/卸载过程中会自动重启OMS,安装过程中将影响作业提交以及集群扩缩容等管控面集群控制功能,请选择适当的时间进行补丁安装,不需要重启大数据组件。 MRS 1.9.3.10补丁安装/卸载过
确定”,下载客户端配置文件至集群主OMS点。 以root用户登录主OMS节点,进入客户端配置文件所在路径(默认为“/tmp/FusionInsight-Client/”),解压软件包后获取“Hive/config”路径下的表1中相关配置文件。 例如客户端软件包为“FusionIn
准备OpenTSDB应用开发环境 选择Windows开发环境下,安装Eclipse,安装JDK。 请安装JDK1.8及以上版本。Eclipse使用支持JDK1.8及以上的版本,并安装JUnit插件。 若使用IBM JDK,请确保Eclipse中的JDK配置为IBM JDK。 若使用Oracle JD
install。如果安装过程中提示python3缺少模块或者包,则需要自行进行补充。 以JayDeBeApi-1.2.3为例,提示Successfully installed JayDeBeApi-1.2.3表示已安装成功。 客户端机器必须安装Java,支持的版本可参考表1中的“安装JDK”。
IoTDB > 配置”,在搜索框中搜索“SSL”,修改“SSL_ENABLE”参数值为“false”;保存配置后需重启IoTDB服务使配置生效。并修改客户端“客户端安装目录/IoTDB/iotdb/conf”目录下的“iotdb-client.env”文件中的配置:iotdb_ssl_enable="false"。
//10.96.101.32:21007表示kafka服务器的IP:port SSL加密配置 服务端配置。 配置“ssl.mode.enable”为“true”,如图2所示: 图2 服务端配置 客户端配置。 登录FusionInsight Manager系统,选择“集群 > 待操作集群的名称
/21009端口。 如果配置了SASL,则必须配置sasl.kerberos.service.name为kafka,并在conf/flink-conf.yaml中配置security.kerberos.login相关配置项。 如果配置了SSL,则必须配置ssl.truststore
支持租户面直接对接CES 补丁兼容关系 MRS 2.1.1.1补丁包中包含MRS 2.1.1版本已发布的所有补丁内容。 安装补丁的影响 安装MRS 2.1.1.1补丁期间会重启MRS Manager。 MRS 2.1.1.1补丁安装完成之后,需要关闭指标共享,重新打开指标共享。 父主题: MRS集群补丁说明