检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
执行如下命令,设置Python3.x的配置信息及编译安装,安装到/opt/Bigdata/python3目录下。 ./configure --prefix=/opt/Bigdata/python3 --enable-shared CFLAGS=-fPIC make && make install 安装的目录可以自定义。
> Yarn > 配置”,选择“全部配置”,在搜索框中输入参数名称“yarn.http.policy”。 安全模式下配置为“HTTPS_ONLY”。 普通模式下配置为“HTTP_ONLY”。 以客户端安装用户,登录安装客户端的节点。 执行以下命令,进入客户端安装路径。 cd /opt/client
> Yarn > 配置”,选择“全部配置”,在搜索框中输入参数名称“yarn.http.policy”。 安全模式下配置为“HTTPS_ONLY”。 普通模式下配置为“HTTP_ONLY”。 以客户端安装用户,登录安装客户端的节点。 执行以下命令,进入客户端安装路径。 cd /opt/client
如果当前的应用开发工程配置项中包含该配置项,则应用开发程序还需要引入Jar包“phoenix-core-5.0.0-HBase-2.0-hw-ei.jar”。此Jar包可以从HBase客户端安装目录下的“HBase/hbase/lib”获取。 如果不想引入该Jar包,请将应用开发工程的配置文件“hbase-site
重启HetuEngine的计算实例。 MRS 3.x及之后版本,配置跨集群互信后,各个集群都需要重新下载并安装客户端。 配置跨集群互信后,验证配置后是否可以正常工作,且如何使用本系统用户访问对端系统资源,请参见配置互信MRS集群的用户权限。 前提条件 系统管理员已明确业务需求,并
开启TableStatus多版本特性下,最新tablestatus文件丢失或损坏,如何恢复 问题 开启TableStatus多版本特性下,最新的tablestatus文件丢失或其他异常原因损坏的情况下,如何恢复? 回答 使用当前可得的最近的tablestatus文件进行恢复,分为如下两个场景来进行恢复:
选择“实例”页签,查看Nimbus实例状态,显示正常。 查看当前Storm集群thrift相关配置,发现nimbus.thrift.max_buffer_size参数配置为1048576(1M)。 上述配置和异常信息中信息一致,说明当前配置的Thrift的buffer size小于集群信息所需的buffer
0_272版本。 安装和配置IDEA 用于开发Flink应用程序的工具。版本要求:14.1.7。 安装Scala Scala开发环境的基本配置。版本要求:2.11.7。 安装Scala插件 Scala开发环境的基本配置。版本要求:1.5.4。 安装Maven 开发环境的基本配置。用于项目管理,贯穿软件开发生命周期。
1补丁包中已包含所有MRS 3.1.5版本单点问题修复补丁。 安装补丁的影响 请参考安装补丁的影响。 安装补丁的影响 MRS 3.1.5版本的补丁安装/卸载过程中会自动重启OMS,安装过程中将影响作业提交以及集群扩缩容等管控面集群控制功能,请选择适当的时间进行补丁安装。 慢盘隔离特性约束: 隔离慢盘之前无
hetu-jdbc-*.jar”文件。 备注:xxx为“arm”或“x86”。 执行以下命令,进入集群客户端安装目录: cd /opt/client; 执行以下命令,配置环境变量: source bigdata_env; 执行以下命令进行开发程序调试: cd /opt/hetuclient;
等待状态 问题现象 使用MRS服务安装集群,主要安装ZooKeeper、Kafka。 在使用Consumer从Kafka消费数据时,发现客户端一直处于等待状态。 可能原因 Kafka服务异常。 客户端Consumer侧采用非安全访问,服务端配置禁止访问。 客户端Consumer侧采用非安全访问,Kafka
前提条件 获取用户“admin”账号密码。“admin”密码在创建MRS集群时由用户指定。 已安装集群客户端,例如安装目录为“/opt/client”,以下操作的客户端目录只是举例,请根据实际安装目录修改。更新客户端,具体请参见更新客户端(3.x之前版本)。 使用客户端 如果当前集群已启用Kerberos认证,登录MRS
操作场景 Ranger管理员可以通过Ranger为OBS用户配置OBS目录或文件的读、写权限。 本章节仅适用于MRS 3.3.0-LTS及之后版本。 前提条件 已安装Ranger服务且服务运行正常。 已创建需要配置权限的用户组。 已安装Guardian服务。 操作步骤 使用Ranger管
Shan版本,如何让spark2x支持其正常运行。 回答 第三方jar包(例如自定义udf)区分x86和TaiShan版本时,混合使用方案: 进入到服务端spark2x sparkResource的安装目录(这个集群安装过程中可能会安装在多个节点上,随便进入一个安装节点,cd到sparkResource的安装目录)。
WebUI中显示的“Dead Region Servers”信息什么时候会被清除掉 访问HBase Phoenix提示权限不足如何处理 租户使用HBase BulkLoad功能提示权限不足如何处理 如何修复Overlap状态的HBase Region Phoenix BulkLoad Tool使用限制说明
问题现象 使用MRS安装集群,主要安装ZooKeeper、Kafka。 在使用Producer向Kafka发送数据功能时,发现客户端报错:TOPIC_AUTHORIZATION_FAILED。 可能原因 Kafka服务异常。 客户端Producer侧采用非安全访问,服务端配置禁止访问。
MRS集群加固策略说明 配置Hadoop数据传输加密 配置Kafka数据传输加密 配置HDFS数据传输加密 配置Spark数据传输加密 配置ZooKeeper数据传输加密 配置Controller与Agent间数据传输加密 配置受信任IP地址访问LDAP 加密HFile和WAL内容 配置HBase只读模式集群允许修改数据的IP白名单
完成JDK选择后,单击“OK”完成配置。 图5 完成JDK配置 在应用开发环境中,导入样例工程到IntelliJ IDEA开发环境。 配置IntelliJ IDEA maven工程环境 选择“File > Settings”,搜索“maven”,配置maven工程,选择“Apply
> 如果当前的应用开发工程配置项中包含该配置项,则应用开发程序还需要引入Jar包“phoenix-core-*.jar”。此Jar包可以从HBase客户端安装目录下的“HBase/hbase/lib”获取。 如果不想引入该Jar包,请将应用开发工程的配置文件“hbase-site
字段大小写一致。 该特性不支持Hive视图表。 配置FlinkSQL行过滤流程 配置FlinkServer自定义参数。 登录FusionInsight Manager。 选择“集群 > 服务 > Flink > 配置 > 全部配置 > FlinkServer(角色) > 自定义 >