检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flume客户端无法连接服务端 问题现象 安装Flume客户端并设置Avro Sink与服务端通信,发现无法连接Flume服务端。 原因分析 服务端配置错误,监测端口启动失败,例如服务端Avro Source配置了错误的IP,或者已经被占用了的端口。 查看Flume运行日志: 2016-08-31
aiShan版本,如何让Spark2x支持其正常运行。 回答 第三方jar包(例如自定义udf)区分x86和TaiShan版本时,混合使用方案: 进入到服务端Spark2x SparkResource的安装目录(集群安装时,SparkResource可能会安装在多个节点上,登录任
执行如下命令,设置Python3.x的配置信息及编译安装,安装到/opt/Bigdata/python3目录下。 ./configure --prefix=/opt/Bigdata/python3 --enable-shared CFLAGS=-fPIC make && make install 安装的目录可以自定义。
hetu-jdbc-*.jar”文件。 备注:xxx为“arm”或“x86”。 执行以下命令,进入集群客户端安装目录: cd /opt/client; 执行以下命令,配置环境变量: source bigdata_env; 执行以下命令进行开发程序调试: cd /opt/hetuclient;
开启TableStatus多版本特性下,最新tablestatus文件丢失或损坏,如何恢复 问题 开启TableStatus多版本特性下,最新的tablestatus文件丢失或其他异常原因损坏的情况下,如何恢复? 回答 使用当前可得的最近的tablestatus文件进行恢复,分为如下两个场景来进行恢复:
重启HetuEngine的计算实例。 MRS 3.x及之后版本,配置跨集群互信后,各个集群都需要重新下载并安装客户端。 配置跨集群互信后,验证配置后是否可以正常工作,且如何使用本系统用户访问对端系统资源,请参见配置互信MRS集群的用户权限。 前提条件 系统管理员已明确业务需求,并
0_272版本。 安装和配置IDEA 用于开发Flink应用程序的工具。版本要求:14.1.7。 安装Scala Scala开发环境的基本配置。版本要求:2.11.7。 安装Scala插件 Scala开发环境的基本配置。版本要求:1.5.4。 安装Maven 开发环境的基本配置。用于项目管理,贯穿软件开发生命周期。
1补丁包中已包含所有MRS 3.1.5版本单点问题修复补丁。 安装补丁的影响 请参考安装补丁的影响。 安装补丁的影响 MRS 3.1.5版本的补丁安装/卸载过程中会自动重启OMS,安装过程中将影响作业提交以及集群扩缩容等管控面集群控制功能,请选择适当的时间进行补丁安装。 慢盘隔离特性约束: 隔离慢盘之前无
完成JDK选择后,单击“OK”完成配置。 图5 完成JDK配置 在应用开发环境中,导入样例工程到IntelliJ IDEA开发环境。 配置IntelliJ IDEA maven工程环境 选择“File > Settings”,搜索“maven”,配置maven工程,选择“Apply
等待状态 问题现象 使用MRS服务安装集群,主要安装ZooKeeper、Kafka。 在使用Consumer从Kafka消费数据时,发现客户端一直处于等待状态。 可能原因 Kafka服务异常。 客户端Consumer侧采用非安全访问,服务端配置禁止访问。 客户端Consumer侧采用非安全访问,Kafka
前提条件 获取用户“admin”账号密码。“admin”密码在创建MRS集群时由用户指定。 已安装集群客户端,例如安装目录为“/opt/client”,以下操作的客户端目录只是举例,请根据实际安装目录修改。更新客户端,具体请参见更新客户端(3.x之前版本)。 使用客户端 如果当前集群已启用Kerberos认证,登录MRS
Shan版本,如何让spark2x支持其正常运行。 回答 第三方jar包(例如自定义udf)区分x86和TaiShan版本时,混合使用方案: 进入到服务端spark2x sparkResource的安装目录(这个集群安装过程中可能会安装在多个节点上,随便进入一个安装节点,cd到sparkResource的安装目录)。
操作场景 Ranger管理员可以通过Ranger为OBS用户配置OBS目录或文件的读、写权限。 本章节仅适用于MRS 3.3.0-LTS及之后版本。 前提条件 已安装Ranger服务且服务运行正常。 已创建需要配置权限的用户组。 已安装Guardian服务。 操作步骤 使用Ranger管
WebUI中显示的“Dead Region Servers”信息什么时候会被清除掉 访问HBase Phoenix提示权限不足如何处理 租户使用HBase BulkLoad功能提示权限不足如何处理 如何修复Overlap状态的HBase Region Phoenix BulkLoad Tool使用限制说明
sql”文件上传至客户端环境。 per-job模式:将上述文件上传到“客户端安装目录/Flink/flink”。 yarn-application模式:将上述文件和“flink-connector-kafka-实际版本号.jar”包上传到“客户端安装目录/Flink/flink/yarnship”。 修改“pyflink-kafka
Manager界面创建一个用户并关联“hadoop”和“hive”用户组。 已下载并安装Hudi集群客户端。 基础操作 使用root用户登录集群客户端节点,执行如下命令: cd {客户端安装目录} source bigdata_env source Hudi/component_env
Producer发送数据失败,报错“NullPointerException” 问题现象 使用MRS安装集群,主要安装ZooKeeper、Kafka。 在使用Producer向Kafka发送数据功能时,发现客户端抛出NullPointerException。 可能原因 Kafka服务异常。
Manager界面创建一个用户并关联“hadoop”和“hive”用户组。 已下载并安装Hudi集群客户端。 基础操作 使用root用户登录集群客户端节点,执行如下命令: cd {客户端安装目录} source bigdata_env source Hudi/component_env
2补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即您自行搭建的客户端)。 主备Master节点的原始客户端全量更新,请参见更新客户端配置(2.x及之前版本)。 自行搭建的客户端全量安装方法,请参见安装客户端(2.x及之前版本)。 重新安装客户端前建议先对老客户端进行备份。
问题现象 使用MRS安装集群,主要安装ZooKeeper、Kafka。 在使用Producer向Kafka发送数据功能时,发现客户端报错:TOPIC_AUTHORIZATION_FAILED。 可能原因 Kafka服务异常。 客户端Producer侧采用非安全访问,服务端配置禁止访问。