检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
集群修改域名后Hive样例程序运行报错 问题背景与现象 Hive的二次开发代码样例运行报No rules applied to ****的错误: 原因分析 Hive的二次开发样例代码会加载core-site.xml,此文件默认是通过classload加载,所以使用的时候要把此配置文件
关的业务数据进行删除。 MRS集群配置存算分离后,组件可以对接访问OBS文件系统,同时也可以继续访问集群内的HDFS文件系统,具体请参考配置MRS集群通过IAM委托对接OBS。 存算分离功能使用流程: 配置存算分离集群。 请选择如下其中一种配置即可(推荐使用委托方式)。 通过为M
是,执行3.d。 否,执行4。 使用告警出现日期之前的备份包进行LdapServer恢复和OMS恢复。 必须使用同一时间点的OMS和LdapServer备份数据进行恢复,否则可能造成业务和操作失败。当业务正常时需要恢复数据,建议手动备份最新管理数据后,再执行恢复数据操作,否则会
备好客户端配置文件并更新客户端。 场景1: A集群和B集群(对端集群、互信集群)是同类型集群,例如均是分析集群或者流式集群,请参见更新客户端配置(2.x及之前版本)分别更新客户端配置文件。 更新A集群的客户端配置文件。 更新B集群的客户端配置文件。 场景2: A集群和B集群(对端
检查工程conf目录下“producer.properties”中配置的“bootstrap.servers”配置值中访问的IP和端口是否正确: 如果IP与Kafka集群部署的业务IP不一致,那么需要修改为当前集群正确的IP地址。 如果配置中的端口为21007(Kafka安全模式端口),那么修
检查工程conf目录下“producer.properties”中配置的“bootstrap.servers”配置值中访问的IP和端口是否正确: 如果IP与Kafka集群部署的业务IP不一致,那么需要修改为当前集群正确的IP地址。 如果配置中的端口为21007(Kafka安全模式端口),那么修
检查工程conf目录下“client.properties”中配置的“bootstrap.servers”配置值中访问的IP和端口是否正确。 如果IP与Kafka集群部署的业务IP不一致,那么需要修改为当前集群正确的IP地址。 如果配置中的端口为21007(开启kerberos认证模式端口
Spark客户端和服务端权限参数配置说明 SparkSQL权限管理功能相关的配置如下所示,客户端与服务端的配置相同。要使用表权限功能,需要在服务端和客户端添加如下配置。 “spark-defaults.conf”配置文件 表1 参数说明(1) 参数 描述 默认值 spark.sql
配置AM自动调整分配内存 本章节适用于MRS 3.x及后续版本集群。 配置场景 启动该配置的过程中,ApplicationMaster在创建Container时,分配的内存会根据任务总数的浮动自动调整,资源利用更加灵活,提高了客户端应用运行的容错性。 配置描述 参数入口: 参考修
单击“购买集群”,进入“购买集群”页面。 在购买集群页面,选择“自定义购买”页签。 在“自定义购买”页签,配置以下参数。 基础配置: 计费模式:选择“按需计费”。 区域:请根据需要选择区域。 集群配置: 集群名称:可以设置为系统默认名称,但为了区分和记忆,建议带上项目拼音缩写或者日期等。 集群类型:选择“自定义”。
是,执行13。 否,执行15。 使用告警出现日期之前的备份文件进行LdapServer恢复和OMS恢复。 必须使用同一时间点的OMS和LdapServer备份数据进行恢复,否则可能造成业务和操作失败。当业务正常时需要恢复数据,建议手动备份最新管理数据后,再执行恢复数据操作,否则会
写入操作配置 本章节介绍Hudi重要配置的详细信息,更多配置请参考hudi官网:http://hudi.apache.org/cn/docs/configurations.html。 表1 写入操作重要配置项 参数 描述 默认值 hoodie.datasource.write.table
删除。 若“数据连接”页面没有关联连接,单击“配置数据连接”进行增加。 一种模块类型只能配置一个数据连接,如在Hive元数据上配置了数据连接后,不能再配置其他的数据连接。当没有可用的模块类型时,“配置数据连接”按钮不可用。 表2 配置Hive数据连接 参数 说明 组件名称 Hive
IP地址”为MySQL实例IP地址,需要和MRS集群网络互通 。 用户名和密码为登录MySQL的连接用户名和密码。 配置文件中包含认证密码信息可能存在安全风险,建议当前场景执行完毕后删除相关配置文件或加强安全管理。 分别上传配置文件到Master节点(Coordinator实例所在节点)的
问题 为什么主NameNode重启后系统出现双备现象? 出现该问题时,查看ZooKeeper和ZKFC的日志,发现ZooKeeper服务端与客户端(ZKFC)通信时所使用的session不一致,ZooKeeper服务端的sessionId为0x164cb2b3e4b36ae4,ZK
果”为“不一致”,不一致的数据需小于或等于2000行才会生成报告地址;如果不一致的数据大于2000行,则不会生成报告地址,并且不支持修复数据。 参与比对的CDL任务kafka lag不为0时会导致比对结果不一致。 前提条件 准备Hive UDF Jar包, 从CDL的安装目录复制
Manager。 单击“服务管理 > HBase > 服务配置”,“参数类别”类型选择“全部配置”,然后在左边窗口选择“HMaster > 系统”。 在“hbase.coprocessor.master.classes”配置项中增加值“org.apache.hadoop.hbase
通过HSFabric实现用户名密码认证 通过HSFabric连接方式,实现用户名密码认证,只需要配置用户名和密码。 通过HSBroker实现用户名密码认证 通过HSBroker连接方式,实现用户名密码认证,只需要配置用户名和密码。 父主题: 准备HetuEngine应用开发环境
ACTIVE:索引正常,可以正常读写。 UNUSABLE:索引被禁用,索引数据会正常写入,查询时无法使用这个索引。 INACTIVE:索引异常,索引数据与数据表不一致,跳过生成该索引的索引数据,查询数据时无法使用该索引。 BUILDING:索引数据正常批量生成,索引数据生成工具执行结束会自动转换到ACTIVE状态,此状态下可以正常读写。
是,客户端会自动在当前节点上安装部署。 否,客户端不会自动安装部署。需要在客户端下载成功后手动进行安装。 客户端部署路径 /opt/testclient “自动部署到节点”选择“是”时,需要配置该参数。如果仅下载配置文件,则无该参数。 远端节点上部署路径若已存在,该路径下不能包含任何文件。若不存