检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用hive-table方式同步数据到obs上的hive表报错 使用hive-table方式同步数据到orc表或者parquet表失败 使用hive-table方式同步数据报错 使用hcatalog方式同步hive parquet表报错 使用Hcatalog方式同步Hive和MySQL之间的数据,timestamp和data类型字段会报错
参考使用ClickHouse数据迁移工具,使用迁移工具时产生的错误日志。 /var/log/Bigdata/tomcat/clickhouse/auto_balance/数据迁移任务名/balance_manager.log 参考使用ClickHouse数据迁移工具,勾选一键均衡产生的运行日志。 clickhouse-tomcat日志
文件“zoo.cfg”中的“syncLimit”和“initLimit”两参数值,直到ZooKeeperServer正常。 表1 参数说明 参数 描述 默认值 syncLimit follower与leader进行同步的时间间隔(时长为ticket时长的倍数)。如果在该时间范围内leader没响应,连接将不能被建立。
8.1.2.2/nodeagent/security/cert/subcert/certFile/ 将ca.crt文件下载到本地,以管理员的身份打开cmd。 输入如下命令: keytool -import -v -trustcacerts -alias ca -file "D:\xx\ca
8.1.2.2/nodeagent/security/cert/subcert/certFile/ 将ca.crt文件下载到本地,以管理员的身份打开cmd。 输入如下命令: keytool -import -v -trustcacerts -alias ca -file "D:\xx\ca
运行作业。 Flink对接OBS 使用安装客户端的用户登录Flink客户端安装节点。 执行如下命令初始化环境变量。 source 客户端安装目录/bigdata_env 配置好Flink客户端,具体配置参考从零开始使用Flink的步骤1至步骤4。 启动session。 普通集群(未开启Kerberos认证)
// 创建和hbase的连接通道 Connection connection = ConnectionFactory.createConnection(hbConf); // 声明表的描述信息 TableName
参数说明 表1 HDFS参数说明 参数 参数说明 默认值 fs.obs.security.provider 指定获取访问OBS文件系统密钥的实现方式。 参数取值: com.huawei.mrs.MrsObsCredentialsProvider:通过MRS云服务委托获取凭证。 com
Module”,然后单击“Next”。如果您需要新建Java语言的工程,选择对应参数即可。 图2 选择开发环境 在工程信息页面,填写工程名称和存放路径,设置JDK版本,并勾选“Config later”(待工程创建完毕后引入scala的编译库文件),然后单击“Finish”完成工程创建。 图3
Hive负载均衡 配置Hive任务的最大map数 配置用户租约隔离访问指定节点的HiveServer 父主题: Hive企业级能力增强
Hive用户权限管理 Hive用户权限说明 创建Hive角色 配置Hive表、列或数据库的用户权限 配置Hive业务使用其他组件的用户权限 父主题: 使用Hive
图1 创建工程 在“New Project”页面选择“Java”,然后配置工程需要的JDK和其他Java库。如图2所示。配置完成后单击“Next”。 图2 配置工程所需SDK信息 在会话框中填写新建的工程名称。然后单击Finish完成创建。 图3 填写工程名称 父主题: 准备MapReduce应用开发环境
EulerOS_2.9.17补丁基本信息 表1 补丁基本信息 补丁号 EulerOS_2.9.17 发布时间 2024-04-15 升级后的版本 4.18.0-147.5.1.6.h1152.eulerosv2r9.x86_64 4.19.90-vhulk2103.1.0.h1144
y.kerberos.login.keytab :”配置项错误,未进行安全配置。 解决办法 从MRS上下载用户的keytab认证文件,并放置到Flink客户端所在节点的某个目录下。 在“flink-conf.yaml”文件中配置: keytab路径。 security.kerberos
开发Hive应用 Hive JDBC访问样例程序 HCatalog访问Hive样例程序 基于Python的Hive样例程序 基于Python3的Hive样例程序 父主题: Hive开发指南(安全模式)
取值范围: 同一个集群的自定义自动化脚本名称不允许相同。只能由英文字母、数字以及“_”和“-”组成,且长度为[1-64]个字符。 默认取值: 不涉及 uri 是 String 参数解释: 自定义自动化脚本的路径。设置为OBS桶的路径或虚拟机本地的路径。 OBS桶的路径:直接手动输入脚
创建Ranger集群 访问Ranger WebUI及同步Unix用户到Ranger WebUI 在Ranger中配置Hive/Impala的访问权限 在Ranger中配置HBase的访问权限
Hive负载均衡 配置Hive任务的最大map数 配置用户租约隔离访问指定节点的HiveServer 配置组件隔离访问Hive MetaStore 配置HiveMetaStore客户端连接负载均衡 父主题: Hive企业级能力增强
配置MRS集群通过IAM委托对接OBS 配置MRS集群通过IAM委托对接OBS 配置MRS集群组件回收站目录清理策略 MRS集群服务对接OBS示例 配置MRS集群用户的OBS的细粒度访问权限 父主题: 配置MRS集群存算分离
问题根因: 执行balance需要使用管理员账户 解决方法 安全版本 使用hdfs或者其他属于supergroup组的用户认证后,执行balance 普通版本 执行HDFS的balance命令前,需要在客户端执行su - hdfs命令。 问题2:执行balance失败,/system/balancer