检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
600 mysql-connector-java-*.jar 在自建数据库中创建用户、元数据库,并为用户赋予该库的所有权限。例如: 以数据库管理员用户在Postgres中执行以下命令创建数据库“test”和用户“testuser”,并授予“test”数据库的所有权限给“testuser”用户。
useKeyTab=true keyTab="/opt/client/user.keytab" principal="hivetest@系统域名" useTicketCache=false storeKey=true debug=true; };
required useKeyTab=true keyTab = "{LocalPath}/user.keytab" principal="super@<系统域名>" useTicketCache=false debug=false; }; 配置描述 在Spark客户端的“spark-defaults
表中涉及端口的协议类型均为:TCP和UDP。 配置参数 默认端口 端口说明 KADMIN_PORT 21730 kerberos用户管理端口。 该端口用于: kerberos用户管理 安装时是否缺省启用:是 安全加固后是否启用:是 KPASSWD_PORT 21731 kerberos密码修改端口。
对于“dependency_python3.x”文件夹下同时存在aarch64与x86_64版本的“egg”文件,需要根据操作系统选取其中一个版本安装即可,使用uname -p命令确认当前操作系统架构。 MRS 3.2.0及之后版本,使用对应的easy_install命令,安装dependency_python3
protocol' = 'SASL_PLAINTEXT', 'properties.kerberos.domain.name' = 'hadoop.系统域名', -- 设置Source并发数 'source.parallelism' = '2' ); CREATE TABLE KafkaSink(
required useKeyTab=true keyTab = "{LocalPath}/user.keytab" principal="super@<系统域名>" useTicketCache=false debug=false; }; 配置描述 在Spark客户端的“spark-defaults
ger的客户端连接超时的时间。 “taskmanager.network.netty.sendReceiveBufferSize”:默认是系统缓冲区大小(cat /proc/sys/net/ipv4/tcp_[rw]mem) ,一般为4MB,表示netty的发送和接收的缓冲区大小。
故障时,存在小概率数据丢失的现象。对数据可靠性要求高的场景请慎重配置。 操作步骤 参数入口: 在FusionInsight Manager系统中,选择“集群 > 服务 > HBase > 配置”,单击“全部配置”。在搜索框中输入参数名称,并进行修改。 表1 提升连续Put场景性能的参数
ServiceStarter or also for Application default configuration. 回答 打开项目中“ .idea\workspace.xml”文件。 找到标签“<component name="PropertiesComponent"> ” ,在内容中添加“ <property
apache.hadoop.hive.serde2.SMS4Rewriter) Hive开源增强特性:支持HBase删除功能 由于底层存储系统的原因,Hive并不能支持对单条表数据进行删除操作,但在Hive on HBase功能中,MRS解决方案中的Hive提供了对HBase表的
securityConfig = ";saslQop=auth-conf;auth=KERBEROS;principal=spark2x/hadoop.<系统域名>@<系统域名>;user.principal=sparkuser;user.keytab=/opt/FIclient/user.keytab;";
securityConfig = ";saslQop=auth-conf;auth=KERBEROS;principal=spark2x/hadoop.<系统域名>@<系统域名>;user.principal=sparkuser;user.keytab=/opt/FIclient/user.keytab;";
<passwd>:hive用户的密码。 <export_from>:元数据在目的集群的HDFS地址。 命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 HBase表重建 重启目的集群的HBase服务,使数据迁移生效。在启动过程中,HBase会加
是否必填 默认值 输出分隔符 配置分隔符。 string 是 无 换行符 用户根据数据实际情况,填写字符串作为换行符。支持任何字符串。默认使用操作系统的换行符。 string 否 \n 输出字段 配置输出信息: 位置:配置输出字段的位置。 字段名:配置输出字段的字段名。 类型:配置字段
ger的客户端连接超时的时间。 “taskmanager.network.netty.sendReceiveBufferSize”:默认是系统缓冲区大小(cat /proc/sys/net/ipv4/tcp_[rw]mem) ,一般为4MB,表示netty的发送和接收的缓冲区大小。
name=xxx]] 可能原因 CDL业务运行用户无权限在其他用户创建的数据库中创建表。 处理步骤 登录FusionInsight Manager,选择“系统 > 角色 > 添加角色”,填写角色名称,在“配置资源权限”表格中选择“待操作的集群名称 > Hive > Hive读写权限”,在待操作数
1); 注意事项 cleaning操作只有在满足触发条件后才会对分区的老版本数据文件进行清理,不满足触发条件虽然执行命令成功也不会执行清理。 系统响应 可在客户端中查看查询结果。 父主题: Hudi CALL COMMAND语法说明
该文件新增多少bytes的数据 total_errors 指定的instant在更新或者插入过程中的报错 file_size 该文件的大小(bytes) 系统响应 可在客户端中查看查询结果。 父主题: Hudi CALL COMMAND语法说明
对应的连接的使用权限。 操作步骤 设置作业基本信息 登录“Loader WebUI”界面。 登录FusionInsight Manager系统,具体请参见访问FusionInsight Manager(MRS 3.x及之后版本)。 选择“集群 > 待操作集群名称 > 服务 > Loader”。