检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单条数据大小 = 平均 1KB(华为建议通过select * from tablename limit 100将查询结果粘贴在notepad++中得出100条数据的大小再除以100得到单条平均大小) 单表数据量大小(G) = 单表数据总条数*单表数据大小/1024/1024 非分区表桶数
kafkasuperuser Kafka的Topic读写用户组。添加入本组的用户,拥有所有Topic的读写权限。 cdladmin CDL的管理员用户组,只有此组中的用户才可以访问CDL的API。 cdl CDL的普通用户组,属于该组的用户可以执行CDL的创建和查询操作。 storm Storm的普通用
客户端安装目录 source bigdata_env kinit 组件业务用户(未开启Kerberos认证的集群请跳过该操作) 将数据导入到HDFS中。 hdfs dfs -mkdir <inputdir> hdfs dfs -put <local_data_file> <inputdir>
设置“用户类型”,选择“人机”。 填写“密码”和“确认新密码”。 在“用户组”,单击“添加”,为该用户添加“hetuuser”用户组。 MRS集群中HetuEngine服务默认启用了Ranger鉴权,HetuEngine普通用户只需关联“hetuuser”用户组即可。如果关闭了Range
使用指定的默认格式输出结果。 --vertical 如果指定,默认情况下使用垂直格式输出结果。在这种格式中,每个值都在单独的行上打印,适用显示宽表的场景。 --time 如果指定,非交互模式下会打印查询执行的时间到stderr中。 --stacktrace 如果指定,如果出现异常,会打印堆栈跟踪信息。 --config-file
Ticket),由Kerberos服务生成,提供给应用程序与应用服务建立安全会话,该票据一次性有效。 ST的生成在FusionInsight产品中,基于hadoop-rpc通信,由rpc底层自动向Kerberos服务端提交请求,由Kerberos服务端生成。 认证代码实例讲解 package
服务票据(Server Ticket),由Kerberos服务生成,提供给应用程序与应用服务建立安全会话,该票据一次性有效。 ST的生成在MRS中,基于hadoop-rpc通信,由rpc底层自动向Kerberos服务端提交请求,由Kerberos服务端生成。 Kerberos认证代码示例
Type 连接类型。 hudi Name 连接配置名称。 hudilink Storage Type 存储类型。 hdfs:数据存储到HDFS中。 hdfs Auth KeytabFile 访问用户的keytab文件。可单击“上传文件”进行上传。 安全模式集群填写该参数,普通模式集群不显示该参数。
待操作集群的名称 > 服务 > ZooKeeper > 实例”。 “zooKeeperNamespace=”后面的“hiveserver2_zk”为4中参数“hive.server2.zookeeper.namespace”设置的具体设定值。 结果将只会登录到被设置租约隔离的HiveServer。
该值用于在写之前对具有相同的key的行进行合并去重。 指定为具体的表字段 hoodie.datasource.write.payload.class 在更新过程中,该类用于提供方法将要更新的记录和更新的记录做合并,该实现可插拔,如要实现自己的合并逻辑,可自行编写。 org.apache.hudi.common
在Spark2x原生页面最上方有一个按钮,可以查看汇聚后任务日志:AggregatedLogs 图2 AggregatedLogs 查看运行中的任务日志 在Spark2x原生页面,通过“Jobs > Stage > Task”找到对应的executor,单击后面的stdout或者s
情,请参见Apache Log4j2 远程代码执行漏洞(CVE-2021-44228)。 漏洞影响 在MapReduce服务(简称MRS)中Hive、Flink、Spark、Manager(Tomcat)、Tez、Impala、Ranger、Presto、Oozie、Storm、Loader等组件有使用Apache
omcat/webapps/web/WEB-INF/classes/config”。 根据界面提示输入用户的密码。密码将加密保存在配置文件中。 Please input sftp/ftp server password: 显示如下结果,说明修改成功。备管理节点将自动同步配置文件。
integrity:指数据直接传输,即不加密也不鉴权。 为保证数据安全,请谨慎使用这种方式。 解决办法 重新下载客户端,如果是应用程序,更新应用程序中的配置文件。 父主题: 使用HDFS
function时,如果该session连接的JDBCServer实例不是创建function的JDBCServer实例,则在该session中找不到该function,而且hive默认将“hive.exec.drop.ignorenonexistent”设置为“true”,即当fu
管云服务能力,用户拥有对集群的完全控制权,默认情况下,云服务无权限对客户集群进行操作,集群日常运维管理由用户负责,如果在大数据集群运维过程中遇到了相关技术问题,可以联系技术支持团队获得帮助,该技术支持仅协助分析处理MRS云服务相关求助,不包含云服务以外的求助,例如用户基于大数据平台构建的应用系统等。
function时,如果该session连接的JDBCServer实例不是创建function的JDBCServer实例,则在该session中找不到该function,而且hive默认将“hive.exec.drop.ignorenonexistent”设置为“true”,即当fu
ssh node_ip node_ip:集群内其他节点IP,不支持多个IP。 登录FusionInsight Manager,在“主页”中单击待操作集群名称后的“ > 启动”(MRS 3.3.0及之后版本,选择“主页”右上角的“更多> 启动”),启动集群。 父主题: MRS集群安全加固
是,操作结束。 否,执行4。 收集故障信息。 在FusionInsight Manager首页,选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“Hive”。 单击右上角的设置日志收集的“开始时间”和“结束时间”,分别为告警产生时间的前后10分钟,单击“下载”。 请联
BE节点上的任务不受影响。 收集故障信息 在FusionInsight Manager首页,选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“Doris”和“OMS”。 单击右上角的时间编辑按钮,设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后20分钟,单击“下载”。