检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
客户端安装目录 source bigdata_env kinit 组件业务用户（未开启Kerberos认证的集群请跳过该操作） 将数据导入到HDFS中。 hdfs dfs -mkdir <inputdir> hdfs dfs -put <local_data_file> <inputdir>
onCompletion(RecordMetadata metadata, Exception exception); 回调函数接口方法，通过实现Callback中的此方法来进行异步发送结果的处理。 Consumer重要接口 表3 Consumer重要参数 参数 描述 备注 bootstrap.servers
service，具体请参考使用External Shuffle Service提升性能。 在“spark-defaults.conf”配置文件中必须添加配置项“spark.dynamicAllocation.enabled”，并将该参数的值设置为“true”，表示开启动态资源调度功能。默认情况下关闭此功能。
例如每个整点清理超过6个小时的文件： 创建脚本“clean_appcache.sh”，若存在多个数据盘，请根据实际情况修改BASE_LOC中data1的值。 安全集群 #!/bin/bash BASE_LOC=/srv/BigData/hadoop/data1/nm/locald
(0x0000ffffae9c5000) /lib/ld-linux-aarch64.so.1 (0x0000ffffaefe8000) 查看执行结果中libcrypto.so.1.1的指向是否有值，如果为not found请执行以下命令加载。 echo $LD_LIBRARY_PATH 查
密码字符长度至少8位。 至少需要包含大写字母、小写字母、数字、空格、特殊字符'~!@#$%^&*()-_=+\|[{}];:'",<.>/?中的3种类型字符。 重置的密码不能是最近5次使用过的密码。 修改MRS操作系统用户密码有效期 以root用户登录待修改操作系统用户密码有效期的节点。
客户端安装目录 source bigdata_env kinit 组件业务用户（未开启Kerberos认证的集群请跳过该操作） 将数据导入到HDFS中。 hdfs dfs -mkdir <inputdir> hdfs dfs -put <local_data_file> <inputdir>
Ticket），由Kerberos服务生成，提供给应用程序与应用服务建立安全会话，该票据一次性有效。 ST的生成在FusionInsight产品中，基于hadoop-rpc通信，由rpc底层自动向Kerberos服务端提交请求，由Kerberos服务端生成。 认证代码实例讲解 package
设置“用户类型”，选择“人机”。 填写“密码”和“确认新密码”。 在“用户组”，单击“添加”，为该用户添加“hetuuser”用户组。 MRS集群中HetuEngine服务默认启用了Ranger鉴权，HetuEngine普通用户只需关联“hetuuser”用户组即可。如果关闭了Range
（普通集群无需执行kinit命令） hdfs dfs -ls /user/hive/warehouse/hrdb.db/car01/Metadata 上图中，当前批次文件tablestatus_1669028899548损坏，需要使用tablestatus_1669028852132文件。 进入spark
Replicas: 24,23 Isr: 24,23 其中，Replicas对应副本分布信息，Isr对应副本同步信息。 处理方法1 在ZooKeeper中查询Broker ID的对应关系。 sh zkCli.sh -server <zk_host:port> 在ZooKeeper客户端执行如下命令。
在“备份配置”，勾选元数据选项并设置备份参数，详情请参见备份Manager数据（MRS 2.x及之前版本）。 单击“确定”保存。 在备份任务列表中已创建任务的“操作”列，若“备份类型”选择“周期备份”请单击“即时备份”，若“备份类型”选择“手动备份”请单击“启动”，开始执行备份任务。 父主题：
Exit main. rest.UserManager.main(UserManager.java:120) 从日志信息中可以看到：执行UserManager类中的main方法时，依次调用loginAndAccess、sendHttpPostRequest、sendHttpGetR
服务票据（Server Ticket），由Kerberos服务生成，提供给应用程序与应用服务建立安全会话，该票据一次性有效。 ST的生成在MRS中，基于hadoop-rpc通信，由rpc底层自动向Kerberos服务端提交请求，由Kerberos服务端生成。 Kerberos认证代码示例
Type 连接类型。 hudi Name 连接配置名称。 hudilink Storage Type 存储类型。 hdfs：数据存储到HDFS中。 hdfs Auth KeytabFile 访问用户的keytab文件。可单击“上传文件”进行上传。 安全模式集群填写该参数，普通模式集群不显示该参数。
integrity：指数据直接传输，即不加密也不鉴权。 为保证数据安全，请谨慎使用这种方式。 解决办法 重新下载客户端，如果是应用程序，更新应用程序中的配置文件。 父主题： 使用HDFS
//源表数据结构转换为目标表的数据结构。该源表如果需要和Hive进行关联操作，可以直接在SQL中通过表名来进行关联操作；该源表如果需要和Hudi表关联操作，需要先指定Hudi表的路径，然后在SQL中通过表名来进行关联操作。 父主题： Hudi写操作
这个问题是由于Yarn客户端运行时所需的内存超过了Yarn客户端设置的内存上限（默认为128MB）。 可以通过修改“<客户端安装路径>/HDFS/component_env”中的参数来修改Yarn客户端的内存上限。 对于MRS 3.x及之后版本集群，修改“CLIENT_GC_OPTS”参数。例如，需要设置该内存上限为1GB，则设置：
ssh node_ip node_ip：集群内其他节点IP，不支持多个IP。 登录FusionInsight Manager，在“主页”中单击待操作集群名称后的“ > 启动”（MRS 3.3.0及之后版本，选择“主页”右上角的“更多> 启动”），启动集群。 父主题： MRS集群安全加固
是，操作结束。 否，执行4。 收集故障信息。 在FusionInsight Manager首页，选择“运维 > 日志 > 下载”。 在“服务”中勾选待操作集群的“Hive”。 单击右上角的设置日志收集的“开始时间”和“结束时间”，分别为告警产生时间的前后10分钟，单击“下载”。 请联
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
