检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
回滚补丁 卸载补丁 登录华为云管理控制台界面,在“现有集群”列表中单击需要卸载补丁的集群名称,单击“补丁管理”页签,找到需要卸载的补丁,单击“卸载”,等待补丁卸载成功后,需要按照该章节顺序依次执行相关操作。 当“状态”显示为“卸载失败”时,在“失败任务”中查看错误提示信息,查找相应日志来定位处理。
数据倾斜,需要均衡集群中的数据。以root用户登录MRS客户端,用户密码为安装前用户自定义,请咨询系统管理员。如果集群为普通模式,执行su - omm切换到omm用户。执行cd命令进入客户端安装目录,然后执行source bigdata_env。如果集群采用安全版本,要进行安全认证。执行kinit
通模式不涉及) 使用HDFS客户端 安装客户端,详细操作请参考使用MRS客户端。 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式,执
根据业务情况,准备好客户端,使用root用户登录安装客户端的节点。 例如在Master2节点更新客户端,则在该节点登录客户端,具体参见使用MRS客户端。 切换用户与配置环境变量。 sudo su - omm source /opt/client/bigdata_env 启用Kerberos认证的
含“创建”和“查询”权限,表和列包含“查询”、“插入”、“UPDATE”和“删除”权限。SparkSQL中还包含拥有者权限“OWNERSHIP”和Spark管理员权限“管理”。 数据文件权限,即HDFS文件权限 SparkSQL的数据库、表对应的文件保存在HDFS中。默认创建的数
Configuration conf = new Configuration(); // 安全登录。 LoginUtil.login(PRINCIPAL, KEYTAB, KRB, conf); // 获取入参。 String[] otherArgs = new Ge
y。可以通过在客户端设置“spark.sql.parquet.compression.codec”(可选:uncompressed, gzip, snappy)和“spark.sql.orc.compression.codec”(可选:uncompressed, zlib, lzo
HDFS常用配置参数 参数入口 请参考修改集群服务配置参数进入HDFS服务配置页面。 参数说明 表1 HDFS参数说明 参数 参数说明 默认值 fs.obs.security.provider 指定获取访问OBS文件系统密钥的实现方式。 参数取值: com.huawei.mrs.
回滚补丁后操作 回退HDFS上的组件包 不涉及。 回退客户端补丁 不涉及。 回退手动的操作 不涉及。 补丁卸载完成后重新打开弹性伸缩 如果卸载补丁前关闭了弹性伸缩,请卸载完成后重新打开。 登录华为云MRS管理控制台,在“现有集群”列表中选择对应集群,单击“弹性伸缩”页签。 请开启卸载前关闭的弹性策略。
获取MRS集群主机列表接口时提示用户无权限 用户问题 使用AK/SK获取MRS集群主机列表/v1.1/<project_id>/clusters/<cluster_id>/hosts接口时,提示用户无权限“User do not have right to access cluster”。
要下载keytab文件。“人机”用户第一次登录时需修改密码。 使用Hive客户端 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd /opt/hadoopclient 执行以下命令配置环境变量。 source bigdata_env 根据集群认证模式,完成Hive客户端登录。
UDF。 关闭Kerberos认证的集群请参考注册UDF。 以root用户,登录IoTDBServer所在的节点,执行su - omm命令切换到omm用户,将1.a中的Jar包导入到目录“$BIGDATA_HOME/FusionInsight_IoTDB_*/install/Fu
“taskmanager.network.netty.sendReceiveBufferSize”:默认是系统缓冲区大小(cat /proc/sys/net/ipv4/tcp_[rw]mem) ,一般为4MB,表示netty的发送和接收的缓冲区大小。 “taskmanager.network.netty
private static void init() throws IOException { LoginUtil.login(PRNCIPAL_NAME, PATH_TO_KEYTAB, PATH_TO_KRB5_CONF, conf); } 获取实例 样例:Coloca
API将减少从客户端到Namenode的RPC调用的数量。 表6 FileSystem API接口说明 Interface接口 Description说明 public LocatedFileStatus[] globLocatedStatus(Path, PathFilter,
createStream进行应用程序开发。旧的API仍然可以使用,但新的API性能和稳定性更好。 该样例代码只存在于mrs-sample-project-1.6.0.zip中。 /** * 参数解析: * <checkPointDir>为checkPoint目录。 * <topics>为Kafka中订阅的主题,多以逗号分隔。
API将减少从客户端到Namenode的RPC调用的数量。 表6 FileSystem API接口说明 Interface接口 Description说明 public LocatedFileStatus[] globLocatedStatus(Path, PathFilter,
API将减少从客户端到Namenode的RPC调用的数量。 表6 FileSystem API接口说明 Interface接口 Description说明 public LocatedFileStatus[] globLocatedStatus(Path, PathFilter,
API将减少从客户端到Namenode的RPC调用的数量。 表6 FileSystem API接口说明 Interface接口 Description说明 public LocatedFileStatus[] globLocatedStatus(Path, PathFilter,
{prop}),但有以下差异: 名称中的所有下划线都必须删除。例如,使用OldItalic而不是Old_Italic 必须直接指定脚本,不能带Is,script =或sc =前缀。示例:\ p {Hiragana} 必须使用In前缀指定块。不支持block =和blk =前缀。示例:\p{Mongolian}