检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
server.datanode.fsdataset.AvailableSpaceVolumeChoosingPolicy,保存并重启受影响的服务或实例。 让DataNode根据磁盘剩余空间大小,优先选择磁盘剩余空间多的节点存储数据副本。 针对新写入到本DataNode的数据会优先写磁盘剩余空间多的磁盘。
conf(必须)放入conf目录中。 此工具暂时只支持Carbon表。 此工具会初始化Carbon环境和预读取表的元数据到JDBCServer,所以更适合在多主实例、静态分配模式下使用。 父主题: Spark运维管理
Seriablizale; // 该类作为快照的一部分,保存用户自定义状态 public class UDFState implements Serializable { private long count; // 初始化用户自定义状态 public UDFState()
conf文件为安全模式下的认证文件,需要在FusionInsight Manager中下载principal用户的认证凭证,样例代码中使用的用户为:sparkuser,需要修改为准备好的开发用户。 打包项目 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上。 通过
赋Consumer权限命令,由管理员用户操作。 bin/kafka-acls.sh --authorizer-properties zookeeper.connect=<ZooKeeper集群IP:2181/kafka > --add --allow-principal User:<用户名> --consumer
赋Consumer权限命令,由管理员用户操作。 bin/kafka-acls.sh --authorizer-properties zookeeper.connect=<ZooKeeper集群IP:2181/kafka > --add --allow-principal User:<用户名> --consumer
运行。 操作步骤 在NodeManager中启动External shuffle Service。 通过MRS Manager页面(可参考登录MRS Manager)的“服务管理 > Yarn > 服务配置”页面的“Yarn > 自定义”在“yarn-site.xml”中添加如下配置项:
insert into test values (3,'wangwu','wang'); 查询表: 配置“表输入”算子,生成三个字段: 设置了数据连接器后,可以单击“自动识别”,系统将自动读取数据库中的字段,可根据需要选择添加,然后根据业务场景手动进行完善或者修正即可,无需逐一手动添加。
数据与用户数据不一致。因此,必须注意在再次使用之前重新构建所有索引数据。 对于大量现有的索引数据,可以使用TableIndexer工具将索引数据从表中完全删除。 对于未建立索引的表,该工具允许用户同时添加和构建索引。 TableIndexer工具使用方法 添加新的索引到用户表 命令如下所示:
e-server.log /var/log/Bigdata/clickhouse/clickhouseServer/ugsync.log 用户角色同步工具打印日志。 /var/log/Bigdata/clickhouse/clickhouseServer/prestart.log
赋Consumer权限命令,由管理员用户操作。 shkafka-acls.sh --authorizer-properties zookeeper.connect=<ZooKeeper集群IP:2181/kafka > --add --allow-principal User:<用户名> --consumer
赋Consumer权限命令,由管理员用户操作。 shkafka-acls.sh --authorizer-properties zookeeper.connect=<ZooKeeper集群IP:2181/kafka > --add --allow-principal User:<用户名> --consumer
调整DataNode磁盘坏卷信息 配置场景 在开源版本中,如果为DataNode配置多个数据存放卷,默认情况下其中一个卷损坏,则DataNode将不再提供服务。用户可以通过修改配置项“dfs.datanode.failed.volumes.tolerated”的值,指定失败的个数,小于该个数,DataNode可以继续提供服务。
ssl.SSLException:Unrecognized SSL message, plaintext connection? 回答 当用户在distcp命令中使用webhdfs://时,会发生上述异常,是由于集群所使用的HTTP政策为HTTPS,即配置在“hdfs-site.
磁盘容量不足导致Spark、Hive和Yarn服务不可用 用户问题 磁盘容量不足产生致命告警,Spark、Hive和Yarn服务不可用。 问题现象 用户创建的集群显示磁盘容量不足,产生致命告警,导致Spark、Hive和Yarn服务不可用。 原因分析 由于集群磁盘容量不足,会影响
Schema演进介绍 Schema演进(Schema Evolution)允许用户能够方便地修改Hudi表的当前Schema,以适应不断变化的数据。 本章节内容仅适用于MRS 3.2.0及之后版本。 Schema演进支持范围 Schema演进支持范围: 支持列(包括嵌套列)相关的增、删、改、位置调整等操作。
导入并配置HDFS样例工程 根据场景开发工程 提供样例工程,帮助用户快速了解HDFS各部件的编程接口。 开发HDFS应用 编译并运行程序 指导用户将开发好的程序编译并提交运行。 调测HDFS应用 查看程序运行结果 程序运行结果会写在用户指定的路径下。用户还可以通过UI查看应用运行情况。 调测HDFS应用
导入并配置HDFS样例工程 根据场景开发工程 提供样例工程,帮助用户快速了解HDFS各部件的编程接口。 开发HDFS应用 编译并运行程序 指导用户将开发好的程序编译并提交运行。 调测HDFS应用 查看程序运行结果 程序运行结果会写在用户指定的路径下。用户还可以通过UI查看应用运行情况。 调测HDFS应用
t1 以上为迁移用户数据的过程,旧集群的索引数据迁移只需按照前三步操作,并更改相应表名为索引表名(如,t1_idx)。 迁移索引数据时无需执行4。 向新集群表中导入索引数据。 在新集群的用户表中添加与之前版本用户表相同的索引(名称为'd'的列族不应该已经存在于用户表中)。 命令如下所示:
根据场景开发工程 提供样例工程,帮助用户快速了解HDFS各部件的编程接口。 HDFS样例程序开发思路 编译并运行程序 指导用户将开发好的程序编译并提交运行。 Linux:在Linux环境中调测HDFS应用 查看程序运行结果 程序运行结果会写在用户指定的路径下。用户还可以通过UI查看应用运行情况。