检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
1); 注意事项 cleaning操作只有在满足触发条件后才会对分区的老版本数据文件进行清理,不满足触发条件虽然执行命令成功也不会执行清理。 系统响应 可在客户端中查看查询结果。 父主题: Hudi CALL COMMAND语法说明
该文件新增多少bytes的数据 total_errors 指定的instant在更新或者插入过程中的报错 file_size 该文件的大小(bytes) 系统响应 可在客户端中查看查询结果。 父主题: Hudi CALL COMMAND语法说明
已成功安装集群,包含HDFS及Flume服务。 确保集群网络环境安全。 已创建用户flume_hdfs并授权验证日志时操作的HDFS目录和数据。 操作步骤 在FusionInsight Manager管理界面,选择“系统 > 权限 > 用户”,选择“更多 > 下载认证凭据”下载用户flu
HBase/hbase/conf/hbase-site.xml”文件中“hbase.fs.tmp.dir”参数所配置的HBase临时目录中创建partition文件。因此客户端(kerberos用户)应该在指定的临时目录上具有rwx的权限来执行ImportTsv操作。“hbase
前提条件 已创建Kafka集群,且为安全模式(开启Kerberos认证)。 已安装集群客户端。 如果ClickHouse与Kafka不在同一个集群需要建立跨集群互信,具体请参考配置跨Manager集群互信。 操作步骤 登录Kafka服务所在Manager页面,选择“系统 > 权限 >
存储目录将同步修改。 更改NodeManager单个实例的存储目录,只对单个实例生效,其他节点NodeManager实例存储目录不变。 对系统的影响 更改NodeManager角色的存储目录需要停止并重新启动集群,集群未启动前无法提供服务。 更改NodeManager单个实例的存
已成功安装集群,包含HDFS及Flume服务。 确保集群网络环境安全。 已创建用户flume_hdfs并授权验证日志时操作的HDFS目录和数据。 操作步骤 在FusionInsight Manager管理界面,选择“系统 > 权限 > 用户”,选择“更多 > 下载认证凭据”下载用户flu
已创建的MRS集群如何修改Kerberos状态? 问: 已创建的MRS集群如何修改Kerberos认证的开启状态? 答: MRS服务暂不支持集群创建完成后手动开启和关闭Kerberos服务,如需更换Kerberos认证状态,建议重新创建MRS集群,然后进行数据迁移。 父主题: 用户认证及权限类
连接。 作业管理:使用作业管理可以新建、查看、启动、暂停、恢复、停止、重启、删除和编辑作业等。 ENV管理:可以创建、查看、编辑、删除Hudi环境变量。 父主题: 创建CDL作业前准备
已在集群中创建HetuEngine管理员“人机”用户,如hetu_user,可参考创建HetuEngine权限角色。启用Ranger鉴权的集群需根据业务需求为该hetu_user添加Ranger权限,可参考添加HetuEngine的Ranger访问权限策略。 已创建计算实例并运
kafkaParams.put("metadata.broker.list", brokers); // 通过brokers和topics直接创建kafka stream // 1.接收Kafka中数据,生成相应DStream JavaDStream<String>
创建HDFS文件并写入内容 功能简介 写文件过程为: 使用FileSystem实例的create方法获取写文件的输出流。 使用该输出流将内容写入到HDFS的指定文件中。 在写完文件后,需关闭所申请资源。 代码样例 如下是写文件的代码片段,详细代码请参考com.huawei.bigdata
创建HBase全局二级索引 功能简介 通过调用“org.apache.hadoop.hbase.hindex.global.GlobalIndexAdmin”中的方法进行HBase全局二级索引的管理,该类中addIndices用于创建全局二级索引。 全局二级索引的创建需要指定索引
ILES_BY_DAYS时,该参数可以设置保留多少天以内的归档文件,默认值30(天)。 注意事项 归档文件,没有备份,删除之后无法恢复。 系统响应 可在driver日志和客户端中查看命令运行成功或失败。 父主题: Hudi DML语法说明
名称配额(名称配额是对当前目录树中的文件和目录名称数量的硬性限制) space_quota 空间配额(空间配额是对当前目录树中的文件所使用的字节数量的硬性限制) 系统响应 可在客户端中查看查询结果。 父主题: Hudi CALL COMMAND语法说明
from productdb2.productSalesTable where c = 'aaa'; //可以发现该查询命令使用了索引表 系统响应 通过运行该命令,索引表会被注册到主表。 父主题: DDL
carbondata; INSERT INTO carbon02 select * from carbon01 where a > 1; 系统响应 可在driver日志中查看命令运行成功或失败。 父主题: DML
表的多个分区,如果不指定就一次清除分区表的所有分区。当表属性“auto.purge”采用默认值“false”时,被删除的数据行将保存到文件系统的回收站,否则,当“auto.purge”设置为“true”时,数据行将被直接删除。 限制 目标表必须是管控表(表属性external=false),否则执行语句将报错。
使用不同用户执行yarn-session创建Flink集群失败 问题背景与现象 使用Flink过程中,具有两个相同权限用户testuser和bdpuser。 使用用户testuser创建Flink集群正常,但是切换至bdpuser用户创建Fllink集群时,执行yarn-session
tab认证文件失败,最终导致作业未提交到launcher-job队列。 处理步骤 重置提交作业用户的密码。 登录Manager页面,选择“系统设置 > 用户管理”。在提交作业的IAM用户的操作列,选择“更多 > 初始化密码”,根据界面提示操作。初始化完成后需要使用该用户登录一次MRS