检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
请等待5分钟,新修改策略才能生效。 单击“IAM用户同步”右侧的“同步”后,集群详情页面会出现短时间空白,这是由于正在进行用户数据同步中,请耐心等待,数据同步完成后,页面将会正常显示。 安全集群提交作业:安全集群中用户可通过界面“作业管理”功能提交作业,具体请参考运行MapReduce作业。
materialized.view”来改变允许使用的物化视图个数。 开启物化视图“重写缓存” Session级别: 参考快速使用HetuEngine访问Hive数据源在HetuEngine客户端执行set session rewrite_cache_enabled=true System级别: 使用用于访问HetuEngine
list子命令显示provider中所有的密钥名,这个provider由用户在core-site.xml中配置或者由-provider参数指定。-metadata参数显示的是元数据。 父主题: HDFS应用开发常见问题
<Kafka集群IP:21007> --topic <Topic名称> --producer.config config/producer.properties 消费数据,需要拥有该Topic的消费者权限。 bin/kafka-console-consumer.sh --topic <Topic名称> --bootstrap-server
<Kafka集群IP:21007> --topic <Topic名称> --producer.config config/producer.properties 消费数据,需要拥有该Topic的消费者权限。 bin/kafka-console-consumer.sh --topic <Topic名称> --bootstrap-server
partitions命令查看Hudi表的分区格式,然后写正确的正则表达式来匹配分区。 value和units要搭配使用,value给定的是整数值,units是数值的单位,表示数据要保留的时长。 更新TTL策略: call ttl_policy_save(table => "[table]", path => "[path]"
orders GROUP BY orderdate; 用和表orders具有相同schema创建新表empty_orders table,但是没数据: CREATE TABLE empty_orders AS SELECT * FROM orders WITH NO DATA; 使用VALUES创建表,参考
”参数。将“-Xmx”的值根据实际情况调大,并单击“保存”,单击“确定”。 出现此告警时,说明当前Loader实例设置的堆内存无法满足当前数据传输所需的堆内存,建议参考ALM-23004 Loader堆内存使用率超过阈值的处理措施4进行处理。 重启受影响的服务或实例,观察界面告警是否清除。
可能会导致集群短暂的不可用。 可能原因 相关进程发生crash。 处理步骤 以下解析查看core文件堆栈信息的操作有可能会涉及到用户的敏感数据,开发或运维人员必须在获得用户授权的情况下才能进行操作。 告警所产生的core文件系统默认保留72小时,文件保存超时或者大小超过设定值后会
Flume服务端端口。 对系统的影响 产生告警的Flume Client无法与Flume Server端进行通信,Flume Client端的数据无法传输到Flume Server端。 可能原因 Flume Client端与Flume Server端网络故障。 Flume Client端进程故障。
"obs://testhudi/cow_table/"是OBS路径,“testhudi”是OBS并行系统文件名称,请根据实际情况修改。 使用datasource查看表建立成功,数据正常。 val roViewDF = spark. read. format("org.apache.hudi"). load(basePath
此参数值表示租户可使用的HDFS存储空间上限,不代表一定使用了这么多空间。 如果参数值大于HDFS物理磁盘大小,实际最多使用全部的HDFS物理磁盘空间。 说明: 为了保证数据的可靠性,HDFS中每保存一个文件则自动生成1个备份文件,即默认共2个副本。HDFS存储空间表示所有副本文件在HDFS中占用的磁盘空间大小
list子命令显示provider中所有的密钥名,这个provider由用户在core-site.xml中配置或者由-provider参数指定。-metadata参数显示的是元数据。 表2 Colocation 客户端shell命令 操作 命令 描述 创建组 hdfs colocationadmin -createGroup
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 IoTDBServer进程的垃圾回收(GC)时间过长,可能影响该IoTDBServer进程无法正常提供数据读写服务。 可能原因 该节点IoTDBServer实例堆内存使用率过大,或配置的堆内存不合理,导致进程GC频繁。 处理步骤 检查GC时间。
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 ConfigNode进程的垃圾回收(GC)时间过长,可能导致该ConfigNode进程数据读写性能下降。 可能原因 该节点配置的堆内存不合理,导致进程GC频繁。 处理步骤 检查堆内存配置。 在FusionInsight Manager首页,选择“运维
配置 > 全部配置 > quorumpeer > 系统”。将“GC_OPTS”参数值根据实际情况调大。 -Xmx一般配置为ZooKeeper数据容量的2倍,如果ZooKeeper容量达到2GB,则GC_OPTS建议配置为: -Xms4G -Xmx4G -XX:NewSize=512M
{客户端安装目录} 例如: sh upgrade_client.sh upgrade /opt/client/ 更新客户端配置 当前补丁Spark组件优化了数据库和表的location的黑名单目录列表,在{客户端安装目录}/Spark/spark/conf/spark-defaults.conf文件的参数spark
list子命令显示provider中所有的密钥名,这个provider由用户在core-site.xml中配置或者由-provider参数指定。-metadata参数显示的是元数据。 表2 Colocation 客户端shell命令 操作 命令 描述 创建组 hdfs colocationadmin -createGroup
list子命令显示provider中所有的密钥名,这个provider由用户在core-site.xml中配置或者由-provider参数指定。-metadata参数显示的是元数据。 表2 Colocation 客户端shell命令 操作 命令 描述 创建组 hdfs colocationadmin -createGroup
1.0.jar”,即为Spark的样例程序。spark-examples_2.11-2.1.0.jar样例程序包含sparkPi程序。 上传数据至OBS。 登录OBS控制台。 单击“并行文件系统 > 创建并行文件系统”,创建一个名称为sparkpi的文件系统。 sparkpi仅为示