检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
表时不指定命名空间,则默认存储在“default”中。其中,“hbase”命名空间为系统表命名空间,请不要对该系统表命名空间进行业务建表或数据读写等操作。 代码样例 方法调用 // Namespace operations. createNamespace(url, "testNs");
表时不指定命名空间,则默认存储在“default”中。其中,“hbase”命名空间为系统表命名空间,请不要对该系统表命名空间进行业务建表或数据读写等操作。 代码样例 方法调用 // Namespace operations. createNamespace(url, "testNs");
在Spark任务运行过程中禁止重启HDFS服务或者重启所有DataNode实例,否则可能会导致任务失败,并可能导致JobHistory部分数据丢失。 父主题: 在Linux环境中调测Spark应用
Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 HDFS Router堆内存使用率过高,会影响HDFS的数据读写性能。 可能原因 HDFS Router配置的堆内存不足。 处理步骤 在FusionInsight Manager首页,选择“集群 >
parse_presto_data_size('2.3MB'); -- 2411724 其他 typeof(expr) → varchar 返回表达式的数据类型名称。 SELECT typeof(123);-- integer SELECT typeof('cat');-- varchar(3)
不涉及 取值范围: 不涉及 默认取值: 不涉及 input String 参数解释: 数据输入地址。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 output String 参数解释: 数据输出地址。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 job_log
的“../src/mapreduce-example-security/conf”路径下。 已参考规划MapReduce统计样例程序数据将待处理数据上传至HDFS。 运行统计样例程序 确保样例工程依赖的所有jar包已正常获取。 在IntelliJ IDEA开发环境中,打开样例工程中“LocalRunner
删除权限 delete(d) 删除当前的znode 读权限 read(r) 获取当前znode的数据,可以列出当前znode所有的子znodes 写权限 write(w) 向当前znode写数据,写入子znode 管理权限 admin(a) 设置当前znode的权限 对系统的影响 修改
VVVV from_base64url(string) → varbinary 使用URL安全字符,将base64编码的string解码为二进制数据。 select from_base64url('helloworld'); -- 85 e9 65 a3 0a 2b 95 to_hex(binary)
产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 Impalad不能执行sql或执行sql超时,会影响到数据的读写。 可能原因 该Impalad服务维护的查询数量过多。 处理步骤 登录FusionInsight Manager,然后选择“集群 >
<Kafka集群IP:21007> --topic <Topic名称> --producer.config config/producer.properties 消费数据,需要拥有该Topic的消费者权限。 bin/kafka-console-consumer.sh --topic <Topic名称> --bootstrap-server
<Kafka集群IP:21007> --topic <Topic名称> --producer.config config/producer.properties 消费数据,需要拥有该Topic的消费者权限。 bin/kafka-console-consumer.sh --topic <Topic名称> --bootstrap-server
”参数。将“-Xmx”的值根据实际情况调大,并单击“保存”,单击“确定”。 出现此告警时,说明当前Loader实例设置的堆内存无法满足当前数据传输所需的堆内存,建议参考ALM-23004 Loader堆内存使用率超过阈值的处理措施4进行处理。 重启受影响的服务或实例,观察界面告警是否清除。
可能会导致集群短暂的不可用。 可能原因 相关进程发生crash。 处理步骤 以下解析查看core文件堆栈信息的操作有可能会涉及到用户的敏感数据,开发或运维人员必须在获得用户授权的情况下才能进行操作。 告警所产生的core文件系统默认保留72小时,文件保存超时或者大小超过设定值后会
Flume服务端端口。 对系统的影响 产生告警的Flume Client无法与Flume Server端进行通信,Flume Client端的数据无法传输到Flume Server端。 可能原因 Flume Client端与Flume Server端网络故障。 Flume Client端进程故障。
partitions命令查看Hudi表的分区格式,然后写正确的正则表达式来匹配分区。 value和units要搭配使用,value给定的是整数值,units是数值的单位,表示数据要保留的时长。 更新TTL策略: call ttl_policy_save(table => "[table]", path => "[path]"
orders GROUP BY orderdate; 用和表orders具有相同schema创建新表empty_orders table,但是没数据: CREATE TABLE empty_orders AS SELECT * FROM orders WITH NO DATA; 使用VALUES创建表,参考
本地文件系统上的文件。 文件名不能以下横线(_)或点(.)开头,以这些开头的文件会被忽略。 如下所示,如果用户test_hive load数据,正确的权限如下: [root@192-168-1-18 duan]# hdfs dfs -ls /tmp/input2 16/03/21
查看Spark应用调测结果 调优程序 您可以根据程序运行情况,对程序进行调优,使其性能满足业务场景诉求。 调优完成后,请重新进行编译和运行 请参考数据序列化至Spark CBO调优章节 父主题: Spark应用开发概述
Master和Core节点数据磁盘存储空间,单位为GB。为增大数据存储容量,创建集群时可同时添加磁盘。可以根据如下应用场景合理选择磁盘存储空间大小: 数据存储和计算分离,数据存储在OBS系统中,集群费用相对较低,计算性能不高,并且集群随时可以删除,建议数据计算不频繁场景下使用。 数据存储和计算不