检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
应用开发操作步骤 确认Storm和HDFS组件已经安装,并正常运行。 将storm-examples导入到IntelliJ IDEA开发环境,请参见准备Storm应用开发环境。 下载并安装HDFS客户端。 获取相关配置文件。获取方法如下: 在安装好的HDFS客户端目录下找到目录“/opt
0.2补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即您自行搭建的客户端)。 主备Master节点的原始客户端全量更新,请参见更新客户端配置(2.x及之前版本)。 自行搭建的客户端全量安装方法,请参见安装客户端(2.x及之前版本)。
时报错 如何处理新创建的Flink用户提交任务报ZooKeeper文件目录权限不足 如何处理无法直接通过URL访问Flink Web 如何查看System.out.println打印的调试信息或将调试信息输出至指定文件 如何处理Flink任务配置State Backend为RocksDB时报错GLIBC版本问题
时报错 如何处理新创建的Flink用户提交任务报ZooKeeper文件目录权限不足 如何处理无法直接通过URL访问Flink Web 如何查看System.out.println打印的调试信息或将调试信息输出至指定文件 如何处理Flink任务配置State Backend为RocksDB时报错GLIBC版本问题
在FusionInsight Manager界面选择“集群 > 服务 > Oozie > 配置 > 全部配置”,在“自定义”的“oozie.site.configs”参数中添加如下四个配置项。修改完成后单击“保存”,在弹框中单击“确定”保存配置。 名称 值 参数说明 oozie.services.ext org
getFilteredSegments("select * from table where age='12'", sparkSession) 传入数据库名和表名,获取会被合并的segment列表,得到的segment列表可以当做getMergedLoadName函数的参数传入: /** *
时报错 如何处理新创建的Flink用户提交任务报ZooKeeper文件目录权限不足 如何处理无法直接通过URL访问Flink Web 如何查看System.out.println打印的调试信息或将调试信息输出至指定文件 如何处理Flink任务配置State Backend为RocksDB时报错GLIBC版本问题
时报错 如何处理新创建的Flink用户提交任务报ZooKeeper文件目录权限不足 如何处理无法直接通过URL访问Flink Web 如何查看System.out.println打印的调试信息或将调试信息输出至指定文件 如何处理Flink任务配置State Backend为RocksDB时报错GLIBC版本问题
相关自定义配置,以获得最佳的性能效果。 调整HetuEngine INSERT写入步骤 使用HetuEngine管理员用户登录FusionInsight Manager页面,选择“集群 > 服务 > HetuEngine”,进入HetuEngine服务页面。 选择“配置 > 全部配置”,搜索“task
ityKafkaWordCount。 当Streaming DataFrame/Dataset中有新的可用数据时,outputMode用于配置写入Streaming接收器的数据。 #!/usr/bin/python # -*- coding: utf-8 -*- import sys
告警”,选中“告警ID”为“19017”的告警,查看“附加信息”中的阈值。 以root用户登录HBase客户端,用户密码为安装前用户自定义,请咨询系统管理员。执行以下命令进入客户端安装目录: cd 客户端安装目录 然后执行以下命令设置环境变量: source bigdata_env 如果
COLUMN_NAME'='default_value'); 参数描述 表1 ADD COLUMNS参数描述 参数 描述 db_name 数据库名。若未指定,则选择当前数据库。 table_name 表名。 col_name data_type 带数据类型且用逗号分隔的列的名称。列名称包含字母,数字和下划线(_)。
ityKafkaWordCount。 当Streaming DataFrame/Dataset中有新的可用数据时,outputMode用于配置写入Streaming接收器的数据。 #!/usr/bin/python # -*- coding: utf-8 -*- import sys
ityKafkaWordCount。 当Streaming DataFrame/Dataset中有新的可用数据时,outputMode用于配置写入Streaming接收器的数据。 #!/usr/bin/python # -*- coding: utf-8 -*- import sys
否,执行11。 图1 Datanode Information 以root用户登录集客户端所在节点的主机,用户密码为安装前用户自定义,请咨询系统管理员。 执行命令cd /opt/client进入客户端安装目录,然后执行source bigdata_env。如果集群采用安全版本,要进行安全认证。执行kinit
查。 由于在Flink配置文件中“high-availability.zookeeper.client.acl”默认为“creator”,即谁创建谁有权限,由于原有用户已经使用ZooKeeper上的/flink_base/flink目录,导致新创建的用户访问不了ZooKeeper
任务失败。 对于MapReduce访问多组件样例程序,操作步骤如下。 获取“hbase-site.xml”、“hiveclient.properties”和“hive-site.xml”这三个配置文件,并在Linux环境上创建文件夹保存这三个配置文件,例如“/opt/client/conf”。
nalNode节点IP地址。 单击“组件管理 > HDFS > 实例”,在实例列表中单击告警节点上的JournalNode实例,查看其“操作状态”是否为“已启动”。 是,执行2.a。 否,执行1.d。 勾选该JournalNode实例,单击“更多 > 启动实例”,等待启动完成。 等待5分钟后,查看告警是否清除。
在处理数据加载时,为每个executor程序实例配置的内存不足,可能会产生更多的Java GC(垃圾收集)。当GC发生时,会发现查询性能下降。 定位思路 在Spark UI上,会发现某些executors的GC时间明显比其他executors高,或者所有的executors都表现出高GC时间。 处理步骤 登录Manager页面,选择“集群
志获取应用运行情况。 前提条件 已安装客户端时: 已安装HDFS客户端。 当客户端所在主机不是集群中的节点时,需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 未安装客户端时: Linux环境已安装JDK,版本号需要和IDEA导出Jar包使用的JDK版本一致。