检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
File Channel:基于WAL(预写式日志Write-Ahead Logging)的持久化实现。 JDBC Channel:基于嵌入Database的持久化实现。 Channel支持事务,可提供较弱的顺序保证,可以和任何数量的Source和Sink工作。 Sink Sink负责将
sk,如果机器内存不够,就会导致启动localtask失败。 解决办法 进入Hive服务配置页面: MRS 3.x之前版本,单击集群名称,登录集群详情页面,选择“组件管理 > Hive > 服务配置”,单击“基础配置”下拉菜单,选择“全部配置”。 如果集群详情页面没有“组件管理”
0.0.11及以上补丁)、MRS 3.1.5(须安装3.1.5.0.3及以上补丁)、MRS 3.3.0-LTS参考以下步骤进行数据盘扩容: 登录MRS控制台,在左侧导航栏选择“现有集群”,单击集群名称。 在集群详情页,单击“节点管理”。 在需要扩容磁盘的节点组操作列,单击“数据盘扩容”。
java:825) at com.xxx.ExpireUDF.(ExpireUDF.java:19) 为指定Jar包配置权限 登录FusionInsight Manager,访问Flink Web UI,请参考访问FlinkServer WebUI界面。 查看Jar包存储路径。
使用Storm客户端提交了业务之后,如何使用IDEA远程调试业务? 回答 以调试WordCount程序为例,演示如何进行IDEA的远程调试: 登录FusionInsight Manager系统,选择“集群 > 待操作集群的名称 > 服务 > Storm”,选择“配置”选项卡,在搜索框中搜索并调大nimbus
DataNode容量不足,会影响到HDFS的数据写入。 可能原因 集群磁盘容量已满。 DataNode节点间数据倾斜。 处理步骤 检查集群磁盘容量是否已满。 登录MRS集群详情页面,在“告警管理”页面查看是否存在“ALM-14001 HDFS磁盘空间使用率超过阈值”告警。 是,执行1.b。 否,执行2
可能原因 该节点Storm Nimbus实例堆内存使用量过大,或分配的堆内存不合理,导致使用量超过阈值。 处理步骤 检查堆内存使用量。 登录MRS集群详情页面,选择“告警管理”。 单击“ALM-26054 Storm Nimbus堆内存使用率超过阈值 > 定位信息”,查看告警上报的实例的HostName。
算更加方便和高效。支持HDFS的Colocation功能的Hive表格式只有TextFile和RCFile。 操作步骤 使用客户端安装用户登录客户端所在节点。 执行以下命令,切换到客户端安装目录,如:/opt/client。 cd /opt/client 执行以下命令配置环境变量。
数据计算更加方便和高效。表格式只支持TextFile和RCFile。 本章节适用于MRS 3.x及后续版本。 操作步骤 使用客户端安装用户登录客户端所在节点。 执行以下命令,切换到客户端安装目录,如:/opt/client。 cd /opt/client 执行以下命令配置环境变量。
运行。 操作步骤 在NodeManager中启动External shuffle Service。 通过MRS Manager页面(可参考登录MRS Manager)的“服务管理 > Yarn > 服务配置”页面的“Yarn > 自定义”在“yarn-site.xml”中添加如下配置项:
该节点Mapreduce JobHistoryServer实例堆内存使用量过大,或分配的堆内存不合理,导致使用量超过阈值。 处理步骤 检查堆内存使用率。 登录MRS集群详情页面,选择“告警管理”。 选中“告警ID”为“18009”的告警,查看“定位信息”中的实例的IP地址及角色名。 单击“组件管理
队列的权限。 设置任务的用户需要获取该任务的执行权限,并获取该任务对应的连接的使用权限。 操作步骤 设置作业基本信息 登录“Loader WebUI”界面。 登录FusionInsight Manager系统,具体请参见访问FusionInsight Manager(MRS 3.x及之后版本)。
hdfs://hacluster/flink/checkpoint/命令查看。 若将checkpoint的快照信息保存到本地文件,则可直接登录到各个节点查看。 查看Pipeline结果 结果在flink的“taskmanager.out”文件中。用户可以进入Yarn的WebUI页面,选择“Jobs
hdfs://hacluster/flink/checkpoint/命令查看。 若将checkpoint的快照信息保存到本地文件,则可直接登录到各个节点查看。 查看Pipeline结果 结果在flink的“taskmanager.out”文件中。用户可以进入Yarn的WebUI页面,选择“Jobs
队列的权限。 设置任务的用户需要获取该任务的执行权限,并获取该任务对应的连接的使用权限。 操作步骤 设置作业基本信息 登录“Loader WebUI”界面。 登录FusionInsight Manager系统,具体请参见访问集群Manager。 选择“集群 > 服务 > Loader”。
参考准备本地应用开发环境将准备好的Python虚拟环境打包,获取“venv.zip”文件。 zip -q -r venv.zip venv/ 以root用户登录主管理节点,将1和2获取的“venv.zip”、“pyflink-kafka.py”和“insertData2kafka.sql”文件上传至客户端环境。
ple样例工程,请参考使用Oozie调度Spark访问HBase以及Hive。 使用客户端上传Oozie的example文件到HDFS。 登录客户端所在节点,切换到客户端所在目录,例如“/opt/client”。 cd /opt/client 执行以下命令配置环境变量。 source
如果用户场景需要同时访问50个以上的Spark应用时,需要调大“spark.history.retainedApplications”参数的值。 请登录FusionInsight Manager管理界面,单击“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”,单击“全部
xml”,如果包含“<hadataprotocol value="ssl"></hadataprotocol>”,则已开启SSL。 操作步骤 以omm用户登录到需要还原的DBService节点。 执行以下命令恢复DBService的“hacom_local.xml”配置文件: cd $BIGDA
已安装Ranger服务且服务运行正常。 已创建需要配置权限的用户、用户组或Role。 操作步骤 使用Ranger管理员用户rangeradmin登录Ranger管理页面,具体操作可参考登录Ranger WebUI界面。 在首页中单击“HBASE”区域的组件插件名称如“HBase”。 单击“Add New