检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用CDL CDL数据集成概述 CDL用户权限管理 快速使用CDL创建数据同步作业 创建CDL作业前准备 创建CDL作业 CDL作业数据DDL变更说明 CDL日志介绍 CDL常见问题 CDL故障排除
namenode_ip的获取方式： 在FusionInsight Manager首页，选择“集群 > 服务 > HDFS > 实例”，获取主NameNode业务IP。 dfs.namenode.rpc.port的获取方式： 在FusionInsight Manager首页，选择“集群 > 服务 > HDFS
server地址 -status 显示oozie服务状态 Oozie其他的命令和参数可参见以下地址：https://oozie.apache.org/docs/5.1.0/DG_CommandLineTool.html。 父主题： 常用Oozie API接口介绍
配置HBase主备集群数据自动备份 前提条件 主备集群已经安装并且启动。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 当主集群HBase服务关闭时，Zookeeper和HDFS服务应该启动并运行。 该工具应该由启动HBase进程的系统用户运行。 如果处于安全模式，请确保备集群
到此“/home/data”目录下。 将Kafka的Broker配置参数“allow.everyone.if.no.acl.found”值设置为“true”(普通集群不需配置)。 启动样例代码的Producer，向Kafka发送数据。 java -cp $SPARK_HOME/j
/thriftserver/active_thriftserver。 原因分析 DataArts Studio提交Spark作业时调用Spark的JDBC方式，而Spark会启动一个名为thriftserver的进程以供客户端提供JDBC连接，JDBCServer在启动时会在ZooKeeper的
系统每小时周期性检测配置quota的所有服务目录的znode数量，当检测到某个二级znode的数量使用率超过阈值时产生该告警。 告警属性 告警ID 告警级别 是否自动清除 13010 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 服务目录 产生告警的目录名称。
重启受影响的服务或实例，观察界面告警是否清除。 是，处理完毕。 否，执行6。 重启服务期间服务不可用，业务中断。重启实例期间实例不可用，当前实例节点任务会执行失败。 收集故障信息。 在FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 在“服务”框中勾选待操作集群的“Ranger”。
参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 非堆内存溢出可能导致服务崩溃。 可能原因 该节点PolicyS
JDBCServer中metastore session临时文件 否 任务运行失败 /tmp/sparkhive-scratch 固定目录 存放Spark cli方式运行metastore session临时文件 否 任务运行失败 /tmp/carbon/ 固定目录 数据导入过程中，如果存在异常Carb
参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 NameService名 产生告警的NameService名称。 Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 单副本的数据在节点故
如何删除所有HiveServer中的永久函数 问题 如果需要删除永久函数（Permanent UDF），如何在多个HiveServer之间同步删除？ 回答 因为多个HiveServer之间共用一个MetaStore存储数据库，所以MetaStore存储数据库和HiveServer
Kafka与其他组件的关系 Kafka作为一个消息发布-订阅系统，为整个大数据平台多个子系统之间数据的传递提供了高速数据流转方式。 Kafka可以实时接受来自外部的消息，并提供给在线以及离线业务进行处理。 Kafka与其他组件的具体的关系如下图所示： 图1 与其他组件关系 父主题：
配置目录hdfs-site.xml文件，在配置文件中增加配置项dfs.client.use.datanode.hostname，并将该配置设置为true。 父主题： 使用HDFS
Female Info"); job.setJarByClass(FemaleInfoCollector.class); // 设置运行时执行map，reduce的类，也可以通过配置文件指定。 job.setMapperClass(CollectionMapper
Female Info"); job.setJarByClass(FemaleInfoCollector.class); // 设置运行时执行map，reduce的类，也可以通过配置文件指定。 job.setMapperClass(CollectionMapper
这个问题的原因是拷贝任务运行时所需的内存超过了客户端设置的内存上限（默认为128MB）。可以通过修改“<客户端安装路径>/HDFS/component_env”中的“CLIENT_GC_OPTS”来修改客户端的内存上限。例如，需要设置该内存上限为1GB，则设置： CLIENT_GC_OPTS="-Xmx1G"
集群已安装Flink组件，并且添加了FlinkServer实例。 已安装包含Flink服务的集群客户端，例如安装路径为“/opt/client”。 当客户端所在主机不是集群中的节点时，需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 操作步骤 构建Jar包。
删除Manager用户 功能简介 通过访问Manager接口完成删除用户。 代码样例 以下代码片段是删除用户的示例，在“rest”包的“UserManager”类的main方法中。 //访问Manager接口完成删除用户 operationName
添加Manager用户 功能介绍 通过访问Manager接口完成添加用户。 代码样例 以下代码片段是添加用户的示例，在“rest”包的“UserManager”类的main方法中。 //访问Manager接口完成添加用户 operationName = "AddUser";
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
