检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
若使用EIP公网通信，那么集群节点均需要绑定公网，尤其是分析节点，必须绑定公网才能保证作业正常运行。 sqoop实例一般分布在Master节点，但作业真正运行在分析节点，因此创建数据库连接，是和Master节点通信，作业是通过Yarn任务分发到分析节点执行。 检查Sqoop实例安装目录下是否放置数据库驱动jar包，
txt的内容复制保存到input_data1.txt，将log2.txt的内容复制保存到input_data2.txt。 在客户端安装节点下创建文件目录：“/home/data”。将上述两个文件上传到此“/home/data”目录下。 将Kafka的Broker配置参数“allow
sh --delete --zookeeper <ZooKeeper集群IP:2181/kafka> --topic <Topic名称> 创建Topic，由管理员用户操作。 sh kafka-topics.sh --create --zookeeper <ZooKeeper集群IP:2181/kafka>
临时文件过多占用了大量磁盘空间。 处理步骤 启动一个定时任务来清理超过一定时间的shuffle文件，例如每个整点清理超过6个小时的文件： 创建脚本“clean_appcache.sh”，若存在多个数据盘，请根据实际情况修改BASE_LOC中data1的值。 安全集群 #!/bin/bash
停止所有与HDFS、HBase、Hive相关的业务和作业，然后停止HBase、Hive服务。 打通数据传输通道 当源集群与目标集群部署在同一区域的不同VPC时，请创建两个VPC之间的网络连接，打通网络层面的数据传输通道。请参见VPC对等连接。 当源集群与目标集群部署在同一VPC但属于不同安全组时，在VP
user_name：为待修改有效期的操作系统用户，例如ommdba用户。 建议用户根据实际情况及业务需求进行配置，定期修改用户密码。 修改新创建操作系统用户密码默认有效期。 执行以下命令，编辑文件并修改“PASS_MAX_DAYS”参数值，该参数表示密码的有效时间，单位为“天”。例
WebUI界面。 进入FusionInsight Flink WebUI后，选择当前应用下的“作业管理 > 新建作业”，创建作业。 选择“类型”为“Flink Jar”，输入待创建的作业名称，选择作业类型，单击“确定”开始进行作业配置。 上传1生成的Jar包，“Main Class”选择“
该临时目录下的文件数量越来越多，占用存储空间越来越多。 处理步骤 登录集群客户端。 以root用户登录任意一个Master节点，用户密码为创建集群时用户自定义的密码。 如果集群开启Kerberos认证，执行如下命令进入客户端安装目录并设置环境变量，再认证用户并按照提示输入密码，该密码请向管理员获取。
{客户端机器IP}:/opt/ 例如： scp patch.tar.gz 127.0.0.1:/opt/ 登录客户端所在节点。 执行以下命令创建补丁目录并解压补丁包： mkdir /opt/{MRS补丁版本号} tar -zxf /opt/patch.tar.gz -C /opt/{MRS补丁版本号}
考集群内节点使用MRS客户端，MRS集群外客户端的安装操作可参考集群外节点使用MRS客户端。 下载并安装Kafka客户端程序。 代码样例 创建拓扑 public static void main(String[] args) throws Exception { // 设置拓扑配置
DriverManager.setLoginTimeout(int seconds)设置，seconds的单位为秒。 UDF管理 建议由管理员创建永久UDF，避免每次使用时都去add jar，和重新定义UDF。 Hive的UDF会有一些默认属性，比如“deterministic”默认
{客户端机器IP}:/opt/ 例如： scp patch.tar.gz 127.0.0.1:/opt/ 登录客户端所在节点。 执行以下命令创建补丁目录并解压补丁包： mkdir /opt/{MRS补丁版本号} tar -zxf /opt/patch.tar.gz -C /opt/{MRS补丁版本号}
xml”所在目录将生成lib文件夹，其中包含样例项目所依赖的jar包。 准备依赖的Jar包和配置文件。 在Linux环境新建目录，例如“/opt/test”，并创建子目录“lib”。将样例工程依赖的Jar包导出，将1生成的Jar包，以及3生成的Jar包，上传到Linux的“lib”目录。 在“/opt/test”根目录新建脚本“run
hudi外请勿使用。 N false --use-jdbc 使用Hive jdbc连接 N true --auto-create-database 自动创建Hive database N true --skip-ro-suffix 注册时跳过读取_ro后缀的读优化视图 N false --us
pengauss数据库无法提供服务。 可能原因 CDL任务异常，数据停止处理；或源端数据库更新快，CDL数据处理较慢。 处理步骤 使用具有创建CDL任务的用户或者具有管理员权限的用户登录FusionInsight Manager。 选择“运维 > 告警 > 告警”，单击“告警ID
产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 无法切换到omm用户。 无法创建新的omm进程。 服务或进程故障之后无法重启。 可能原因 用户CGroup任务数使用率过高，超过阈值90%。 处理步骤 检查omm用户同时打开的线程最大数的配置是否合理。
xml”所在目录将生成lib文件夹，其中包含样例项目所依赖的jar包。 准备依赖的Jar包和配置文件。 在Linux环境新建目录，例如“/opt/test”，并创建子目录“lib”。将样例工程依赖的Jar包导出，将1生成的Jar包，以及3生成的Jar包，上传到Linux的“lib”目录。 在“/opt/test”根目录新建脚本“run
hbase-examples-2.0.jar。 准备依赖的Jar包和配置文件。 在Linux环境新建目录，例如“/opt/test”，并创建子目录“lib”和“conf”。将集群中任一master节点“/opt/client/HBase/hbase/lib”目录下的jar包，以
hudi外请勿使用。 N false --use-jdbc 使用Hive jdbc连接 N true --auto-create-database 自动创建Hive database N true --skip-ro-suffix 注册时跳过读取_ro后缀的读优化视图 N false --us
nimbus.task.launch.secs和supervisor.worker.start.timeout.secs这两个参数分别代表nimbus端和supervisor端对于拓扑启动的超时容忍时间，一般nimbus.task.launch.secs的值要大于等于supervisor
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
