检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
properties submit_user 提交任务的用户 developuser oozie_url_default https://Oozie业务IP:21003/oozie/ https://10.10.10.176:21003/oozie/ src\main\resources\job.properties
park作业异步执行compaction、clean和archive。Compaction计划的生成是轻量级的对Flink写入作业影响可以忽略。 上述方案落地的具体步骤参考如下: Flink只负责写数据和生成Compaction计划 Flink流任务建表语句中添加如下参数,控制F
准备工作 注册账号并实名认证。 在创建MRS集群之前,请先注册华为账号并开通华为云,进行实名认证。 如果您已开通华为云并进行实名认证,请忽略此步骤。 请您保证账户有足够的资金,以免创建MRS集群失败,具体操作请参见账户充值。 已准备具有创建MRS集群权限的IAM用户,详细操作请参见创建IAM用户并授权使用MRS。
properties submit_user 提交任务的用户 developuser oozie_url_default https://Oozie业务IP:21003/oozie/ https://10.10.10.176:21003/oozie/ src\main\resources\job.properties
解决Flume问题: 使用TaildirSource读取文件在节点inode重复场景下会造成少读文件或者读取文件不全。 Flume使用httpsource时,由于jetty-http-9.4.46.v20220331.jar包冲突导致报错。 解决Kafka问题: 故障场景下,Ka
enable”参数值是否为“true”。 是,执行1.c。 否,将参数值设置为“true”,单击“保存”保存配置。在Yarn服务“概览”页面,选择“更多 > 重启服务”,验证身份后,单击“确定”。等待服务重启成功后,执行1.c。 选择“集群 > 待操作的集群名称 > 服务”,查看Yarn服务的状态是否正常。 使用omm用户登录主管理节点。
查看安装输出信息,如有以下结果表示客户端安装成功: Components client installation is complete. 验证弹性云服务器节点是否与集群Master节点的IP是否连通? 例如,执行以下命令:ping Master节点IP地址 是,执行18。 否,检
JobHistory页面时,如果当前跳转的Spark JobHistory页面不是FusionInsight代理的页面(FusionInsight代理的URL地址类似于:https://<oms ip>:20026/Spark2x/JobHistory2x/xx/),单击某个应用,再单击“AggregatedLog
使用hcatalog方式同步数据,报错getHiveClient方法不存在 问题 使用hcatalog方式同步数据,报错getHiveClient方法不存在。 回答 将https://repo.huaweicloud.com/repository/maven/huaweicloudsdk/org/apache/h
JobHistory页面时,如果当前跳转的Spark JobHistory页面不是FusionInsight代理的页面(FusionInsight代理的URL地址类似于:https://<oms ip>:20026/Spark2x/JobHistory2x/xx/),单击某个应用,再单击“AggregatedLog
HiveQL接口介绍 HiveQL支持当前使用的MRS Hive与对应开源Hive版本中的所有特性,详情请参见https://cwiki.apache.org/confluence/display/hive/languagemanual。MRS Hive版本与开源Hive版本的对应关系如表1所示。
使用REST接口操作HBase表 功能简介 使用REST服务,传入对应host与port组成的url以及指定的tableName和jsonHTD,通过HTTPS协议,进行查询表信息,修改表,创建表以及删除表的操作。 代码样例 方法调用 // Add a table with specified info
Studio工具连接章节连接DWS数据库。 将DWS数据库中的表数据导出到CSV格式文件。 (可选)如果DWS数据库对应的表和数据已经存在,该步骤请忽略。本文通过演示在DWS创建测试表,并插入测试数据进行演示。 使用Data Studio创建测试表warehouse_t1,并插入测试数据。
--force 其中--remove-brokers表示要删除的BrokerId列表,多个间用逗号分隔,--force参数为可选参数,表示忽略磁盘使用率告警,强制生成迁移方案。 此退服命令会将待退服Broker节点上的数据迁移至其他Broker节点。 查看执行状态: ./bin/kafka-balancer
port”,获取HSBroker端口号。 user 访问HetuServer的用户名,即在集群中创建的“人机”用户的用户名。 SSL 是否使用HTTPS连接,默认为“false”。 getStatementStatus() 返回当前SQL执行语句的执行状态,一共十一种状态:‘RUNNING’
使用REST接口操作HBase表 功能简介 使用REST服务,传入对应host与port组成的url以及指定的tableName和jsonHTD,通过HTTPS协议,进行查询表信息,修改表,创建表以及删除表的操作。 代码样例 方法调用 // Add a table with specified info
set命令 set命令,用于设置客户端和服务端属性,支持如下属性: server表示设置服务端连接属性。 当设置了-u属性时,-h、-p、-w被会忽略。 option表示设置客户端属性。 option通过键值对来赋值,例如:set option --name verbose --value
录上传了新的jar包,但执行任务时仍然报找不到类的错误。 回答 在客户端执行如下命令刷新目录: oozie admin -oozie https://xxx.xxx.xxx.xxx:21003/oozie -sharelibupdate 父主题: Oozie常见问题
逻辑集群”,查看对应逻辑集群的HTTP Balancer端口号中的“非加密端口”。 loadBalancerHttpsPort 21426 LoadBalance的HTTPS端口。若sslUsed配置为true,则此参数不允许为空。 MRS 3.2.0之前版本,登录FusionInsight
Studio工具连接章节连接DWS数据库。 将DWS数据库中的表数据导出到CSV格式文件。 (可选)如果DWS数据库对应的表和数据已经存在,该步骤请忽略。本文通过演示在DWS创建测试表,并插入测试数据进行演示。 使用Data Studio创建测试表warehouse_t1,并插入测试数据。