检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
询的结果,例如:它可以是远程数据的本地副本,单表查询或者多表join后查询的结果的行或列、行和列的子集,也可以是使用聚合函数的汇总表。 物化视图通常基于对数据表进行聚合和连接的查询结果创建。物化视图支持“查询重写”,这是一种优化技术,它将以原始表编写的用户查询转换为包括一个或多个物化视图的等效请求。
解决方法 运行Spark作业前,调整hbase.client.scanner.timeout.period参数(例如从60秒调高到120秒)。 登录Manage界面,选择“集群 > 服务 > HBase > 配置 > 全部配置”,搜索参数“hbase.client.scanner.timeout
新建作业”,在“新建作业”窗口中填写配置。单击“下一步”,进入作业参数配置页面。 其中: 参数名称 示例 Name job_opengausstohudi Desc New CDL Job 配置ThirdKafka作业参数。 在作业参数配置页面,选取左侧“thirdparty-kafka”图标拖入右
新建作业”,在“新建作业”窗口中填写配置。单击“下一步”,进入作业参数配置页面。 其中: 参数名称 示例 Name job_avro_oracletohudi Desc New CDL Job 配置ThirdKafka作业参数。 在作业参数配置页面,选取左侧“thirdparty-kafka”图标拖入
无缝地使用SQL语句亦或是DataSet API对结构化数据进行查询。 Spark SQL以及DataSet还提供了一种通用的访问多数据源的方式,可访问的数据源包括Hive、CSV、Parquet、ORC、JSON和JDBC数据源,这些不同的数据源之间也可以实现互相操作。Spark
态的原因。 具体操作:在公有云管理控制台,选择“基本信息 > Yarn监控信息”进入Web界面,单击提交的MapReduce任务,在打开的页面中查看诊断信息,根据诊断信息再采取相应的措施。 或者也可以通过查看MapReduce日志了解应用运行情况,并根据日志信息调整应用程序。 父主题:
Launcher一次容许的最大值2KB(2048 Bytes),需要调大默认的输出参数值,调整该参数不会对集群性能造成影响。 处理步骤 登录Manager页面,选择“集群 > 服务 > Oozie > 配置 > 全部配置 > 自定义”,在“oozie-site.xml”的配置项中添加参数“oozie
操作场景 该任务指导用户通过Hue界面提交Java类型的Oozie作业。 操作步骤 创建工作流,请参考使用Hue创建工作流。 在工作流编辑页面,选择“Java 程序”按钮,将其拖到操作区中。 在弹出的“Java program”窗口中配置“Jar name”的值,例如“/user
Hive元数据使用RDS时创建视图表中文乱码 用户问题 MRS 3.1.0版本集群,Hive元数据配置为RDS数据库中存储。创建视图时,使用case when语句中文显示乱码。 例如建表语句如下: 查看视图内容中,中文乱码: 原因分析 该问题是由于元数据表相关字段编码不是UTF 8,导致中文显示异常。
修改postgresql.conf配置信息,localhost修改成本节点IP,remotehost修改成对端节点IP。 登录Manager页面重启备DBServer节点。 父主题: 使用DBservice
个executor的shuffle结果就会报文件找不到。 因此,遇到这样的问题需要确认是否executor异常退出,可以根据spark任务页面的executors便签页查看是否有dead状态的executor,查看各个dead状态的executor日志,确认异常退出的原因(其中可
处理步骤 参考“添加租户”章节新建一个队列给oozie使用,也可以直接使用创建MRS集群时生成的launcher-job队列。 在Manager页面选择“集群 > 服务 > Oozie > 配置”,搜索参数“oozie.site.configs”,在值列添加名称“oozie.launcher
全模式后,需要手动介入进行恢复。 处理步骤 确认HDFS已解决相关异常问题,退出安全模式。 登录FusionInsight Manager页面,选择“集群 > 服务 > HBase”,在概览界面选择“更多 > 重启服务”,输入当前用户密码并单击“确定”,手动重启HBase服务,触发meta表重新上线。
场景说明 假定用户开发一个应用程序,用于管理企业中的使用A业务的用户信息,如表1所示,A业务操作流程如下: 创建用户信息表。 在用户信息中新增用户的学历、职称等信息。 根据用户编号查询用户姓名和地址。 根据用户姓名进行查询。 查询年龄段在[20-29]之间的用户信息。 数据统计
回滚补丁 回滚补丁前检查 回滚补丁 卸载补丁后操作 父主题: MRS 3.1.0 运维通道补丁说明
flatMapGroupsWithState(...)操作中,用户自定义状态的schema或者超时类型都不允许发生变化;允许用户自定义state-mapping函数变化,但是变更结果取决于用户代码;如果需要支持schema变更,用户可以将状态数据编码/解码成二进制数据以支持schema迁移。
flatMapGroupsWithState(...)操作中,用户自定义状态的schema或者超时类型都不允许发生变化;允许用户自定义state-mapping函数变化,但是变更结果取决于用户代码;如果需要支持schema变更,用户可以将状态数据编码/解码成二进制数据以支持schema迁移。
flatMapGroupsWithState(...)操作中,用户自定义状态的schema或者超时类型都不允许发生变化;允许用户自定义state-mapping函数变化,但是变更结果取决于用户代码;如果需要支持schema变更,用户可以将状态数据编码/解码成二进制数据以支持schema迁移。
site/NodeManager.html#NodeManager_Restart 可以参考修改集群服务配置参数,进入Yarn“全部配置”页面。需将NodeManager的“yarn.nodemanager.recovery.enabled”配置项为“true”后才生效,默认为“
单击“Apply”。 选择“Modules”,在“Source”页面,修改“Language level”为“8 - Lambdas, type annotations etc.”。 图5 配置Modules 在“Dependencies”页面,修改“Module SDK”为“SDKs”中添加的JDK。