检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
命令失败。 如果源表生成空记录,则UPDATE操作将在不更新表的情况下完成。 如果源表的行与目标表中任何已有的行不对应,则UPDATE操作将完成,不更新表。 具有二级索引的表不支持UPDATE命令。 在子查询中,如果源表和目标表相同,则UPDATE操作失败。 如果在UPDATE命
线外的其他字符)。如果struct类型中列名称含有特殊字符,在FusionInsight Manager的“编辑角色”页面进行授权时,该列将无法正确显示。 相关概念 SparkSQL的语句在SparkSQL中进行处理,权限要求如表1所示。 表1 使用SparkSQL表、列或数据库场景权限一览
服务 > Hive > 配置 > 全部配置 > HiveServer(角色)”,搜索“hive.execution.engine”参数。 将“hive.execution.engine”参数设置为“tez”。 针对MRS 3.1.2版本,选择“Hive(服务) > 自定义”,搜索“yarn
命令失败。 如果源表生成空记录,则UPDATE操作将在不更新表的情况下完成。 如果源表的行与目标表中任何已有的行不对应,则UPDATE操作将完成,不更新表。 具有二级索引的表不支持UPDATE命令。 在子查询中,如果源表和目标表相同,则UPDATE操作失败。 如果在UPDATE命
例如,只要计算每日每个用户浏览了多少次网页,就可以通过累加的方式,去计算每周、每年对应的数据,类似于通过汇总每日收入来计算每周收入。 可以将approx_distinct()与GROUPING SETS一起使用转换为HyperLogLog。如下所示: CREATE TABLE v
弹出一个新页面,显示作业执行的实时日志信息。 每个租户并发提交作业和查看日志的个数均为10。 当选择保留作业日志到OBS或HDFS时,系统在作业执行结束后,将日志压缩并存储到对应路径。因此,此类作业运行结束后,作业状态仍然为“运行中”,需等日志存储成功后,状态变更为“已完成”。日志存储花费时间依赖于日志大小,需要数分钟以上。
果。 优点:不需要有大的状态后端存储,整体计算资源压力要小于基于状态后端的方案。 缺点:需要依赖于数据格式,常见的方式通过CDC采集工具,将数据采集到Kafka,然后Flink读Kafka数据进行计算。 通过changelog数据解决 changelog与CDC格式的数据类似,只
线外的其他字符)。如果struct类型中列名称含有特殊字符,在FusionInsight Manager的“编辑角色”页面进行授权时,该列将无法正确显示。 相关概念 SparkSQL的语句在SparkSQL中进行处理,权限要求如表1所示。 表1 使用SparkSQL表、列或数据库场景权限一览
默认显示当前集群的所有作业。支持查看Workflow、Coordinator和Bundles作业的运行情况。 作业浏览器显示的数字表示集群中所有作业的总数。 “作业浏览器”将显示作业以下信息: 表1 MRS作业属性介绍 属性名 描述 名称 表示作业的名称。 用户 表示启动该作业的用户。 类型 表示作业的类型。 状态
读写占用率高的进程,并根据实际情况判断该进程是否为无用进程。 是,执行以下命令停止无用进程。(PID可以在执行iotop命令后,按“P”键将TID切换为PID获取) kill -9 PID 否,执行8。 等待5分钟,检查该告警是否恢复。 是,处理完毕。 否,执行9。 收集故障信息。
WebUI,在导航栏选择“Procedure & Locks”,在Procedures查看是否有处于Waiting状态的process id。如果有,需要执行以下命令将procedure lock释放: hbase hbck -j 客户端安装目录/HBase/hbase/tools/hbase-hbck2-*
服务 > Guardian > 实例 > TokenServer > 实例配置”,单击“全部配置”,选择“TokenServer > 系统”。将“GC_OPTS”参数中“-XX: MaxPermSize”的值根据实际情况调大,并保存配置。 出现此告警时,说明当前TokenServer
单击右上角的,可查看所有快捷键信息。 元数据浏览器使用介绍 访问Hue WebUI。 查看Hive表的元数据 在左侧导航栏单击表,单击某一表名称,界面将显示Hive表的元数据信息。 管理Hive表的元数据 在Hive表的元数据信息界面: 单击右上角的“导入”可导入数据。 单击“概述”,在“属性”域可查看表文件的位置信息。
connect apache zookeeper ", e); } } [1]userdir获取的是编译后资源目录的路径。将初始化需要的配置文件“core-site.xml”、“hdfs-site.xml”、“hbase-site.xml”和用于安全认证的用户凭证
connect apache zookeeper ", e); } } [1]userdir获取的是编译后资源目录的路径。将初始化需要的配置文件“core-site.xml”、“hdfs-site.xml”、“hbase-site.xml”放置到"src/main/resources"的目录下。
jar包,如作业依赖包,上传后在Flink WebUI界面中“依赖类型”显示为“normal”。 使用该功能需提前准备依赖文件。如果通过“指定路径”方式将依赖上传到集群,需提前创建HDFS路径,并将jar包上传至HDFS中。 上传依赖包 登录FusionInsight Manager,访问Flink
-examples-*.jar teragen 100 obs://OBS并行文件系统名称/hadoop1/teragen1 执行以下命令将OBS下的数据复制到HDFS: hadoop distcp obs://OBS并行文件系统名称/hadoop1/teragen1 /tmp
Manager首页,选择“集群 > 待操作集群的名称 > 服务 > Yarn > 配置 > 全部配置 > NodeManager > 系统”。将“GC_OPTS”参数根据实际情况调大。 集群中的NodeManager实例数量和NodeManager内存大小的对应关系参考如下: 集群中
Manager首页,选择“集群 > 待操作集群的名称 > 服务 > Yarn > 配置 > 全部配置 > NodeManager > 系统”。将“GC_OPTS”参数的值根据实际情况调大。保存配置,并重启NodeManager实例。 NodeManager重启过程中,提交到该节点的Container可能会重试到其他节点。
Manager首页,选择“集群 > 待操作集群的名称 > 服务> Loader > 配置”,选择“全部配置”,在搜索栏里搜索“LOADER_GC_OPTS”参数。将“-XX:MaxDirectMemorySize”的值根据实际情况调大,并单击“保存”,单击“确定”。 出现此告警时,说明当前Loader实