检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HetuEngine域名修改后需要做什么 通过客户端启动HetuEngine集群超时如何处理 如何处理HetuEngine数据源丢失问题 如何处理视图拥有者权限不足缺少函数的grant权限 如何处理HetuEngine SQL运行过程中报错Encountered too many errors 父主题: 使用HetuEngine
可选参数,为本次执行的作业配置相关优化参数(例如线程、内存、CPU核数等),用于优化资源使用效率,提升作业的执行性能。 SparkSql作业常用的运行程序参数如表2所示,可根据执行程序及集群资源情况进行配置。 - 服务配置参数 可选参数,用于为本次执行的作业修改服务配置参数。 该参数的修改仅适
在数据连接列表的单击待查看的数据连接名称,在弹出的页面查看该数据连接的详细信息。 例如查看RDS服务MySQL数据库数据连接信息如下: 图1 查看RDS服务MySQL数据库数据连接信息 删除数据连接 登录MRS管理控制台,在导航栏选择“数据连接”。 在数据连接列表的操作列,单击待删除数据连接所在行的“删除
用户已经将作业所需的程序包和数据文件上传至OBS或HDFS文件系统中。 如果作业程序需要读取以及分析OBS文件系统中的数据,需要先配置MRS集群的存算分离,请参考配置MRS集群存算分离。 通过管理控制台提交作业 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。
Flink应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前,需要了解Flink的基本概念。 Flink基本概念 准备开发和运行环境 Flink的应用程序支持使用Scala、Java两种语言进行开发。推荐使用IDEA工具,请根据指导完成不同语言的开发环境配置。F
Flink应用开发的流程说明 阶段 说明 参考文档 了解基本概念 在开始开发应用前,需要了解Flink的基本概念。 基本概念 准备开发和运行环境 Flink的应用程序支持使用Scala、Java两种语言进行开发。推荐使用IDEA工具,请根据指导完成不同语言的开发环境配置。Flink的运行环境
“机机”用户请执行:kinit -kt user.keytab sparkuser “人机”用户请执行:kinit sparkuser 执行如下命令连接Spark组件的客户端。 spark-beeline 在spark-beeline中执行命令,例如在obs://mrs-word001/table/目录中创建表test。
Flink应用开发的流程说明 阶段 说明 参考章节 了解基本概念 在开始开发应用前,需要了解Flink的基本概念。 Flink基本概念 准备开发和运行环境 Flink的应用程序支持使用Scala、Java两种语言进行开发。推荐使用IDEA工具,请根据指导完成不同语言的开发环境配置。F
Flink应用开发的流程说明 阶段 说明 参考章节 了解基本概念 在开始开发应用前,需要了解Flink的基本概念。 基本概念 准备开发和运行环境 Flink的应用程序支持使用Scala、Java两种语言进行开发。推荐使用IDEA工具,请根据指导完成不同语言的开发环境配置。Flink的运行环境
/opt/knox/bin/gateway.sh start 在其他Master节点上重复执行如上步骤。 执行ps -ef |grep knox命令可查看已设置的内存信息。 图1 knox内存 父主题: 性能优化类
登录MRS管理控制台,单击集群名称进入集群详情页面。 选择“组件管理 > Mapreduce”,进入Mapreduce服务“全部配置”页面,在左侧的导航列表中选择“Mapreduce > 自定义”。在自定义配置项中,给参数文件“core-site.xml”添加配置项“mapreduce.jobhistory
ask节点的数量范围是5~8个,其他时间需要Task节点数量是2~4个。因此可以在资源计划的基础上,设置基于负载的弹性伸缩规则,以实现当数据量超出预期后,Task节点数量可以在资源计划规定的范围内根据负载情况进行浮动,但不会超出该规定范围。资源计划触发时,会以变化最小的方式使节点
sh /tmp 执行命令vi $CONTROLLER_HOME/sbin/controller.sh,找到JVM_ARGS=所在行,在该行的下一行添加一行新内容: JVM_ARGS="$JVM_ARGS -Dfastjson.parser.safeMode=true" 使用omm
New Policy”,为2新建的用户组添加相应OBS路径的“Read”和“Write”权限,OBS目录若不存在则需要提前创建,且不允许带通配符*。 图1 为Flink用户组新增OBS路径读和写的权限 父主题: MRS集群服务对接OBS示例
参数名称 参数含义 定位信息 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名称。 附加信息 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Guardian TokenSer
参数名称 参数含义 定位信息 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名称。 附加信息 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Guardian TokenSer
是 告警参数 类别 参数名称 参数含义 定位信息 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 附加信息 触发条件 告警触发的条件。 对系统的影响 业务延迟:主机磁盘IO写入等待时长过高时,可能会导致业务进程运行处理缓慢、业务延迟。
是 告警参数 类别 参数名称 参数含义 定位信息 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 附加信息 触发条件 告警触发的条件。 对系统的影响 业务延迟:主机磁盘IO读取等待时长过高时,可能会导致业务进程运行处理缓慢、业务延迟。
s”目录下自动创建一个和分区名称一样的znode的问题。 解决调用MRS的作业管理接口API,返回的Spark日志的url和实际不一致的问题。 解决Spark JDBCServer切换成多实例模式后shuffle数据会不断累积,导致磁盘被打满的问题。 解决Spark InsertOverwrite数据不一致问题。
Orders WHERE id = 10 WITH语句 WITH子句提供了一种用于更大查询而编写辅助语句的方法。这些语句通常被称为公用表表达式,表达式可以理解为仅针对某个查询而存在的临时视图。 语法: WITH <with_item_definition> [ , ... ] SELECT