正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查看DLI队列负载 场景概述 如果需要确认DLI队列的运行状态,决定是否运行更多的作业时需要查看队列负载。 操作步骤 在控制台搜索“云监控服务 CES”。 图1 搜索CES 进入CES后,在页面左侧“云服务监控”列表中,单击“数据湖探索”。 图2 云服务监控 选择队列进行查看。 图3
查看弹性资源池扩缩容历史 操作场景 当弹性资源池添加队列、删除队列,或添加的队列扩缩容时,可能会引起弹性资源CUs扩缩容变化。控制台提供的“扩缩容历史”功能,可以查看弹性资源池的CUs变化历史。 弹性资源池缩容可能会触发Spark作业和SQL作业内部自动重试,当作业重试超过限制会导致作业执行失败,需用户重新执行作业。
查看DLI SQL日志 场景概述 日常运维时需要查看DLI SQL日志。 操作步骤 在DataArts Studio控制台获取DataArts Studio执行DLI作业的job id。 图1 查看日志 图2 查找job id 在DLI控制台,选择“作业管理”>“SQL作业”。 在SQL作业管理页面,输入对应的job
手动续费 在云服务控制台续费 登录管理控制台。 单击左侧导航栏的图标,选择“大数据 > 数据湖探索 DLI”。 在队列或弹性资源池的列表页,选中待续费的包年/包月资源。 单击“操作”列下的“更多 > 续费”。 选择续费时长,判断是否勾选“统一到期日”,将到期时间统一到各个月的某一
认证证书 合规证书 华为云服务及平台通过了多项国内外权威机构(ISO/SOC/PCI等)的安全合规认证,用户可自行申请下载合规资质证书。 图1 合规证书下载 资源中心 华为云还提供以下资源来帮助用户满足合规性要求,具体请查看资源中心。 图2 资源中心 销售许可证&软件著作权证书
创建消息通知主题 操作场景 确定创建消息通知主题后,您可在消息通知服务的“主题管理”页面中,对相应的主题添加订阅,选择不同方式(例如短信或者邮件等)进行订阅。订阅成功后,如果作业失败,则系统将会自动发送消息到您指定的订阅终端。 如果作业提交1分钟内立即失败,通常不会触发消息通知。
Flink作业推荐配置指导 用户在创建Flink作业时,可以通过如下配置实现流应用的高可靠性能。 用户在消息通知服务(SMN)中提前创建一个“主题”,并将其指定的邮箱或者手机号添加至主题订阅中。此时指定的邮箱或者手机会收到请求订阅的通知,单击链接确认订阅即可。 图1 创建主题 图2
在Spark SQL作业中使用UDTF 操作场景 DLI支持用户使用Hive UDTF(User-Defined Table-Generating Functions)自定义表值函数,UDTF用于解决一进多出业务场景,即其输入与输出是一对多的关系,读入一行数据,输出多个值。 约束限制
如何给子用户授权查看Flink作业? 子用户使用DLI时,可以查看队列,但是不能查看Flink作业,可以通过在DLI中对子用户授权,或在IAM中对子用户授权: DLI授权管理 使用租户账号,或者作业owner账号,或有DLI Service Administrator权限的账号,登录DLI控制台。
费用账单 您可以在“费用中心 > 账单管理”查看DLI资源的费用账单,以了解该DLI资源在某个时间段的使用量和计费信息。 账单上报周期 包年/包月计费模式的资源完成支付后,会实时上报一条账单到计费系统进行结算。 按需计费模式的资源按照固定周期上报使用量到计费系统进行结算。按需计费
了解表、数据库、数据目录 DLI元数据是SQL作业、Spark作业场景开发的基础。在执行作业前您需要根据业务场景定义数据库和表。 Flink支持动态数据类型,可以在运行时定义数据结构,不需要事先定义元数据。 数据目录 数据目录(Catalog)是元数据管理对象,它可以包含多个数据库。
使用Spark Jar作业读取和查询OBS数据 操作场景 DLI完全兼容开源的Apache Spark,支持用户开发应用程序代码来进行作业数据的导入、查询以及分析处理。本示例从编写Spark程序代码读取和查询OBS数据、编译打包到提交Spark Jar作业等完整的操作步骤说明来帮助您在DLI上进行作业开发。
永洪BI添加数据源 操作场景 在永洪SaaS生产环境中添加DLI的数据源。 操作步骤 在永洪SaaS生产环境主页,单击左侧导航栏中的“添加数据源”,请参见图1。 图1 添加数据源 “选择数据源类型”页面中,新建数据源类型选择“GENERIC”。请参见图2。 图2 选择数据源类型 添加数据源的相关配置,请参见图3。
Python SDK环境配置 操作场景 在进行二次开发时,要准备的开发环境如表1所示。 表1 开发环境 准备项 说明 操作系统 Windows系统,推荐Windows 7及以上版本。 安装Python Python版本建议使用2.7.10和3.4.0以上版本,需要配置Visual
使用Spark SQL作业分析OBS数据 DLI支持将数据存储到OBS上,后续再通过创建OBS表即可对OBS上的数据进行分析和处理。 本指导中的操作内容包括:创建OBS表、导入OBS表数据、插入和查询OBS表数据等内容来帮助您更好的在DLI上对OBS表数据进行处理。 前提条件 已
Jobmanager与Taskmanager心跳超时,导致Flink作业异常怎么办? 问题现象 Jobmanager与Taskmanager心跳超时,导致Flink作业异常。 图1 异常信息 根因分析 检查网络是否发生闪断,分析集群负载是否很高。 如果频繁出现Full GC, 建议排查代码,确认是否有内存泄漏。
自动续费 自动续费可以减少手动续费的管理成本,避免因忘记手动续费而导致资源被自动删除。自动续费的规则如下所述: 以资源的到期日计算第一次自动续费日期和计费周期。 您可以在购买资源时开通自动续费,在购买资源时,自动续费周期以实际选择的续费时长为准。 在到期前均可开通自动续费,到期前
Flink作业重启后,如何保证不丢失数据? DLI Flink提供了完整可靠的Checkpoint/Savepoint机制,您可以利用该机制,保证在手动重启或者作业异常重启场景下,不丢失数据。 为了避免系统故障导致作业异常自动重启后,丢失数据: 对于Flink SQL作业,您可以
在Spark SQL作业中使用UDAF 操作场景 DLI支持用户使用Hive UDAF(User Defined Aggregation Function,用户定义聚合函数)可对多行数据产生作用,通常与groupBy联合使用;等同于SQL中常用的SUM(),AVG(),也是聚合函数。
Flink作业高可靠推荐配置指导(异常自动重启) 操作场景 本节操作介绍创建Flink作业时,配置流应用实现高可靠性能的操作方法。 操作步骤 用户在消息通知服务(SMN)中提前创建一个“主题”,并将其指定的邮箱或者手机号添加至主题订阅中。此时指定的邮箱或者手机会收到请求订阅的通知,单击链接确认订阅即可。