检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
forcePartitionPredicatesOnPartitionedTable.enabled”，值设置为“false”。 图1 参数设置 上述步骤参数设置完成后，则可以进行全表查询，不用查询表的时候要包含分区字段。 父主题： DLI数据库和表类
弹性资源池与该增强型跨源连接绑定、可自定义路由等操作。以此实现增强型跨源连接的跨项目应用。本节操作介绍对增强型跨源连接授权或回收权限的操作步骤。 如果被授权的项目属于相同区域（region）的不同用户，则需使用被授权项目所属的用户账号进行登录。 如果被授权的项目属于相同区域（re
BY number”。 例如，在插入语句后添加“DISTRIBUTE BY 1”，可以将多个task生成的多个文件汇总为一个文件。 操作步骤 在管理控制台检查对应SQL作业详情中的“结果条数”是否正确。 检查发现读取的数据量是正确的。 图1 检查读取的数据量 确认客户验证数据量的方式是否正确。客户验证的方式如下：
怎样查看DLI队列负载？ 场景概述 如果需要确认DLI队列的运行状态，决定是否运行更多的作业时需要查看队列负载。 操作步骤 在控制台搜索“云监控服务 CES”。 图1 搜索CES 进入CES后，在页面左侧“云服务监控”列表中，单击“数据湖探索”。 图2 云服务监控 选择队列进行查看。
ometheus 通用实例”。 步骤2：弹性资源绑定AOM Prometheus集群 登录DLI管理控制台，选择“资源管理 > 弹性资源池”。 选择弹性资源池，单击操作列的“更多 > Prometheus > 绑定Prometheus”。 选择步骤1：创建AOM Promethe
Flink作业怎样设置“异常自动重启”？ 场景概述 DLI Flink作业具有高可用保障能力，通过设置“异常自动重启”功能，可在周边服务短时故障恢复后自动重启。 操作步骤 登录DLI控制台，选择“作业管理”>“Flink作业”。 在Flink作业编辑页面，勾选“异常自动重启”。例如，图1所示。 图1 Flink
Flink进行电商实时业务数据分析的操作过程主要包括以下步骤： 步骤1：创建资源。在您的账户下创建作业需要的相关资源，涉及VPC、DMS、DLI、RDS。 步骤2：获取DMS连接地址并创建Topic。获取DMS Kafka实例连接地址并创建DMS Topic。 步骤3：创建RDS数据库表。获取RDS实
权后，A账户拥有B账户OBS桶的元数据信息和权限信息的读取权限，以及路径的读写权限，则A账户可将数据导出至B账户的OBS路径中。 导出数据步骤 导出数据的入口有两个，分别在“数据管理”和“SQL编辑器”页面。 在“数据管理”页面导出数据。 在管理控制台左侧，单击“数据管理”>“库表管理”。
设置完全一致。 请选择正确的“服务类型”，本示例中为“RDS”。 图1 创建经典型跨源连接-RDS 检查安全组网络（vpc）配置。 若按照步骤1重建跨源连接后还是报错“communication link failure”，则检查vpc配置。 经典型跨源： 入方向规则：检查本安全
此外，您还必须确保该云服务的实例与CDM集群所属的企业项目必须相同，如果不同，需要修改工作空间的企业项目。 本示例CDM集群的虚拟私有云、子网以及安全组和MRS集群保持一致。 步骤一：数据准备 MRS集群上创建Hive表和插入表数据。 参考访问MRS Manager登录MRS Manager。 在MRS Manager上，选择“系统
sql.warehouse.dir参数的OBS路径为步骤2：OBS桶文件配置中配置创建。 访问元数据 选择：是 单击“执行”，提交该Spark Jar作业。在Spark作业管理界面显示已提交的作业运行状态。 图13 查看作业运行状态 步骤8：查看作业运行结果 在Spark作业管理界面显
当前系统提供了多条标准的TPC-H查询语句模板，您可以按需选择自定义模板或系统模板创建SQL作业。 本样例演示通过一个TPC-H样例模板开发并提交SQL作业的基本流程： 操作步骤 登录DLI管理控制台。 在DLI管理控制台，选择“作业模板 > SQL模板”。 在“tpchQuery”下找到适合您业务场景的样例模板，
例如：DLI连接MRS、RDS、CSS、Kafka、DWS时，需要打通DLI和对应数据源VPC之间的网络，才能实现数据互通。 本节操作介绍在控制台创建增强型跨源连接的操作步骤。 约束和限制 表1 增强型跨源连接约束限制 限制项 说明 适用场景约束限制 在同一队列中，如果同时使用了经典型跨源连接和增强型跨源连接，
Flink作业高可靠推荐配置指导（异常自动重启） 操作场景 本节操作介绍创建Flink作业时，配置流应用实现高可靠性能的操作方法。 操作步骤 用户在消息通知服务（SMN）中提前创建一个“主题”，并将其指定的邮箱或者手机号添加至主题订阅中。此时指定的邮箱或者手机会收到请求订阅的通知，单击链接确认订阅即可。
management_agency请参考DLI委托概述。 本节操作介绍自定义委托，并完成服务授权，以及在作业配置中添加新建的委托信息的操作步骤。 DLI自定义委托场景 表1 DLI自定义委托场景 场景 委托名称 适用场景 权限策略 允许DLI按表生命周期清理数据 dli_data_clean_agency
PARTITION partition_specs SET LOCATION obs_path; 关键字 PARTITION：分区。 LOCATION：分区路径。 参数说明 表1 参数描述 参数 描述 table_name 表名称。 partition_specs 分区字段。 obs_path
在DLI使用Hudi提交Spark SQL作业 登录DLI管理控制台，选择“SQL编辑器”首进入提交SQL作业的界面。提交SQL作业时需要选择支持Hudi的Spark SQL队列。 创建一张Hudi表： 将如下的建表语句粘贴至DLI SQL编辑器的输入区域，修改 LOCATION
连接、端口功能，因此需要获得VPC（虚拟私有云）的VPC Administrator权限。 客户未给VPC服务授权导致绑定队列失败。 处理步骤 登录DLI管理控制台，选择“全局配置 > 服务授权”。 在委托设置页面，按需选择所需的委托权限。 其中“DLI Datasource Connections
因此需要获得VPC（虚拟私有云）的VPC Administrator权限。 客户未给VPC服务授权导致DLI跨源连接报错找不到子网。 处理步骤 登录DLI管理控制台，选择“全局配置 > 服务授权”。 在委托设置页面，按需选择所需的委托权限。 其中“DLI Datasource Connections
算处理复杂度要求较高的用户场景，且用户可以熟练掌握Flink二次开发能力。 本节操作介绍在DLI管理控制台创建Flink Jar作业的操作步骤。 前提条件 创建Flink Jar作业，访问其他外部数据源时，如访问OpenTSDB、HBase、Kafka、DWS、RDS、CSS、CloudTable、DCS
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
