检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
TRIBUTE BY number”。 例如，在插入语句后添加“DISTRIBUTE BY 1”，可以将多个task生成的多个文件汇总为一个文件。 操作步骤 在管理控制台检查对应SQL作业详情中的“结果条数”是否正确。 检查发现读取的数据量是正确的。 图1 检查读取的数据量 确认
队列B（队列使用权限） 数据（表） gameTable（表管理和使用权限） musicTable（表管理和使用权限） userTable（表管理和使用权限） userTable（表查询权限） 队列的使用权限包括提交作业和终止作业两个权限。 父主题： 权限管理
cdc-events-duplicate设置为true，并在源表上定义PRIMARY KEY。Framework将生成一个额外的有状态操作符，并使用主键对变更事件进行去重，并生成一个规范化的changelog流。 参数说明 表1 参数说明 参数 是否必选 默认值 类型 说明 format
用DLI提供的跨源认证方式。 跨源认证简介及操作方法请参考跨源认证简介。 前提条件 创建DLI表关联DDS之前需要创建跨源连接，绑定队列。管理控制台操作请参考增强型跨源连接。 语法格式 1 2 3 4 5 6 7 8 9 10 CREATE TABLE [IF NOT
用DLI提供的跨源认证方式。 跨源认证简介及操作方法请参考跨源认证简介。 前提条件 创建DLI表关联DDS之前需要创建跨源连接，绑定队列。管理控制台操作请参考增强型跨源连接。 语法格式 1 2 3 4 5 6 7 8 9 10 CREATE TABLE [IF NOT
本节操作介绍如何为数据库和数据表添加标签、修改标签和删除标签。 数据库标签管理 在DLI管理控制台的左侧导航栏中，单击“数据管理> 库表管理”。 在对应数据库的操作列，选择“更多> 标签”。 进入标签管理页面，显示当前数据库的标签信息。 单击“添加/编辑标签”，弹出“添加/编辑标签”对话框，配置参数。
'datagen', 'rows-per-second' = '1', --每秒生成一条数据 'fields.name.kind' = 'random', --为字段user_id指定random生成器 'fields.name.length' = '7', --限制user_id长度为7
管理DLI资源配额 什么是配额？ 为防止资源滥用，平台限定了各服务资源的配额，对用户的资源数量和容量做了限制。 如果当前资源配额限制无法满足使用需要，您可以申请扩大配额。 怎样查看我的配额 登录管理控制台。 单击管理控制台左上角的，选择区域和项目。 在页面右上角，选择“资源 > 我的配额”。
java样例代码 开发说明 前提条件 在DLI管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 代码实现 导入依赖 涉及到的mvn依赖库
管理DLI全局变量 什么是全局变量 DLI支持在管理控制台设置全局变量，将作业开发过程中频繁使用的变量设置为全局变量，可以避免在编辑作业过程中重复定义，减少开发与维护成本。通过使用全局变量可以替换长难复杂变量，简化复杂参数，提升SQL语句可读性。 本节操作为您介绍如何创建全局变量。
1/data2”目录下刷新后查询，生成了一个csv数据文件，内容为insert插入的表数据内容。 图6 查询结果 创建OBS分区表 创建单分区OBS表 在OBS桶“dli-test-021”根目录下创建数据文件目录“data3”。 登录DLI管理控制台，选择“SQL编辑器”，在S
管理Jar作业程序包 程序包管理概述 创建程序包 配置程序包权限 修改程序包所有者 程序包标签管理 DLI内置依赖包 父主题： DLI常用管理操作
Service，简称DWS）是一种基于基础架构和平台的在线数据处理数据库，为用户提供海量数据挖掘和分析服务。DWS的更多信息，请参见《数据仓库服务管理指南》。 推荐使用DWS服务自研的DWS Connector。 DWS-Connector的使用方法请参考dws-connector-flink。 前提条件
java样例代码 操作场景 本例提供使用Spark作业访问DWS数据源的java样例代码。 在DLI管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。
shuffle数据优化 提升资源扩缩容的稳定性，当shuffle文件不需要时清理Executor。 支持配置小文件合并 使用SQL过程中，生成的小文件过多时，会导致作业执行时间过长，且查询对应表时耗时增大，建议对小文件进行合并。 参考如何合并小文件完成合并小文件。 支持修改非分区表或分区表的列注释
和EXPORT分别与导入数据（废弃）和与导出数据（废弃）的功能一致，区别仅在于实现方式不同。 另外，用户可使用其他API来对作业进行查询和管理。具体操作有： 查询作业状态 查询作业详细信息 查询作业结果-方式一（废弃） 导出查询结果 查询所有作业 取消作业（废弃） 该API当响应
scala样例代码 开发说明 mongo只支持增强型跨源。只能使用包年包月队列。 DDS即文档数据库服务，兼容MongoDB协议。 在DLI管理控制台上已完成创建增强跨源连接，并绑定包年/包月队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明
分别上传Jar包到OBS和DLI下。 登录OBS控制台，将生成的Jar包文件上传到OBS路径下。 将Jar包文件上传到DLI的程序包管理中，方便后续统一管理。 登录DLI管理控制台，单击“数据管理 > 程序包管理”。 在“程序包管理”页面，单击右上角的“创建程序包”。 在“创建程序包”对话框，配置以下参数。
配额管理 什么是配额？ 为防止资源滥用，平台限定了各服务资源的配额，对用户的资源数量和容量做了限制。 如果当前资源配额限制无法满足使用需要，您可以申请扩大配额。 怎样查看我的配额 登录管理控制台。 单击管理控制台左上角的，选择区域和项目。 在页面右上角，选择“资源 > 我的配额”。
更新管理 更新漏洞 DLI云服务通过华为云安全公告密切跟踪漏洞，如Apache Log4j2 远程代码执行漏洞（CVE-2021-44228）、Fastjson存在反序列化漏洞（CNVD-2022-40233）等，如发现服务模块涉及漏洞影响，会迅速通过官方解决方案升级现网更新漏洞。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
