检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DLI内置依赖包 DLI内置依赖包是平台默认提供的依赖包，用户打包Spark或Flink jar作业jar包时，不需要额外上传这些依赖包，以免与平台内置依赖包冲突。 Spark 3.1.1 依赖包 表1 Spark 3.1.1 依赖包 依赖包名称 accessors-smart-1
sink将数据写入到kafka的另一个topic中。 根据kafka所在的虚拟私有云和子网创建相应的跨源，并绑定所要使用的队列。然后设置安全组入向规则，使其对当前将要使用的队列放开，并根据kafka的地址测试队列连通性。若能连通，则表示跨源已经绑定成功；否则表示未成功 创建flink opensource sql作业，并选择flink版本为1
Hudi HetuEngine是高性能的交互式SQL分析及数据虚拟化引擎，它与大数据生态无缝融合，实现海量数据秒级交互式查询，并支持跨源跨域统一访问，使能数据湖内、湖间、湖仓一站式SQL融合分析。 HetuEngine对Hudi仅支持select操作，即支持SELECT语法来查询Hudi表中的数据。
系统default队列不支持创建跨源连接。 跨源连接需要使用VPC、子网、路由、对等连接功能，因此需要获得VPC（虚拟私有云）的VPC Administrator权限。可在服务授权中进行设置。 发布区域：全部 创建增强型跨源连接 OBS 2.0支持 DLI自定义委托 跨源分析场景，DLI需具备访问其他云服务
测试的结果，被定义为所有查询执行时间平均值的倒数，公式如下： 业务场景 用户可以通过DLI内置的TPC-H测试套件进行简单高效的交互式查询，无需用户上传数据，即可以体验DLI的核心功能。 DLI内置TPC-H的优势 用户只需要登录DLI，完成授予权限，即可操作SQL语句，无需用户自己创建表和导入数据。 预置22条TPC-H
创建source流从Redis获取数据，作为作业的输入数据。 前提条件 要建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则，请参见《虚拟私有云用户指南》中“安全组”章节。 语法格式 1 2 3 4
enable配置项，所以不涉及Apache Spark 命令注入漏洞（CVE-2022-33891）。 该漏洞主要影响在启用了ACL（访问控制列表）时，可以通过提供任意用户名来执行命令导致数据安全受到威胁。 DLI在设计时充分考虑了数据安全和数据隔离，因此没有启用相关的配置项，所以不会受到这个漏洞的影响。
1。 表1 Spark 3.3.1版本优势 特性 说明 Native性能加速 Spark查询语句性能提升。 元数据访问性能提升 提升Spark在处理大数据时的元数据访问性能，提高数据处理流程效率。 提升OBS committer小文件写性能 提升对象存储服务（OBS）在处理小文件写入时的性能，提高数据传输效率。
g:MFAPresent 全局级 Boolean 用户登录时是否使用了多因素认证。 g:UserId 全局级 String 当前登录的用户ID。 g:UserName 全局级 String 当前登录的用户名。 g:ProjectName 全局级 String 当前登录的Project。 g:DomainName
Strings 角色。目前只支持： obs_adm：DLI获得访问和使用OBS的委托权限。 dis_adm：访问和使用DIS数据源，需要获得访问和使用DIS（数据接入服务）DIS Administrator权限。 ctable_adm：访问和使用CloudTable（表格存储服务）的CloudTable
使用标准SQL语句进行数据的查询和分析。 准备工作 已注册华为账号并开通华为云，且在使用DLI前检查账号状态，账号不能处于欠费或冻结状态。 配置DLI委托访问授权 DLI使用过程中涉及到OBS、VPC、SMN等服务交互，首次使用DLI需要用户配置委托授权，允许访问这些依赖服务。 使用华为云账号登录DLI管理控制台，在左侧导航栏单击“全局配置
Documentation 2020年3月 序号 功能名称 功能描述 阶段 相关文档 1 支持Spark程序访问DLI表 DLI支持通过Spark作业访问DLI表。 商用 使用Spark作业访问DLI表 2 支持计算队列手动扩缩容 DLI支持手动对队列进行扩缩容。 商用 手动扩容/缩容 2020年1月
实时任务接入 实时作业一般由Flink Sql或Sparkstreaming来完成，流式实时任务通常配置同步生成compaction计划，异步执行计划。 Flink SQL作业中sink端Hudi表相关配置如下： create table hudi_sink_table ( //
以上问题可能是由于系统未能识别新用户信息。 请按以下步骤进行排查： 请先确认下当前用户名是否存在。 如该用户存在，请重新登录管理控制台，系统才能对该用户进行授权操作。 父主题： Flink作业咨询类
为了确保您的个人敏感数据（例如用户名、密码、手机号码等）不被未经过认证、授权的实体或者个人获取，DLI对用户数据的存储和传输进行加密保护，以防止个人数据泄露，保证您的个人数据安全。 数据销毁机制 用户删除DLI队列后，存储在集群上的用户个人敏感数据会随之删除。 用户在控制台上删除填写的手
ROWGE”相同。该帧包含从分区的开始到当前行的最后一个对等方的所有行。在没有ORDER BY的情况下，所有行都被视为对等行，因此未绑定的前导和当前行之间的范围等于未绑定的前导和未绑定的后续之间的范围。 例如：下面的查询将salary表中的信息按照每个部门员工工资的大小进行排序。 --创建数据表并插入数据
DLI JDBC Driver支持的API列表 DLI JDBC Driver支持JDBC标准的众多API，也有部分API不支持用户调用，例如涉及事务调用的API“prepareCall”，调用这类API将抛出“SQLFeatureNotSupportedException”异常
行数据处理的用户，可以使用default队列执行作业。 适用场景：适用于测试作业或资源消耗不高的情况。 支持的队列类型：仅DLI预置的default队列为全局共享模式的计算资源。 “default”队列只用于用户体验DLI，是所有人共享的公共资源，使用时可能会出现用户间抢占资源的
数据倾斜、网络问题或任务过多导致的。 解决方案： 设置并发数：通过设置合适的并发数，可以启动多任务并行运行，从而提高作业的处理能力。 例如访问DWS大批量数据库数据时设置并发数，启动多任务的方式运行，避免作业运行超时。 具体并发设置可以参考对接DWS样例代码中的partition
创建DWS维表 创建DWS表用于与输入流连接。 前提条件 请务必确保您的账户下已创建了所需的DWS实例。 语法格式 1 2 3 4 5 6 7 8 9 10 11 create table dwsSource ( attr_name attr_type
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
