检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
行作业所需的计算资源。 单击“作业管理 > Spark作业”，新建Spark作业。 在作业管理页面，单击作业操作列的“编辑”，进入作业运行参数编辑页面。 配置Spark版本，选择最新的Spark引擎版本，推荐使用Spark 3.3.1。 父主题： 产品公告
ORC升级到1.5.12。 【SPARK-33092】：增强子表达式消减。 【SPARK-33480】：支持char/varchar数据类型。 【SPARK-32302】: 部分谓词下推优化。 【SPARK-30648】：支持JSON datasource表谓词下推。 【SPARK-32346】：支持avro
行作业所需的计算资源。 单击“作业管理 > Spark作业”，新建Spark作业。 在作业管理页面，单击作业操作列的“编辑”，进入作业运行参数编辑页面。 配置Spark版本，选择最新的Spark引擎版本，推荐使用Spark 3.3.1。 公告发布日期：2023年7月6日 父主题：
PROCTIME() 语句进行定义。 另一方面，由于事件时间列可能需要从现有的字段中获得，因此计算列可用于获得事件时间列。例如，原始字段的类型不是 TIMESTAMP(3) 或嵌套在 JSON 字符串中。 注意： 定义在一个数据源表（ source table ）上的计算列会在从数据源读取数据后被计算，它们可以在
中NULL代表未知。优先级顺序为：NOT>AND>OR。 运算规则请参见表1，表中的A和B代表逻辑表达式。 表1 逻辑运算符 运算符 返回类型 描述 A AND B BOOLEAN 若A与B都为TRUE则返回TRUE，否则返回FALSE。若A或B为NULL，则返回NULL。 A OR
构成完整的条件判断语句。 DLI通过IAM预置了一组条件键。下表显示了适用于DLI服务特定的条件键。 表1 DLI请求条件 DLI条件键 类型 运算符 描述 g:CurrentTime 全局级 Date and time 接收到鉴权请求的时间。 说明： 以“ISO 8601”格式
析和管理，您可以通过云数据迁移服务CDM等迁移工具迁移数据至DLI，再使用DLI提交作业分析数据。 CDM支持数据库、数据仓库、文件等多种类型的数据源，通过可视化界面对数据源迁移任务进行配置，提高数据迁移和集成的效率。 具体操作请参考迁移外部数据源数据至DLI。 图1 迁移数据至DLI
windowing TVF WHERE (rownum = 1 | rownum <=1 | rownum < 2) [AND conditions] 参数说明： ROW_NUMBER()：为每一行分配一个唯一且连续的序号，从1开始。 PARTITION BY window_start, window_end
Explorer能根据需要动态生成SDK代码功能，降低您使用SDK的难度，推荐使用。 您可以在API Explorer中具体API页面的“代码示例”页签查看对应编程语言类型的SDK代码。 如图1所示。 图1 获取SDK代码示例
SETS ((supplier_id, rating), (supplier_id), ()) ROLLUP ROLLUP 是一种特定通用类型 Grouping Sets 的简写。代表着指定表达式和所有前缀的列表，包括空列表。 SELECT supplier_id, rating
总”下的搜索框下，选择“产品类型 > 数据湖探索DLI”。在消费汇总中可以发现DLI计算资源使用量消费最多。 图2 费用汇总 单击“账单详情 > 自定义账单”，单击“维度设置”，选择“按使用量”。“统计周期”选择“明细”。在显示数据的标题行，“产品类型”选择“数据湖探索 DLI”
写需要授权的用户名或选择需要授权的项目，选择相应的权限。具体权限说明请参考表1。 图1 数据库用户授权 图2 数据库项目授权 表1 参数说明 参数 描述 授权对象 选择“用户授权”或“项目授权”。 用户名或项目名 选择“用户授权”时，输入数据库新增用户对应的IAM用户名称。 说明：
务。 图1 DLI云服务委托 DLI委托 在使用DLI前，为了确保正常使用DLI的功能，建议先进行DLI委托权限设置。 DLI默认提供以下类型的委托：dli_admin_agency、dli_management_agency、dli_data_clean_agency（名称固定
建议您对测试业务场景和生产业务场景分别创建弹性资源池，通过资源物理隔离的方式，保障资源管理的独立性和安全性。 DLI提供的弹性资源池规格如表1所示。 表1 弹性资源池规格 类型 规格 约束限制 适用场景 基础版 16-64CUs规格 不支持高可靠与高可用。 不支持设置队列属性和作业优先级。 不支持对接Notebook实例。
Key)或Token两种认证方式初始化客户端，具体操作请参考初始化DLI客户端 Python SDK列表 表1 Python SDK列表 类型 说明 队列相关 介绍查询所有队列的Python SDK使用说明。 资源相关 介绍上传资源包、查询所有资源包、查询制定资源包、删除资源包的Python
true）插入数据。 描述 使用CREATE TABLE创建一个具有指定列的、新的空表。使用CREATE TABLE AS创建带数据的表。 使用可选参数IF NOT EXISTS，如果表已经存在则不会报错。 WITH子句可用于在新创建的表或单列上设置属性，如表的存储位置（location）、是不是外表（external）等。
PROCTIME() 语句进行定义。 另一方面，由于事件时间列可能需要从现有的字段中获得，因此计算列可用于获得事件时间列。例如，原始字段的类型不是 TIMESTAMP(3) 或嵌套在 JSON 字符串中。 注意： 定义在一个数据源表（ source table ）上的计算列会在从数据源读取数据后被计算，它们可以在
mask_hash(string|char|varchar str) →varchar 描述：返回基于str的散列值。散列是一致的，可以用于跨表连接被屏蔽的值。对于非字符串类型，返回NULL。 select mask_hash('panda'); _col0
Access Key)或Token两种认证方式初始化客户端，具体操作请参考初始化DLI客户端 Java SDK列表 表1 Java SDK列表 类型 说明 OBS授权 介绍将OBS桶的操作权限授权给DLI的Java SDK使用说明。 队列相关 介绍创建队列、获取默认队列、查询所有队列、删除队列的Java
窗口表值函数（Windowing TVFs）。 在批模式下，窗口表值函数的时间属性字段必须是 TIMESTAMP 或 TIMESTAMP_LTZ 类型的。 -- tables must have time attribute, e.g. `bidtime` in this table Flink
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
