检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据格式 支持以下数据格式。 Parquet：DLI支持读取不压缩、snappy压缩、gzip压缩的parquet数据。 CSV：DLI支持读取不压缩、gzip压缩的csv数据。 ORC：DLI支持读取不压缩、snappy压缩的orc数据。 JSON：DLI支持读取不压缩、gzip压缩的json数据。
打印内容 条件1 条件2 标识符:任务 ID> 输出数据 需要提供前缀打印标识符，即创建Print表时在with参数中指定print-identifier。 parallelism > 1 标识符> 输出数据 需要提供前缀打印标识符，即创建Print表时在with参数中指定print-identifier。
对于Hudi的MOR类型和COW类型的表，都需要开启Archive。 Hudi表在写入数据时会自动判断是否需要执行Archive，因为Archive的开关默认打开(hoodie.archive.automatic默认为true)。 Archive操作并不是每次写数据时都会触发，至少需要满足以下两个条件： Hudi表满足hoodie
API语法说明 设置写入方式 Hudi通过hoodie.datasource.write.operation参数设置写入模式。 insert： 该操作不需要通过索引去查询具体更新的文件分区，因此它的速度比upsert快。当不包含更新数据时建议使用该操作，如果存在更新数据使用该操作会出现重复数据。
问题现象 手动在OBS表的分区目录下上传了分区数据，但是在SQL编辑器中查询该表新增的分区数据时却查询不到。 解决方案 手动添加分区数据后，需要刷新OBS表的元数据信息。具体操作如下： MSCK REPAIR TABLE table_name; 执行完上述命令后，再执行对应OBS分区表的数据查询即可。
100; 查询下压 通过hbase进行数据过滤，即HBase Client将过滤条件传给HBase服务端进行处理，HBase服务端只返回用户需要的数据，提高了Spark SQL查询的速度。对于HBase不支持的过滤条件，例如组合Rowkey的查询，直接由Spark SQL进行。 支持查询下压的场景
保存到OBS。 勾选“保存作业日志”参数后，需配置“OBS桶”参数，选择OBS桶用于保存用户作业日志信息。如果选择的OBS桶是未授权状态，需要单击“OBS授权”。 日志信息的保存路径为：“桶名/jobs/logs/作业id开头的目录”。其中，“桶名”可以自定义。“/jobs/logs/作业id开头的目录”为固定格式。
Driver日志：查看运行作业的日志。 重新执行作业 在“Spark作业”页面，单击对应作业“操作”列中的“编辑”，跳转至“Spark作业编辑”页面，可根据需要修改参数，执行作业。 查找作业 在“Spark作业”页面，选择“状态”或“队列”。系统将根据设置的过滤条件，在作业列表显示符合对应条件的作业。
extensions", "io.delta.sql.DeltaSparkSessionExtension") .appName("DeltaDemo") .getOrCreate(); String sql_create =
c_name>-key'作为默认主题名称，如果此格式用作键或值的格式。但是对于其他连接器（例如'filesystem'），在用作sink时需要使用主题选项。 avro-confluent.url 否 无 String 用于获取/注册架构的Confluent Schema Registry的URL。
0" 200 5316 "https://domain.com/?p=1" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.119 Safari/537.36"
新创建的自定义函数F2立即生效 无影响。 如果创建自定义函数携带OR REPLACE，表示需要对已有的函数内容进行功能替换并实时生效。 该功能开启当前需要提交工单开通白名单。 如果要在所有SQL队列上立即生效，需要分别选择SQL队列执行一遍：CREATE OR REPLACE xxx FUNCTION
API ，您需要确认已在DLI控制台开通当前服务并完成服务授权。 Java SDK 支持 Java JDK 1.8 及其以上版本。关于Java开发环境的配置请参考Java SDK环境配置。 关于Java SDK的获取与安装请参考SDK的获取与安装。 使用SDK工具访问DLI，需要用户初
支持查看“QUERY”类型作业的执行结果。 当前接口已废弃，不推荐使用。 该API只能查看前1000条的结果记录，若要查看全部的结果记录，需要先导出查询结果再进行查看，详细请参见导出查询结果。 URI URI格式： GET/v1.0/{project_id}/queues/{qu
BY里，每个分组只输出一条记录，包括以下几种： 分组函数 在流处理表中的 SQL 查询中，分组窗口函数的 time_attr 参数必须引用一个合法的时间属性，且该属性需要指定行的处理时间或事件时间。 对于批处理的 SQL 查询，分组窗口函数的 time_attr 参数必须是一个 TIMESTAMP 类型的属性。
查看该作业执行的结果。目前仅支持查看“QUERY”类型作业的执行结果。 该API只能查看前1000条的结果记录，若要查看全部的结果记录，需要先导出查询结果再进行查看，详细请参见导出查询结果。 当前接口已废弃，不推荐使用。 URI URI格式： GET/v1.0/{project_id}/jobs/{job_id}
对于Hive表，我们可以将其作为有界流读出。在这种情况下，Hive表只能在查询时跟踪其最新版本。最新版本的表保留了Hive表的所有数据。 注意事项 每个连接子任务都需要保留自己的Hive表缓存。请确保Hive表可以放入TM任务槽的内存中。 建议为streaming-source.monitor-interval（最新分区作为临时表）或
initcap initcap函数用于将文本字符串转换成首字母大写其余字母小写的形式。 命令格式 initcap(string A) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 A 是 STRING 待转换的文本字符串。 返回值说明 返回一个STRING类型字符串，
hex hex函数用于将整数或字符转换为十六进制格式。 命令格式 hex(BIGINT a) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 a 是 DOUBLE、BIGINT、DECIMAL、STRING类型。 参数a的格式包括浮点数格式、整数格式、字符串格式。 参数
select_statement 限制 如果数据表中只有一个字段，且字段类型为row、struct，那么插入数据时需要用row对类型进行包裹。 -- 单字段表插入复杂类型需要用row()包裹 CREATE TABLE test_row (id row(c1 int, c2 string));
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
