检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
确保已创建kafka集群。 该场景作业需要运行在DLI的独享队列上，因此要与Kafka集群建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则，请参见《虚拟私有云用户指南》中“安全组”章节。
对于每个作业都允许设置优先级，其取值为1-10，数值越大表示优先级越高。优先满足高优先级作业的计算资源，即如果高优先级作业计算资源不足，则会减少低优先级作业的计算资源 SQL队列上运行的作业优先级默认为3。 调整作业优先级需要停止作业后编辑，并重新提交运行才能生效。 设置SQL作业优先级 在“ 设置 > 参数配置”中配置如下参数，其中x为优先级取值。
查询模板列表 功能介绍 该API查询作业模板列表。当前只支持查询用户自定义模板。 调试 您可以在API Explorer中调试该接口。 URI URI格式 GET /v1.0/{project_id}/streaming/job-templates 参数说明 表1 URI参数说明
队列引擎版本升级后，在创建表时，提示权限不足怎么办？ 问题描述 队列版本从Spark 2.x版本切换至Spark 3.3.x版本时，或切换使用HetuEngine后，如果已经赋予IAM用户的建表权限，但是在创建表时候仍然提示权限不足。 根因分析 DLI队列的引擎版本不同，校验的权限范围不同：
高速队列等场景，提供字符串、哈希、列表、队列、集合结构直接存取，基于内存，可持久化。有关Redis的详细信息，请访问Redis官方网站https://redis.io/。 前提条件 DLI要建立与Redis的增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强
典型场景示例：迁移Hive数据至DLI 典型场景示例：迁移Kafka数据至DLI 典型场景示例：迁移Elasticsearch数据至DLI 典型场景示例：迁移RDS数据至DLI 典型场景示例：迁移DWS数据至DLI 父主题： 数据迁移与数据传输
名1:长度,属性名2:长度。 Cols 通过逗号分隔的DLI表字段与HBase表的列之间的对应关系。其中，冒号前面放置DLI表字段，冒号后面放置HBase表信息，用‘.’分隔HBase表的列族与列名。 注意事项 若所要创建的表已经存在将报错，可以通过添加IF NOT EXISTS参数跳过该错误。
参数说明 参数 是否必选 说明 数据格式 是 选择导出结果的数据格式，当前支持json和csv格式。 队列 是 选择执行导出作业的队列。SQL作业只能在队列类型为“SQL队列”下执行。 压缩格式 否 导出查询结果数据的压缩方式，选择如下压缩方式。 none bzip2 deflate
在创建ImportJob对象的时候分区信息PartitionSpec也可以直接传入分区字符串。 partitionSpec如果导入时指定部分列为分区列，而导入的数据只包含了指定的分区信息，则数据导入后的未指定的分区列字段会存在null值等异常值。 示例中isOverWrite表示是否是覆盖写，为true表示覆盖写，为
DLI各Spark版本对V1、V2表兼容列表 表类型 Spark2.3 SQL队列 Spark2.3 通用队列 Spark2.4 SQL队列 Spark2.4 通用队列 Spark3.1 SQL队列 Spark3.1 通用队列 Spark3.3 SQL队列 Spark3.3 通用队列 V1表 √ √ √
'[file_versions_retained]'); 参数描述 表1 参数描述 参数 描述 是否必填 table 需要查询表的表名，支持database.tablename格式 是 clean_policy 清理老版本数据文件的策略，默认KEEP_LATEST_COMMITS 否 retain_commits
该能力用于支持SparkSql对Hudi表的列进行Alter变更，使用该能力前必须开启Schema演进。 Schema演进支持的范围 Schema演进支持范围： 支持列（包括嵌套列）相关的增、删、改、位置调整等操作。 不支持对分区列做演进。 不支持对Array类型的嵌套列进行增、删、列操作。 ALTER COLUMN
进行预估。 DLI 在创建SQL作业前需购买队列，使用DLI的队列资源时，按照队列CU时进行计费。 如购买按需计费的队列，在使用队列资源时，按照队列CU时进行计费。 以小时为单位进行结算。不足一小时按一小时计费，小时数按整点计算。队列CU时按需计费的计算费用=单价*CU数*小时数。
DLI资源配额类 什么是用户配额？ 怎样查看我的配额 如何申请扩大配额
path=>'[path]', limit=>[limit]); 参数描述 表1 参数描述 参数 描述 是否必填 table 需要查询的表的表名，支持database.tablename格式 table，path须选填其中之一 path 需要查询的表的路径 table，path须选填其中之一 predicate
使用模板提交SQL作业 执行模板操作步骤如下： 在管理控制台左侧，单击“作业模板”>“SQL模板”。 在“SQL模板”页面，勾选相应的模板，单击“操作”列的“执行”，将跳转至“SQL编辑器”页面，并在SQL作业编辑窗口中自动输入对应的SQL语句。 在SQL作业编辑窗口右上方，单击“执行”运行S
pyspark样例代码 开发说明 redis只支持增强型跨源。只能使用包年包月队列。 前提条件 在DLI管理控制台上已完成创建增强跨源连接，并绑定包年包月队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置
WITH LOCAL TIME ZONE，INTERVAL，ARRAY，MULTISET，MAP，ROW 在SQL语法中这些类型用于定义表中列的数据类型。 父主题： SQL语法约束与定义
WITH LOCAL TIME ZONE，INTERVAL，ARRAY，MULTISET，MAP，ROW 在SQL语法中这些类型用于定义表中列的数据类型。 父主题： SQL语法约束与定义
或任务过多导致的。 解决方案： 设置并发数：通过设置合适的并发数，可以启动多任务并行运行，从而提高作业的处理能力。 例如访问DWS大批量数据库数据时设置并发数，启动多任务的方式运行，避免作业运行超时。 具体并发设置可以参考对接DWS样例代码中的partitionColumn和nu
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
