检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
kind 是 String 分组资源文件的类型。 jar：用户jar文件。 pyFile：用户python文件。 file：用户文件。 modelFile：用户AI模型文件。 说明： 上传的同一组资源包含不同文件类型时，均选择“file”类型作为这次上传文件的类型。 group 是 String
针对不同用户，可以通过权限设置分配不同的程序包组或程序包，不同用户之间的作业效率互不影响，保障作业性能。 管理员用户、程序包组拥有程序包组的所有权限。不需要进行权限设置，且其他用户无法修改其程序包组权限。 管理员用户、程序包的所有者拥有程序包的所有权限。不需要进行权限设置，且其他用户无法修改其程序包权限。
创建Redis表作为维表用于与输入流连接，从而生成相应的宽表。 前提条件 要建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则，请参见《虚拟私有云用户指南》中“安全组”章节。 Flink跨源开发场景中直接
该场景作业需要运行在DLI的独享队列上，因此要与DWS集群建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则，请参见《虚拟私有云用户指南》中“安全组”章节。 语法格式 1 2 3
管理单元 设置管理单元的CU数，支持设置1~4个CU，默认值为1个CU。 并行数 作业中每个算子的最大并行数。 说明： 并行数不能大于计算单元（CU数量-管理单元CU数量）的4倍。 并行数最好大于用户作业里设置的并发数，否则有可能提交失败。 TaskManager配置 用于设置TaskManager资源参数。
参考如何使用凭据管理服务替换硬编码的数据库账号密码查询凭据。 约束限制 仅支持Spark3.3.1版本（Spark通用队列场景）使用委托授权访问临时凭证： 在创建作业时，请配置作业使用Spark3.3.1版本 已在作业中配置允许DLI访问DEW的委托信息。spark.dli.job
目前仅支持查看“QUERY”类型作业的执行结果。 row_count 否 Integer 作业结果总条数。 input_size 否 long 作业执行过程中扫描的数据量。 schema 否 Array of Map 作业结果列名称和类型。 rows 否 Array of Objects 作业结果集。 请求示例
该场景作业需要运行在DLI的独享队列上，因此要与HBase建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则，请参见《虚拟私有云用户指南》中“安全组”章节。 若使用MRS HBase，请
- interval '3' year - interval '5' month 2-7 时区转换 运算符：AT TIME ZONE，用于设置一个时间戳的时区。 SELECT timestamp '2012-10-31 01:00 UTC';-- 2012-10-31 01:00:00
print(status) 在提交导入作业前，可选择通过data_type参数设置导入数据的类型，例如将data_type设置为csv。csv数据的具体格式通可过options参数设置，例如：csv的分隔符，转义符等。 当OBS桶目录下有文件夹和文件同名时，加载数据会优先
[403] 该报错信息可能是由于OBS桶被设置为了DLI日志桶，而日志桶不能用于DLI的其他业务功能。 您可以按以下操作步骤进行查询： 检查该OBS桶是否被设置为了DLI日志桶。 在DLI管理控制台的“全局配置 > 作业配置” 页查看对应OBS桶是否被设置为了DLI日志桶，日志桶不能用于DLI的其他业务功能中。
"result": true } 状态码 状态码如表4所示。 表4 状态码 状态码 描述 200 操作成功。 400 请求错误。 500 内部服务器错误。 错误码 调用接口出错后，将不会返回上述结果，而是返回错误码和错误信息，更多介绍请参见错误码。 表5 错误码 错误码 错误信息 DLI
不填写，则使用默认的spark组件版本号2.3.2。 image 否 String 自定义镜像。格式为：组织名/镜像名:镜像版本。 当用户设置“feature”为“custom”时，该参数生效。用户可通过与“feature”参数配合使用，指定作业运行使用自定义的Spark镜像。关
增强型跨源连接ID：在DLI管理控制台的“增强型跨源连接”列表页获取“连接ID”即为增强型跨源连接ID。 数据库ID：添加标签时候传入的数据库ID即数据库名。您可以在DLI控制台的“库表管理”页面查看数据库名称。 Flink作业ID：在DLI管理控制台的“Flink作业”列表页面单击Flink作
除已有文件。 with_column_header 否 Boolean 导出csv和json格式数据时，是否导出列名。 设置为“true”，表示导出列名。 设置为“false”，表示不导出列名。 若为空，默认为“false”。 limit_num 否 Integer 需要导出的数据数量，默认值为“0”，表示全部导出。
100，得出100条数据的大小，再除以100得到单条平均大小） 单表数据量大小(G) = 单表数据总条数*单条数据大小/1024/1024 非分区表桶数 = 单表数据量大小(G)/2G*2，再向上取整，如果小于4就设置桶数为4 分区表 最近一个月最大数据量分区数据总条数 = 入湖前咨询产品线
eckPoint间隔为分钟级。 checkpoint容忍失败次数设置，execution.checkpointing.tolerable-failed-checkpoints。 Flink On Hudi作业建议设置checkpoint容忍次数多次，如100。 若需要使用Hive风格分区，需同时配置如下参数：
该场景作业需要运行在DLI的独享队列上，因此要与DWS集群建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则，请参见《虚拟私有云用户指南》中“安全组”章节。 Flink跨源开发场景中直接
除已有文件。 with_column_header 否 Boolean 导出csv和json格式数据时，是否导出列名。 设置为“true”，表示导出列名。 设置为“false”，表示不导出列名。 若为空，默认为“false”。 响应消息 表3 响应参数 参数名称 是否必选 参数类型
添加Python包后，找不到指定的Python环境 添加Python3包后，找不到指定的Python环境。 可以通过在conf文件中，设置spark.yarn.appMasterEnv.PYSPARK_PYTHON=python3，指定计算集群环境为Python3环境。 目前，新
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
