检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
reporter.remote.report-all-metrics 否 false Boolean false 是否上报所有指标。默认为false，即只上报基础指标。 metrics.reporter.remote.pool-name 否 None String - 为指标加上当前作业所在的弹性资源池名称作为标签。
应该至少半小时调度一次。 Compaction作业配置的资源，vcore数至少要大于等于单个分区的桶数，vcore数与内存的比例应为1：4即1个vcore配4G内存。 父主题： Bucket调优示例
如果配置为true，在执行INSERT等幂等类型的操作时（例如insert into，load data、update），可能会导致数据一致性问题。即driver故障后作业重试，导致driver故障前已插入的数据被重复写入。 spark.sql.optimizer.dynamicPartitionPruning
个已有的文件路径作为输出目录，如果这个路径下已有同名文件，将会自动覆盖这个文件，即原有的作业结果会被新导出的作业结果文件所替代。 覆盖指定路径方式适用于在同一个路径下保存唯一的作业结果文件的场景，即不需要旧的作业结果的场景。 结果条数 否 指定导出的结果条数。 不填写数值或数值为“0”时，导出全部结果。
参数类型 说明 is_admin 否 Boolean 判断用户是否为管理员。示例值：true。 user_name 否 String 用户名称，即该用户在当前数据库上有权限。示例值：test。 privileges 否 Array of Strings 该用户在数据库上的权限。具体权限信息可以参考数据权限列表。示例值：
- map：map['key'] - array：array[index] - row：row.key array 的起始下标从 1 开始，即 array[1] 是 array 的第一个元素。 array 的元素必须同类型，row 的元素可以不同类型。 父主题： Flink SQL作业类
AKSK AK/SK认证就是使用AK/SK对请求进行签名，从而通过身份认证。 获取AK/SK DLI Endpoint地址 地区与终端节点，即云服务在不同Region有不同的访问域名。 获取EndPoint DLI所在的项目ID 项目编号，用于资源隔离。 获取项目ID DLI区域信息
ASC为升序，DESC为降序，默认为ASC。 CLUSTER BY 为分桶且排序，按照分桶字段先进行分桶，再在每个桶中依据该字段进行排序，即当DISTRIBUTE BY的字段与SORT BY的字段相同且排序为降序时，两者的作用与CLUSTER BY等效。 DISTRIBUTE BY
当解析字段缺失时，是跳过当前字段或行，还是抛出错误失败（默认为 false，即抛出错误失败）。 json.ignore-parse-errors 否 false Boolean 当解析异常时，是跳过当前字段或行，还是抛出错误失败（默认为 false，即抛出错误失败）。如果忽略字段的解析异常，则会将该字段值设置为null。
可选参数，用于配置主机的IP与域名的映射关系，在作业配置时只需使用配置的域名即可访问对应的主机。 例如：访问MRS的HBase集群时需要配置Zookeeper实例的主机名（即域名）与对应的IP地址。每行填写一条记录，填写格式为：“IP 主机名/域名”。 示例： 192.168.0.22 node-masterxxx1
参数类型 说明 is_admin 否 Boolean 判断用户是否为管理员。示例值：false。 user_name 否 String 用户名称，即该用户在当前队列上有权限。示例值：user2。 privileges 否 Array of Strings 该用户在队列上的权限。示例值：["SUBMIT_JOB"]。
LOCATION，执行引擎选择Spark，配置队列，数据目录，数据库，随后点击右上角的执行按钮，提交作业。 注意：由DLI提供元数据服务时，暂不支持创建Hudi内表，即必须配置 LOCATION 指向 OBS 路径。 CREATE TABLE hudi_table (id int, comb long,
类型 选择CSS。 用户名 安全集群的登录用户名。 用户密码 安全集群的登录密码。 Certificate路径 上传“安全证书”的OBS路径。即步骤2的OBS桶地址。 图1 创建认证信息-CSS 访问CSS的表。 跨源认证创建成功后，在创建访问CSS的表时只需关联跨源认证即可安全访问数据源。
假设当前系统时间为2023-08-16 10:23:16，返回1692152596。 select unix_timestamp(); 返回1692115200（即2023-08-16 00:00:00）。 select unix_timestamp("2023-08-16 10:56:45", "yyyy-MM-dd");
String 新增数据库的描述信息。 enterprise_project_id 否 String 企业项目ID，“0”表示default，即默认的企业项目。关于如何设置企业项目请参考《企业管理用户指南》。 说明： 开通了企业管理服务的用户可设置该参数绑定指定的项目。 tags 否
如果作业状态为“规格变更中”，表示弹性资源池规格正在扩容中。等待作业状态变为“已成功”表示当前变更操作完成。 弹性资源池缩容 系统默认最小CU值为16CU，即当弹性资源池的规格为16CU时，不能进行手动缩容。 在DLI管理控制台左侧，选择“资源管理 > 弹性资源池”。 选择需要缩容的弹性资源池，单
授权对象，和赋权API中的“object”对应。 is_admin 否 Boolean 判断用户是否为管理员。 user_name 否 String 用户名称，即该用户在当前数据库上有权限。 privileges 否 Array of Strings 该用户在数据库上的权限。 请求示例 无 响应示例 {
增强型跨源连接ID：在DLI管理控制台的“增强型跨源连接”列表页获取“连接ID”即为增强型跨源连接ID。 数据库ID：添加标签时候传入的数据库ID即数据库名。您可以在DLI控制台的“库表管理”页面查看数据库名称。 Flink作业ID：在DLI管理控制台的“Flink作业”列表页面单击Fl
系统不保证完全缩容到设定的目标大小。如果当前队列正在使用或者队列业务量比较大，会出现缩容不成功，或者缩容一部分规格的情况。 系统默认最小CU值为16CU。即当队列规格为16CUs时，不能进行手动缩容。 操作步骤如下： 在DLI管理控制台左侧，选择“资源管理 > 队列管理”。 选择需要缩容的队列，
增强型跨源连接ID：在DLI管理控制台的“增强型跨源连接”列表页获取“连接ID”即为增强型跨源连接ID。 数据库ID：添加标签时候传入的数据库ID即数据库名。您可以在DLI控制台的“库表管理”页面查看数据库名称。 Flink作业ID：在DLI管理控制台的“Flink作业”列表页面单击Fl
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
