检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
URI URI格式： GET/v1.0/{project_id}/jobs/{job_id}/detail 参数说明 表1 URI 参数 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号，用于资源隔离。获取方式请参考获取项目ID。
建议使用网段： 10.0.0.0~10.255.0.0/8~24 172.16.0.0~172.31.0.0/12~24 192.168.0.0~192.168.0.0/16~24 “队列特性”：运行AI相关SQL作业时选择“AI增强型”队列，运行其他作业时选择“基础型”队列。
获取账号ID 在调用接口的时候，部分URL中需要填入账号ID（domain-id），所以需要先在管理控制台上获取到账号ID。账号ID获取步骤如下： 登录管理控制台。 鼠标指向界面右上角的登录用户名，在下拉列表中单击“我的凭证”。 在“API凭证”页面查看账号ID。
在“入方向规则”页签中添加放通队列网段的规则。如图2所示。 详细的入方向规则参数说明请参考表3。 图2 添加入方向规则 表3 入方向规则参数说明 参数 说明 取值样例 优先级 安全组规则优先级。 优先级可选范围为1-100，默认值为1，即最高优先级。
具体操作如下： MSCK REPAIR TABLE table_name; 执行完上述命令后，再执行对应OBS分区表的数据查询即可。 父主题： DLI数据库和表类
语法格式 1 WITH cte_name AS (select_statement) sql_containing_cte_name; 关键字 cte_name：公共表达式的名字，不允许重名。 select_statement：完整的SELECT语句。
Spark SQL作业： 查看带有“driver”或者为“container_xxx_000001”的日志文件夹则为需要查看的Driver日志目录。
在“入方向规则”页签中添加放通队列网段的规则。如图2所示。 详细的入方向规则参数说明请参考表3。 图2 添加入方向规则 表3 入方向规则参数说明 参数 说明 取值样例 优先级 安全组规则优先级。 优先级可选范围为1-100，默认值为1，即最高优先级。
示例 VACUUM delta_table0 RETAIN 168 HOURS; VACUUM delta_table0 RETAIN 48 HOURS DRY RUN; VACUUM delta.
表示用户作业使用的Spark镜像类型，具体说明如下： 基础型：DLI提供的基础镜像，运行非AI相关作业时选择“基础型”。 自定义镜像：自定义的Spark镜像，需要选择“容器镜像服务”中设置的镜像名称及版本。 依赖jar包（--jars） 运行spark作业依赖的jars。
query database.db1的EXPLAIN权限 query需要其相应的权限。
如果在“规格变更”页面提示“Status of queue xxx is assigning, which is not available”，表示需要等待队列资源分配完毕才可进行扩缩容。 扩容 当前队列规格不满足业务需要时，可以通过手动变更队列规格来扩容当前队列。
表2 详单数据 字段名称 字段类型 字段说明 driverID string 驾驶员ID carNumber string 车牌号 latitude double 纬度 longitude double 经度 speed int 速度 direction int 方向 siteName
]: 指定排序列，不同列的排序方向可以不一样。 WHERE rownum <= N: Flink 需要 rownum <= N 才能识别一个查询是否为 Top-N 查询。 其中， N 代表最大或最小的 N 条记录会被保留。
]: 指定排序列，不同列的排序方向可以不一样。 WHERE rownum <= N: Flink 需要 rownum <= N 才能识别一个查询是否为 Top-N 查询。 其中， N 代表最大或最小的 N 条记录会被保留。
]: 指定排序列，不同列的排序方向可以不一样。 WHERE rownum <= N: Flink 需要 rownum <= N 才能识别一个查询是否为 Top-N 查询。 其中， N 代表最大或最小的 N 条记录会被保留。
单击“连接信息”中的安全组名称，在“入方向规则”中添加放通队列网段的规则。
op_type 命令运行模式，可选，默认值为dry_run，取值：dry_run、repair、undo、query。 dry_run：显示需要清理的无效数据文件。 repair：显示并清理无效的数据文件。
如何执行Clean 写完数据后clean Spark SQL（设置如下参数，随后执行任意写入SQL时，在满足条件时触发） hoodie.clean.automatic=true hoodie.cleaner.commits.retained=10 // 默认值为10，根据业务场景指定
column=detail:pay_amount, timestamp=2021-12-16T21:30:37.954, value=@Y\x00\x00\x00\x00\x00\x00 202103241000000001 column=detail:pay_time
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
