检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark SQL作业: 查看带有“driver”或者为“container_xxx_000001”的日志文件夹则为需要查看的Driver日志目录。 图2 带有driver的归档日志文件夹名示例 图3 container_xxx_000001归档日志文件夹示例 Spark Jar作业:
]table_name|DELTA.`obs://bucket_name/tbl_path`; 显示表详细信息: DESCRIBE DETAIL [database_name.]table_name|DELTA.`obs://bucket_name/tbl_path`; 所需权限
URI格式: GET /v1.0/{project_id}/databases/{database_name}?keyword=tb&with-detail=true 参数说明 表1 URI 参数 名称 是否必选 说明 project_id 是 项目编号,用于资源隔离。获取方式请参考获取项目ID。
cleaner.size.retained 当清理策略为KEEP_ARCHIVED_FILES_BY_SIZE时,该参数可以设置保留多少字节大小的归档文件,默认值5368709120字节(5G)。 hoodie.archive.file.cleaner.days.retained 当清理策略为
您可以在API Explorer中调试该接口。 URI URI格式: GET/v1.0/{project_id}/jobs/{job_id}/detail 参数说明 表1 URI 参数 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。
创建跨源成功但测试网络连通性失败怎么办? 问题描述 创建跨源并绑定新创建的DLI队列,测试跨源的网络连通性时失败,有如下报错信息: failed to connect to specified address 排查思路 以下排查思路根据原因的出现概率进行排序,建议您从高频率原因往
规格变更。 如果在“规格变更”页面提示“Status of queue xxx is assigning, which is not available”,表示需要等待队列资源分配完毕才可进行扩缩容。 扩容 当前队列规格不满足业务需要时,可以通过手动变更队列规格来扩容当前队列。
String 用户名,当“show_detail”为“false”时独有。 duration 否 Long 作业运行时长。 单位ms,“show_detail”为“false”时独有。 root_id 否 Long 父作业ID。“show_detail”为“false”时独有。 graph_editor_enabled
Spark作业编辑页面,选择自定义镜像 图3 Spark作业镜像授权操作 图4 在DLI Flink jar作业编辑页面,选择自定义镜像 在使用API时,在作业参数中指定image参数,即可使用自定义镜像运行作业。Spark作业请参考《创建批处理作业》,Flink jar作业请参考《创建Flink Jar作业》。 父主题:
作业所属用户标识。 “show_detail”为“true”时独有。 project_id 否 String 作业所属项目标识。 “show_detail”为“true”时独有。 sql_body 否 String Stream SQL语句。 “”“show_detail”为“false”时独有。
编辑器中查询该表新增的分区数据时却查询不到。 解决方案 手动添加分区数据后,需要刷新OBS表的元数据信息。具体操作如下: MSCK REPAIR TABLE table_name; 执行完上述命令后,再执行对应OBS分区表的数据查询即可。 父主题: DLI数据库和表类
delta_table0 RETAIN 168 HOURS; VACUUM delta_table0 RETAIN 48 HOURS DRY RUN; VACUUM delta.`obs://bucket_name0/db0/delta_table0` RETAIN 168 HOURS;
(select_statement) sql_containing_cte_name; 关键字 cte_name:公共表达式的名字,不允许重名。 select_statement:完整的SELECT语句。 sql_containing_cte_name:包含了刚刚定义的公共表达式的SQL语句
删除数据库:删除当前数据库。 创建表:在当前数据库创建表。 创建视图:在当前数据库创建视图。 将SQL语句解释为执行计划:执行explain语句。 创建角色:在当前数据库创建角色。 删除角色:删除当前数据库中的角色。 显示角色:显示当前用户的角色。 绑定角色:在当前数据库绑定角色。
关联队列,使用的是密码形式的跨源认证,报DLI.0999: PSQLException: The connection attempt failed。 原因分析 出现该问题可能原因如下: 安全组配置不正确 子网配置不正确 处理步骤 检查客户安全组是否放通,安全组放通规则如下所示。
custom:表示使用用户自定义的Spark镜像。 ai:表示使用DLI提供的AI镜像。 spark_version 否 String 作业使用spark组件的版本号,在“feature”为“basic”或“ai”时填写,若不填写,则使用默认的spark组件版本号2.3.2。 image 否 String 自
dn_6009_6010: null value in column "ctr" violates not-null constraint Detail: Failing row contains (400070309, 9.00, 25, null, 2020-09-22, 2020-09-23 04:30:01
order_id, detail.order_channel,detail.order_time,detail.pay_amount,detail.real_pay, detail.pay_time,detail.user_id,detail.user_name,detail.area_id
order_id, detail.order_channel,detail.order_time,detail.pay_amount,detail.real_pay, detail.pay_time,detail.user_id,detail.user_name,detail.area_id
getProperty("partition")); vaildProps(); } catch (Exception e) { LOGGER.info("load kafka conf failed"); e.printStackTrace();