检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
getFlinkJobDetail(DLIClient client) throws DLIException { Long jobId = 203L;//作业ID GetFlinkJobDetailResponse result = client.getFlinkJobDetail(jobId);
Q:作业运行失败,运行日志中有如下报错信息,应该怎么解决? java.io.IOException: unable to open JDBC writer ... Caused by: org.postgresql.util.PSQLException: The connection attempt failed.
result_expression row_format select_statement separator serde_name sql_containing_cte_name sub_query table_comment table_name table_properties table_reference
命令,以删除该表中不再引用且在保留期阈值之前创建的数据文件。 VACUUM delta_table0; VACUUM delta_table0 RETAIN 168 HOURS;--单位只支持HOURS 优化Delta表 为了提高查询速度,Delta Lake支持优化数据在存储中的布局,这会将许多较小的文件压缩为较大的文件。
DROPMALFORMED:选择DROPMALFORMED模式时,如果某一列数据类型与目标表列数据类型不匹配,则不导入该行数据。 FAILFAST:选择FAILFAST模式时,如果某一列类型不匹配,则会抛出异常,导入失败。 模式设置可通过在OPTIONS中添加 OPTIONS('MOD
maxwell-json.map-null-key.mode 否 'FAIL' String 指定序列化map数据的null键时的处理模式。当前支持的值为“FAIL”、“DROP”和“LITERAL”: 'FAIL'将在遇到带有null键的map时抛出异常。 'DROP'将删除map数据的null键条目。
Q:作业运行失败,运行日志中有如下报错信息,应该怎么解决? java.io.IOException: unable to open JDBC writer ... Caused by: org.postgresql.util.PSQLException: The connection attempt failed.
OPTIONS (PATH 'obs://dli-demo/detail-records/'); 使用该案例时,需将上述SQL语句中的文件路径修改为实际存放详单数据的OBS路径。 单击“执行”,创建详单表detail_records,请参见图3。 图3 创建详单表 执行以下SQL
需要配置为 snapshot(snapshot同时也是默认值,因此可以缺省)。 object HudiDemoScala { def main(args: Array[String]): Unit = { val spark = SparkSession .builder()
说,要保证数据被更新过并且做过Compaction才能有旧版本的文件。 Hudi表满足hoodie.cleaner.commits.retained设置的阈值。如果是Flink写hudi,则至少提交的checkpoint要超过这个阈值;如果是批写Hudi,则批写次数要超过这个阈值。
调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码。 表5 错误码 错误码 错误信息 DLI.0999 Queue plans create failed. The plan plan_A can not generate a scale plan, please check all time
sasl.mechanism' = 'GSSAPI或者PLAIN'、'properties.sasl.jaas.config' = 'org.apache.kafka.common.security.plain.PlainLoginModule required username=\"xxx\"
sasl.mechanism' = 'GSSAPI或者PLAIN'、'properties.sasl.jaas.config' = 'org.apache.kafka.common.security.plain.PlainLoginModule required username=\"xxx\"
atalog.default_database.sink_table], fields=[name, num])\",\n \"chain_operators_id\" : [ \"0a448493b4782967b150582570326227\" ],\n \"inputs\"
String 当前登录的Project。 g:DomainName 全局级 String 当前登录的Domain。 g:ResourceTag 全局级 StringEquals 资源标签键值。 Resource 格式为:服务名:region:domainId:资源类型:资源路径, 通配符号*
因此个数变少了。 Q:若Flink作业的日志中有如下报错信息,应该怎么解决? org.apache.flink.table.api.ValidationException: SQL validation failed. From line 1, column 40 to line
表的delete Y N 表的drop Y N 表的desc/describe TABLENAME Y Y 表的comment Y N 表的explain Y Y 表的show columns Y Y 表的select column Y Y 视图的create view Y N 视图的create
OBSIOException错误 使用CDM迁移数据到DLI,迁移作业日志上报UQUERY_CONNECTOR_0001:Invoke DLI service api failed错误 SQL作业访问报错:File not Found SQL作业访问报错:DLI.0003: AccessControlException
loaded TaskManager自JVM启动以来卸载的类的总数 flink_taskmanager_Status_Network_AvailableMemorySegments TaskManager未使用的内存segments的个数 flink_taskmanager_St
tor启动以后的最新变更。 server-time-zone 否 无 String 数据库在使用的会话时区。 例如:Asia/Shanghai。 pwd_auth_name 否 无 String DLI侧创建的Password类型的跨源认证名称。 使用跨源认证则无需在作业中配置置账号和密码。