检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
al_temp_view"); // 注册为spark临时表 // 结果必须根据startTime和endTime进行过滤，如果没有指定endTime，则只需要根据startTime进行过滤 spark.sql("select * from hudi_incremental_temp_view
'obs://dli-test-obs01/MyUDAF-1.0-SNAPSHOT.jar'; 重启原有SQL队列，使得创建的Function生效。 登录数据湖探索管理控制台，选择“资源管理”》“队列管理”，在对应“SQL队列”类型作业的“操作”列，单击“更多”》“重启”。 在“重启队列”界面，选择“确定”完成队列重启
'obs://dli-test-obs01/MyUDTF-1.0-SNAPSHOT.jar'; 重启原有SQL队列，使得创建的UDTF函数生效。 登录数据湖探索管理控制台，选择“资源管理 > 队列管理”，在对应“SQL队列”类型作业的“操作”列，单击“重启”。 在“重启队列”界面，选择“确定”完成队列重启。
编辑作业 用户可以对已经创建的作业进行编辑，如修改SQL语句、作业名称和描述、作业配置信息等。 在DLI管理控制台的左侧导航栏中，单击“作业管理”>“Flink作业”，进入Flink作业管理页面。 在需要编辑作业对应的“操作”列中，单击“编辑”，进入作业编辑页面。 根据实际需求编辑作业。
如果JDBC结果表定义了主键，则连接器以upsert模式运行，否则，连接器以Append模式运行。 upsert模式：Flink会根据主键插入新行或更新现有行，Flink可以通过这种方式保证幂等性。为保证输出结果符合预期，建议为表定义主键。 Append模式：Flink 会将所有记录解释为
Hudi数据表管理操作规范 Hudi数据表Compaction规范 Hudi数据表Clean规范 Hudi数据表Archive规范 父主题： DLI Hudi开发规范
使用gsjdbc4驱动连接时，加载的数据库驱动类为：org.postgresql.Driver。该驱动为默认，创建表时可以不填该驱动参数。 表car_info没有在schema下时。 1 2 3 4 5 6 7 8 9 10 11 12 create table dwsSource(
Caused by: java.net.SocketTimeoutException: connect timed out A：应考虑是跨源没有绑定，或者跨源没有绑定成功。 参考增强型跨源连接章节，重新配置跨源。参考DLI跨源连接DWS失败进行问题排查。 Q：如果该DWS表在某schema下，则应该如何配置？
怎样管理在DLI上运行的作业 管理大量的DLI作业时您可以采用以下方案： 作业分组： 将几万个作业根据不同的类型分组，不同类型的作业通过不同的队列运行。 创建IAM子用户 或者创建IAM子用户，将不同类型的作业通过不同的用户执行。 具体请参考《数据湖探索用户指南》。 此外DLI还
在DLI控制台管理表资源 在DLI控制台配置表权限 在DLI控制台删除表 在DLI控制台修改表所有者 将OBS数据导入至DLI 导出DLI表数据至OBS中 在DLI控制台预览表数据 父主题： 创建数据库和表
如果整个作业刚开始运行或者在提交中，则进度展示为0；如果作业运行结束，则进度展示为1。此时progress表示整个作业的运行进度，因为没有子作业在运行，sub_job_id不展示。 如果有子作业在运行中，则展示该子作业的运行进度，progress的计算方法为：子作业已经完成的
"connection_id": "2a620c33-5609-40c9-affd-2b6453071b0f" } （可选）如果创建增强型跨源连接时，没有绑定队列，可使用绑定队列接口进行绑定。 确认增强型跨源连接创建成功。 接口相关信息 URI格式：GET /v2.0/{project_id
创建消息通知主题后，只有在订阅队列上创建的Spark作业失败时才会收到消息通知。 图2 创建主题成功 单击图2中“主题管理”，跳转至消息通知服务“主题管理”页面。 图3 主题管理 在对应主题的“操作”列中，单击“添加订阅”，选择“协议”，确定订阅方式。 如果选择“短信”协议，需要在“订阅终端”中填写接收确认短信的手机号码。
登录SWR管理控制台。 选择左侧导航栏的“总览”，单击页面右上角的“登录指令”，在弹出的页面中单击复制登录指令。 在安装容器引擎的虚拟机中执行上一步复制的登录指令。 创建容器镜像组织。如果已创建组织则本步骤可以忽略。 登录SWR管理控制台。 选择左侧导航栏的“组织管理”，单击页面右上角的“创建组织”。
Caused by: java.net.SocketTimeoutException: connect timed out A：应考虑是跨源没有绑定，或者跨源没有绑定成功。 参考增强型跨源连接章节，重新配置跨源。参考DLI跨源连接DWS失败进行问题排查。 Q：如果该DWS表在某schema下，则应该如何配置？
数据。 查看表的创建时间： 查看表是否被他人删除重建，删除表后重建的相同表名并不视作同一张表，不会继承删除表的权限。 父主题： DLI权限管理类
参考设置wal_level参数为logical。 PostgreSQL参数修改完成后，需要重启下RDS PostgreSQL实例，使得参数生效。 Q：Flink作业运行失败，作业运行日志中如下报错信息，应该怎么解决？ java.lang.IllegalStateException:
密钥管理复杂等问题。本节操作介绍使用数据加密服务DEW存储数据源的认证信息的操作步骤。 了解数据加密服务。 在DEW创建通用凭据 本例以配置RDS实例访问凭据为例，介绍在DEW保存凭据，并在DLI作业中的配置示例。 登录DEW管理控制台 选择“凭据管理”，进入“凭据管理”页面。 单击“创建凭据”，配置凭据基本信息
“预览页面”将显示对应表的前10条数据。 预览数据步骤 预览数据的入口有两个，分别在“数据管理”和“SQL编辑器”页面。 在“数据管理”页面预览数据。 在管理控制台左侧，单击“数据管理”>“库表管理”。 单击需导出数据对应数据库名称，进入该数据库“表管理”页面。 单击目标表“操作”栏中的“更多”，选择“表属性”。
行修改。 登录DLI管理控制台， 在左侧导航栏，选择“资源管理 > 弹性资源池”。 在弹性资源池资源列表中，选择待修改企业项目的资源，并单击操作列下“更多 > 分配至项目”。 在“分配至项目”页面，选择企业项目。 您还可以单击“新建企业项目”，前往企业项目管理控制台，新建企业项目和查看已有的企业项目。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
