检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图1 修改程序包所有者 如果该程序包没有进行过分组设置,则可以参考下图,直接修改该程序包的所有者。 图2 程序包管理-修改程序包所有者 表1 参数说明 参数名称 描述 分组名称 如果创建程序包时选择了分组,显示所在的分组名称。 如果创建程序包时没有选择分组,则不显示该参数。 名称 程序包名称。
Caused by: java.net.SocketTimeoutException: connect timed out A:应考虑是跨源没有绑定,或者跨源没有绑定成功。 参考增强型跨源连接章节,重新配置跨源。参考DLI跨源连接DWS失败进行问题排查。 Q:如果该DWS表在某schema下,则应该如何配置?
Caused by: java.net.SocketTimeoutException: connect timed out A:应考虑是跨源没有绑定,或者跨源没有绑定成功。 参考增强型跨源连接章节,重新配置跨源。参考DLI跨源连接DWS失败进行问题排查。 Q:如果该DWS表在某schema下,则应该如何配置?
选择导入前是否清空目的表的数据。当前示例选择为“否”。 如果设置为是,任务启动前会清除目标表中数据。 详细的参数配置可以参考:CDM配置DLI目的端参数。 单击“下一步”,进入到字段映射界面,CDM会自动匹配源和目的字段。 如果字段映射顺序不匹配,可通过拖拽字段调整。 如果选择在
续消费 // 取值有: LATEST,从最新的数据开始消费,此策略会忽略通道中已有数据 // EARLIEST,从最初的数据开始消费,此策略会获取通道中所有的有效数据 String offsetPolicy;
选择导入前是否清空目的表的数据。当前示例选择为“否”。 如果设置为是,任务启动前会清除目标表中数据。 详细的参数配置可以参考:CDM配置DLI目的端参数。 单击“下一步”,进入到字段映射界面,CDM会自动匹配源和目的字段。 如果字段映射顺序不匹配,可通过拖拽字段调整。 如果选择在
name OFFSET 3; name ------------ peach pear watermelon (3 rows) 否则,如果没有使用ORDER BY,被丢弃的行可能是任意的行。如果OFFSET指定的行数等于或超过了结果集的大小,则最终返回的结果为空。 父主题: DQL
的按照按需计费。扫描数据量套餐的额度每个月会重置。 更多套餐包计费信息请参考套餐包计费。 本文将介绍按需计费的DLI数据扫描量计费的计费规则。 适用场景 DLI服务预置了名为default的队列供用户体验。用户在不确定所需队列容量或没有可创建队列空间的情况下,可以使用该队列执行作
为云账号已经能满足您的要求,不需要创建独立的IAM用户,您可以跳过本章节,不影响您使用DLI服务的其它功能。 默认情况下,新建的IAM用户没有任何权限,您需要将其加入用户组,并给用户组授予策略或角色,才能使得该用户组中的用户获得对应的权限,这一过程称为授权。授权后,用户就可以基于被授予的权限对云服务进行操作。
数名。如可以匹配到:xpath、xtesth等。 其他更多正则表达式的使用,可参考官网说明。 关键字 LIKE:此限定符仅为兼容性而使用,没有任何实际作用。 注意事项 显示与给定正则表达式或函数名匹配的函数。如果未提供正则表达式或名称,则显示所有函数。如果声明了USER或SYST
数名。如可以匹配到:xpath、xtesth等。 其他更多正则表达式的使用,可参考官网说明。 关键字 LIKE:此限定符仅为兼容性而使用,没有任何实际作用。 注意事项 显示与给定正则表达式或函数名匹配的函数。如果未提供正则表达式或名称,则显示所有函数。如果声明了USER或SYST
弹性资源池队列扩容成功后,系统开始对扩容的CU进行计费,直到缩容成功停止对扩容的CU计费。 当业务发生调整,对这部分CU没有使用需求时,请及时清理释放资源,否则扩容的CU会持续计费。 弹性资源池中的队列不计费,以弹性资源池作为计算资源的计费项。 计费规则 弹性资源池根据计费模式的不同计费规则各不相同。
Access Management,简称IAM)细粒度鉴权,可以通过在IAM创建策略来管理DLI的权限控制。两种权限控制机制可以共同使用,没有冲突。 发布区域:全部 创建用户并授权使用DLI DLI自定义策略 DLI常用操作与系统权限关系 OBS 2.0支持弹性资源池和队列 使用
只适用于“用户授权”的权限包括: 显示所有表:显示当前数据库下的所有表。 说明: 没有授权“显示所有表”权限,则该数据库在库表管理中不显示该数据库下的所有表。 显示数据库:显示当前数据库的信息。 说明: 没有授权“显示数据库”权限,则该数据库在库表管理中不显示。 继承权限 选中权限即对
选择导入前是否清空目的表的数据。当前示例选择为“否”。 如果设置为是,任务启动前会清除目标表中数据。 详细的参数配置可以参考:CDM配置DLI目的端参数。 单击“下一步”,进入到字段映射界面,CDM会自动匹配源和目的字段。 如果字段映射顺序不匹配,可通过拖拽字段调整。 如果选择在
检查DLI队列对应网段是否开放,若没有,则在vpc中添加出方向网段。 在DLI服务找到跨源连接绑定队列对应的网段 图6 查找跨源连接绑定队列对应的网段 在虚拟私有云安全组中查看DLI队列对应的网段是否已配置。 图7 查看vpc中对应安全组中DLI队列对应网段 如果没有配置,则进行添加。 图8
选择导入前是否清空目的表的数据。当前示例选择为“否”。 如果设置为是,任务启动前会清除目标表中数据。 详细的参数配置可以参考:CDM配置DLI目的端参数。 单击“下一步”,进入到字段映射界面,CDM会自动匹配源和目的字段。 如果字段映射顺序不匹配,可通过拖拽字段调整。 如果选择在
=value”的形式列出,配置项之间以“;”隔开,这些配置项也可以通过Info对象传入。 Info Info传入自定义的配置项,若Info没有属性项传入,可设为null。配置格式为:info.setProperty("属性项", "属性值")。 表3 属性项 属性项 必须配置 默认值
car_info_data; Sink序列化支持复杂类型 目前只有CSV、Json两种格式支持复杂类型。 Json请参考•Json格式增强。 由于CSV没有标准的格式,所以目前暂不支持source解析,只支持sink。 输出格式:尽量和flink原生保持一致。 Map: {key1=Value1
新数据可用时以增量方式获取新数据。默认情况下,Flink会读取有界的表。 STREAMING读取支持同时使用分区表和非分区表。对于分区表,Flink将监控新分区的生成,并在可用时增量读取它们。对于未分区的表,Flink 会监控文件夹中新文件的生成情况,并增量读取新文件。 前提条件