检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
集群名称。 datasource_type 否 String 数据源类型 HIVE数据源 DWS数据源 DLI数据源 database_name 否 String 数据库名称。 table_name 否 String 表名称。 column_name 否 String 列名称。 sync_status
管理中心 DataArts Studio支持连接哪些数据源? 创建数据连接需要注意哪些事项? DWS/Hive/HBase数据连接无法获取数据库或表的信息怎么办? 为什么在创建数据连接的界面上MRS Hive/HBase集群不显示? DWS数据连接开启SSL时测试连接失败怎么办?
dli传DLI,dws和mrs-hive传对应的集群id schema_name 否 String schema名称,dws需要传这个字段 database_name 否 String 数据库名称 table_name 否 String 表名称 expire_time 否 Long 权限到期时间时间戳,毫秒。
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
DM集群可以提供通信代理服务,请选择一个CDM集群,如果没有可用的CDM集群,请参考创建CDM集群进行创建。 数据集成配置 数据库名称 是 要连接的数据库。 直连模式 否 是否直连,适用于主节点网络通,副本节点网络不通场景。 属性配置 否 自定义连接属性,当前支持socketTi
from-connector-name 是 String 源端连接类型,对应的连接参数如下: generic-jdbc-connector:关系数据库连接。 obs-connector:OBS连接。 hdfs-connector:HDFS连接。 hbase-connector:HBase连接、CloudTable连接。
连接Cassandra的密码。 - 连接超时时长 可选参数,单击“显示高级属性”后显示。 连接超时时长,单位秒。 5 读取超时时长 可选参数,单击“显示高级属性”后显示。 读取超时时长,单位秒。小于或等于0表示不超时。 12 父主题: 配置连接参数
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
linkConfig.password 是 String 连接Redis服务器的密码。 linkConfig.dbIndex 是 String Redis数据库索引。 父主题: 连接参数说明
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
父权限集id。 cluster_id 是 String 集群id。 datasource_type 是 String 数据源类型, HIVE database_names 是 Array of strings 目前批量授权只支持单库下的多表授权,或同一集群下个多库授权,区分这两类可通过 传参中tables是否为空来判断。
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
DLI Flink Job 功能 DLI Flink Job节点用于创建和启动作业,或者查询DLI作业是否正在运行,实现实时流式大数据分析。 DLI Flink流式作业提交到DLI之后,若处于运行中的状态,则认为节点执行成功。若作业配置了周期调度,则会周期检查该Flink作业是否
填写交互式参数,即执行Python语句的过程中,需要用户输入的交互式信息(例如密码)。交互式参数之间以空格分隔,Python语句根据交互情况按顺序读取参数值。 节点名称 是 节点名称,只能包含英文字母、数字、中文字符、中划线、下划线、/、<>和点号,且长度小于等于128个字符。 默认情况
是:重新执行节点,请配置以下参数。 最大重试次数 重试间隔时间(秒) 否:默认值,不重新执行节点。 说明: 建议仅对文件类作业或启用了导入阶段表的数据库作业配置自动重试,避免自动重试重复写入数据导致数据不一致。 如果调度CDM迁移作业时使用了参数传递,不能在CDM迁移作业中配置“作业失败重试”参数,推荐在此处配置即可。
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
用于将数据库的表迁移到文件系统的场景。 选择“是”时,如果源端数据表中的某一个字段内容包含字段分隔符或换行符,写入目的端时CDM会使用双引号(")作为包围符将该字段内容括起来,作为一个整体存储,避免其中的字段分隔符误将一个字段分隔成两个,或者换行符误将字段换行。例如:数据库中某字段为hello
位可以配置为秒或分钟。 读取策略 选择数据的读取位置: 从上次位置读取:首次启动时,从最新的位置读取数据。后续启动时,则从前一次记录的位置读取数据。 从最新位置读取:每次启动都会从最新的位置读取数据。 失败策略 选择调度失败后的策略: 挂起 忽略失败,读取下一个事件 是否空跑 如