检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
写入模式:选择数据写入模式。 UPSERT为批量更新入库模式,COPY为DWS专有的高性能批量入库模式。 批写最大数据量:根据表数据大小和作业内存使用,适当调整,数据范围1-10000000。 定时批写时间间隔:数据定时入库的间隔时间,时间1-1000, 单位为秒。 高级配置:通过设置以下参数配置数据写入的高级属性。
DLI模型的表支持以下表类型: Managed:数据存储位置为DLI的表。 External:数据存储位置为OBS的表。当“表类型”设置为External时,需设置“OBS路径””参数。OBS路径格式如:/bucket_name/filepath。 DWS模型的表支持以下表类型: DWS_
Driver。 驱动文件来源 是 选择驱动文件的来源方式。 驱动文件路径 是 “驱动文件来源”选择“OBS路径”时配置。 驱动文件在OBS上的路径。需要您自行到官网下载.jar格式驱动并上传至OBS中。 MySQL驱动:获取地址https://downloads.mysql.com/archives/c-j/,建议5
Flink调试OBS桶 在进行Flink SQL作业调试时,调试OBS桶必须选择并行桶,可以在工作空间进行默认配置。 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。 单击“默认项设置”,可设置“Flink调试OBS桶”配置项。 配置Flink调试OBS桶。 单击“保存”,对设置的配置项进行保存。
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
数据集成配置 配置文件路径 是 “是否使用集群配置”参数开启时,呈现此参数。集群配置文件的OBS存放路径。 keytab文件路径 是 认证类型为KERBEROS时显示该参数。 配置keytab文件的OBS存放路径。 Principal名称 是 认证类型为KERBEROS时显示该参数。 K
parallel 是 int 补数据实例的并行周期数,取值范围[1,5]。 设置同时执行的补数据实例数量,最多可同时执行5个实例。 depend_jobs 否 List<JobDTO> 参考表3。 is_day_granularity 否 Boolean 是否按照天粒度补数据,true表示是,false表示否。
点、补数据、重跑等场景。 表3 血缘关系 参数 说明 输入 新建 单击“新建”,在“类型”的下拉选项中选择要新建的类型。可以选择DWS,OBS,CSS,HIVE,CUSTOM和DLI类型。 确定 单击“确认”,保存节点输入功能的参数配置。 取消 单击“取消”,取消节点输入功能的参数配置。
点、补数据、重跑等场景。 表3 血缘关系 参数 说明 输入 新建 单击“新建”,在“类型”的下拉选项中选择要新建的类型。可以选择DWS,OBS,CSS,HIVE,CUSTOM和DLI类型。 确定 单击“确认”,保存节点输入功能的参数配置。 取消 单击“取消”,取消节点输入功能的参数配置。
数据服务 数据服务SDK支持的语言? 创建API时提示代理调用失败,怎么办? 数据服务API接口,访问“测试APP”,填写了相关参数,但是后台报错要怎么处理? 使用API时,每个子域名每天可以访问多少次? 数据服务专享版集群正式商用后,如何继续使用公测期间创建的数据服务专享版集群和API?
数据开发中的通知配置、备份管理、作业标签、委托配置、默认项等数据不支持导入导出,如有涉及,请您进行手动配置同步。 导入脚本、作业、环境变量、资源功能部分依赖于OBS服务。 旧空间导出数据 请您登录控制台首页,选择并进入旧工作空间的“数据开发”模块,然后执行如下操作依次导出脚本、导出作业、导出环境变量、导出资源。
0800 无法连接OBS服务器。原因:%s。 可能是由于OBS终端节点与当前区域不一致、AK/SK错误、AK/SK不是当前用户的AK/SK、安全组或防火墙规则未放行等原因。若排除上述原因后仍无法解决,请联系客服或技术支持人员协助解决。 Cdm.0801 OBS桶[%s]不存在。
UPSERT MODE为批量更新入库模式,COPY MODE为DWS专有的高性能批量入库模式。 批写最大数据量:根据表数据大小和作业内存使用,适当调整,数据范围1-10000000。 定时批写时间间隔:数据定时入库的间隔时间,时间1-1000, 单位为秒。 高级配置:通过设置以下参数配置数据写入的高级属性。
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
UPSERT MODE为批量更新入库模式,COPY MODE为DWS专有的高性能批量入库模式。 批写最大数据量:根据表数据大小和作业内存使用,适当调整,数据范围1-10000000。 定时批写时间间隔:数据定时入库的间隔时间,时间1-1000, 单位为秒。 高级配置:通过设置以下参数配置数据写入的高级属性。
DLI模型的表支持以下表类型: Managed:数据存储位置为DLI的表。 External:数据存储位置为OBS的表。当“表类型”设置为External时,需设置“OBS路径””参数。OBS路径格式如:/bucket_name/filepath。 DWS模型的表支持以下表类型: DWS_
字段名称不能与源端的字段有重复(包括自定义字段)。 cdc_last_update_date Hudi建表配置 Location 存储在OBS或HDFS上数据库表的文件路径。 - Hudi表类型 Hudi表存储类型。 MOR表:数据先写入avro格式的日志文件,读取时合并到parquet文件。
Studio使用弹性公网IP服务(Elastic IP,简称EIP)打通与公网间的网络通信。 对象存储服务 DataArts Studio使用对象存储服务(Object Storage Service,简称OBS)的桶存储日志信息。 消息通知服务 DataArts Studio使用消息通知服务(Simple
同步到云上的数据库服务或大数据服务中,适用于多库多表同步场景。 支持分库分表同步的数据源如下所示: 源端为RDS(MySQL)时支持分库分表同步。 整库同步支持的数据源类型 整库同步适用于将本地数据中心或在ECS上自建的数据库,同步到云上的数据库服务或大数据服务中,适用于数据库离线同步场景,不适用于在线实时同步。