检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
great security risks. It is recommended that the AK and SK be stored in ciphertext in configuration files or environment variables and decrypted
等连接添加特定路由。 当CDM集群与其他云服务所在的区域不一致时,则需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP、CDM云上安全组出方向放通云下数据源所在的主机、数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 另外,如果创建了企业项目,则企
加自定义字段,附加字段会成为一个新的字段加入到DWS表的建表中。 表1 附加字段值支持情况 类型 示例 常量 - 内置变量 源端host ip地址:source.host 源端schema名称:mgr.source.schema 源端table名称:mgr.source.table
复合指标ID,ID字符串。更新时必填。 name_en 是 String 复合指标英文名称。 name_ch 是 String 复合指标名称。 description 否 String 描述 dimension_group 是 String 统计维度ID,更新时不可修改此值。 compound_type
衍生指标ID,ID字符串。更新时必填。 name_en String 衍生指标英文名称。 name_ch String 衍生指标名称。 description String 描述,只读。 create_by String 创建人。 data_type String 字段类型。 l1_id
复合指标ID,ID字符串。更新时必填。 name_en 是 String 复合指标英文名称。 name_ch 是 String 复合指标名称。 description 否 String 描述 dimension_group 是 String 统计维度ID,更新时不可修改此值。 compound_type
选择执行Python语句的主机。需确认该主机配有用于执行Python脚本的环境。 须知: Shell或Python脚本可以在该ECS主机上运行的最大并发数由ECS主机的/etc/ssh/sshd_config文件中MaxSessions的配置值确定。请根据Shell或Python脚本
和开发环境的两套数据湖服务,用于隔离开发和生产环境: 对于集群化的数据源(例如MRS、DWS、RDS、MySQL、Oracle、DIS、ECS),如果使用两套集群,DataArts Studio通过管理中心的创建数据连接区分开发环境和生产环境的数据湖服务,在开发和生产流程中自动切
加自定义字段,附加字段会成为一个新的字段加入到DWS表的建表中。 表1 附加字段值支持情况 类型 示例 常量 - 内置变量 源端host ip地址:source.host 源端schema名称:mgr.source.schema 源端table名称:mgr.source.table
TOM即自定义类型,在手动配置血缘时,对于不支持的数据源,您可以添加为自定义类型。 图1 手动配置血缘关系示例 例如,当需要配置数据开发Pipeline作业中MRS Spark节点的血缘关系时,由于MRS Spark节点不支持自动血缘解析,则需要手动配置MRS Spark节点的血缘关系。操作步骤如下:
TOM即自定义类型,在手动配置血缘时,对于不支持的数据源,您可以添加为自定义类型。 图1 手动配置血缘关系示例 例如,当需要配置数据开发Pipeline作业中MRS Spark节点的血缘关系时,由于MRS Spark节点不支持自动血缘解析,则需要手动配置MRS Spark节点的血缘关系。操作步骤如下:
Shell节点运行的输出结果不能大于30M,大于30M会报错。 主机连接 是 选择执行Shell脚本的主机。 须知: Shell或Python脚本可以在该ECS主机上运行的最大并发数由ECS主机的/etc/ssh/sshd_config文件中MaxSessions的配置值确定。请根据Shell或Python脚本
分库分表同步适用于将本地数据中心或在ECS上自建的数据库,同步到云上的数据库服务或大数据服务中,适用于多库多表同步场景。 支持分库分表同步的数据源如下所示: 源端为RDS(MySQL)时支持分库分表同步。 整库同步支持的数据源类型 整库同步适用于将本地数据中心或在ECS上自建的数据库,同步到云
great security risks. It is recommended that the AK and SK be stored in ciphertext in configuration files or environment variables and decrypted
开启审批功能时,相关API的请求体需要增加审批人属性,具体见作业开发API。 审批开关的配置、作业和脚本的审批只能在前台界面进行操作。 有实时Pipeline作业的情况下,不允许打开审批开关。 审批开关打开后,审批中心功能对审批人和单据提交人都可见。审批开关关闭时,仅当前工作空间的管理员或者拥有DAYU
payment_type_value 1 Credit card 2 Cash 3 No charge 4 Dispute 5 Unknown 6 Voided trip 返回“码表管理”页面,找到码表“供应商”,然后在该码表所在行选择“更多 > 填写数值”。在填写数值页面,依次单击“新建”添加如表4所示的数值。
retryJobConfig.retryJobType 否 枚举 如果作业执行失败,选择是否自动重试: NONE:不重试。 RETRY_TRIPLE:重试三次。 父主题: 附:公共数据结构
自定义字段,附加字段会成为一个新的字段加入到Hudi表的建表中。 表1 附加字段值支持情况 类型 示例 常量 - 内置变量 源端host ip地址:source.host 源端schema名称:mgr.source.schema 源端table名称:mgr.source.table
great security risks. It is recommended that the AK and SK be stored in ciphertext in configuration files or environment variables and decrypted
上表中非云服务的数据源,例如MySQL,既可以支持用户本地数据中心自建的MySQL,也可以是用户在ECS上自建的MySQL,还可以是第三方云的MySQL服务。 整库迁移支持的数据源类型 整库迁移适用于将本地数据中心或在ECS上自建的数据库,同步到云上的数据库服务或大数据服务中,适用于数据库离线迁移场景,不适用于在线实时迁移。