检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
选择Flink SQL作业时,可配置此参数。 关联的SQL脚本如果使用了参数,此处显示参数名称,请在参数名称后的输入框配置参数值。参数值支持使用EL表达式。 若关联的SQL脚本,脚本参数发生变化,可单击刷新按钮同步。 运行模式 是 配置Flink作业的运行模式。 批处理:指Flink作业为批
不同工作空间模式的介绍。 不同模式工作空间对生产任务开发与运维的影响 DataArts Studio建立于对应工作空间物理属性之上的任务开发与运维机制介绍。 不同模式工作空间的优劣势对比 不同工作空间模式的优劣势对比。 企业模式对使用流程的影响 介绍企业模式工作空间下的流程管控。 不同工作空间模式下,DataArts
高级属性里的可选参数一般情况下保持默认即可。 单击“下一步”进入字段映射界面,CDM会自动匹配源和目的字段。 如果字段映射顺序不匹配,可通过拖拽字段调整。 CDM的表达式已经预置常用字符串、日期、数值等类型的字段内容转换,详细请参见字段转换。 单击“下一步”配置任务参数,一般情况下全部保持默认即可。 该步骤用户可以配置如下可选功能:
百万级时序数据查询分析。 MapReduce服务(MRS Hive) Hive是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言,称为HiveQL,它允许熟悉SQL的用户查询数据。 使用MRS Hive可实现TB/PB级的数据分
PostgreSQL到DWS参数调优 源端优化 PostgreSQL抽取优化。 暂无优化配置项。 目的端优化 DWS写入优化。 可通过在DWS的目的端配置中修改写入相关配置,且可以通过单击高级配置的“查看编辑”按钮,添加高级属性。 图1 添加高级属性 表1 DWS写入优化参数 参数名
Oracle到DWS参数调优 源端优化 Oracle抽取优化。 暂无优化配置项。 目的端优化 DWS写入优化。 可通过在DWS的目的端配置中修改写入相关配置,且可以通过单击高级配置的“查看编辑”按钮,添加高级属性。 图1 添加高级属性 表1 DWS写入优化参数 参数名 类型 默认值
作业名已存在。 作业名已存在,请重新命名后,再重试。 Cdm.0105 表达式为空。 请参考帮助文档确认表达式是否有效。 若无法解决,请联系客服或技术支持人员协助解决。 Cdm.0106 XX表达式运算失败。 请参考帮助文档确认表达式是否有效。 若无法解决,请联系客服或技术支持人员协助解决。 Cdm
可。 单击“下一步”进入字段映射界面,CDM会自动匹配源和目的字段,如图7所示。 如果字段映射顺序不匹配,可通过拖拽字段调整。 CDM的表达式已经预置常用字符串、日期、数值等类型的字段内容转换,详细请参见字段转换。 图7 表到文件的字段映射 单击“下一步”配置任务参数,一般情况下全部保持默认即可。
MySQL到DWS参数调优 源端优化 MySQL抽取优化。 可通过在作业任务配置参数单击中“添加自定义属性”来新增MySQL同步参数。 图1 添加自定义属性 可使用的调优参数具体如下: 表1 全量阶段优化参数 参数名 类型 默认值 说明 scan.incremental.snapshot
类型名称 使用和操作限制 数据库限制 支持开启SASL_PLAINTEXT的Kafka实例,包括SCRAM-SHA-512及PLAIN认证机制。 不支持开启SASL_SSL的Kafka实例。 使用限制 通用: 实时同步过程中,不支持IP、端口、账号、密码修改。 增量同步阶段: 整
现无法迁移的问题。 仅支持数据库字符集为GBK和UTF-8。 字段名不可包含&和%。 jdbc2hive,hive2jdbc整库迁移的实现机制就是按字段名称映射的,不支持字段名称不一致的迁移场景。 关系数据库迁移权限配置 常见关系数据库迁移需要的最小权限级: MySQL:INFO
确保配额充足。 进行权限同步时,需要为dlg_agency委托配置相关权限,请参考授权dlg_agency委托。 当前数据权限管控为白名单机制,是在待授权用户原有权限的基础上增加允许操作条件,不会影响用户的原有权限。如果仅需要当前数据权限管控所赋予的权限生效,则需要您手动去除待授
择。 单击“下一步”进入字段映射界面,CDM会自动匹配源和目的字段,如图5所示。 如果字段映射顺序不匹配,可通过拖拽字段调整。 CDM的表达式已经预置常用字符串、日期、数值等类型的字段内容转换,详细请参见字段转换。 图5 表到表的字段映射 单击“下一步”配置任务参数,一般情况下全部保持默认即可。
确保配额充足。 进行权限同步时,需要为dlg_agency委托配置相关权限,请参考授权dlg_agency委托。 当前数据权限管控为白名单机制,是在待授权用户原有权限的基础上增加允许操作条件,不会影响用户的原有权限。如果仅需要当前数据权限管控所赋予的权限生效,则需要您手动去除待授
择。 单击“下一步”进入字段映射界面,CDM会自动匹配源和目的字段,如图5所示。 如果字段映射顺序不匹配,可通过拖拽字段调整。 CDM的表达式已经预置常用字符串、日期、数值等类型的字段内容转换,详细请参见字段转换。 图5 表到表的字段映射 单击“下一步”配置任务参数,一般情况下全部保持默认即可。
MySQL到DMS Kafka参数调优 源端优化 MySQL抽取优化。 可通过在作业任务配置参数单击中“添加自定义属性”来新增MySQL同步参数。 图1 添加自定义属性 可使用的调优参数具体如下: 表1 全量阶段优化参数 参数名 类型 默认值 说明 scan.incremental
自建队列运行业务。 脚本参数 否 关联的SQL脚本如果使用了参数,此处显示参数名称,请在参数名称后的输入框配置参数值。参数值支持使用EL表达式。 若关联的SQL脚本,脚本参数发生变化,可单击刷新按钮同步。 节点名称 是 默认显示为SQL脚本的名称,支持修改。规则如下: 节点名称,
在SQL语句中直接写入脚本参数,调试脚本时可以在脚本编辑器下方输入参数值。如果脚本被作业引用,在作业开发页面可以配置参数值,参数值支持使用EL表达式(参见表达式概述)。 SQL脚本中的参数如果涉及变量,变量的格式应该与脚本变量定义中设置的格式保持一致,如果不一致,变量将不会被识别。 脚本示例
CATED、OBSOLETE、OTHER。 create_user 否 String 创建人。 expression 否 String 表达式。 display_text 否 String 展示信息。 term_guid 否 String 标签guid。 relation_guid
EPRECATED、OBSOLETE、OTHER。 create_user String 创建人。 expression String 表达式。 display_text String 展示信息。 term_guid String 标签guid。 relation_guid String