检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
参数名 说明 取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时,您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时,您可以在这里输入自定义的SQL语句,CDM将根据该语句导出数据。 说明: SQL语句只能查询数据,支持join和嵌套写法,但不能有多条查询语句,比如
开发并调度Import GES作业 本章节介绍通过数据开发调用数据集成作业,将MySQL原始数据定期同步到OBS和MRS Hive中,并标准化为GES点/边数据集。然后基于标准化点/边数据集,自动生成图的元数据,实现最终将图数据(点数据集、边数据集和元数据)定期导入到GES服务中。
现数据错误的作业实例,或者构建更多的作业记录以便调试程序等。 补数据作业除了支持SQL脚本,其他节点也支持。 如果SQL脚本的内容有变化,补数据作业运行的是最新版本的脚本。 使用补数据功能时,如SQL中变量是DATE,脚本中就写${DATE},在作业参数中会自动增加脚本参数DAT
管理中的“最大抽取并发数”参数,超出规格的Task排队等待运行。 如何调整抽取并发数 集群最大抽取并发数的设置与CDM集群规格有关,并发数上限建议配置为vCPU核数*2,如表1所示。 表1 集群最大抽取并发数配置建议 规格名称 vCPUs/内存 集群并发数上限参考 cdm.large
现数据错误的作业实例,或者构建更多的作业记录以便调试程序等。 补数据作业除了支持SQL脚本,其他节点也支持。 如果SQL脚本的内容有变化,补数据作业运行的是最新版本的脚本。 使用补数据功能时,如SQL中变量是DATE,脚本中就写${DATE},在作业参数中会自动增加脚本参数DAT
最多为10层。 单工作空间允许创建的实时作业(包含实时处理作业和实时集成作业)最多500个。 RDS SQL、DWS SQL、HIVE SQL、SPARK SQL、DLI SQL脚本执行结果页面展示最多1千条,且数据量少于3MB。超过1千条数据可以使用转储功能,转储最多支持1万条或3MB。
of CdmClusterFlavor objects 规格信息。 表5 CdmClusterFlavor 参数 参数类型 描述 cpu Integer CPU。 ram Integer 内存。 name String 规格名称。 region String region。 typename
Studio平台将源数据上传或者接入到云上。 数据集成提供同构/异构数据源之间批量数据迁移的服务,支持自建和云上的文件系统,以及关系数据库,数据仓库,NoSQL,大数据云服务,对象存储等数据源。 数据集成 支持的数据源 创建CDM集群 创建CDM与数据源之间的连接 新建表/文件迁移作业 数据目录(元数据采集)
免费版不自带数据集成集群,而是首次购买时赠送36小时cdm.large规格的CDM集群折扣套餐,1年内有效。使用折扣套餐包时,您需要在“云数据迁移 CDM”服务创建一个与DataArts Studio实例区域一致的cdm.large规格集群,集群运行时会自动扣除折扣套餐包时长,折扣套餐包时长到
如果“发布日志”中有错误日志,说明发布失败。您可以单击“重新同步”进行重试。 预览SQL 在汇总表列表中,找到所需要的汇总表,在右侧单击“更多 > 预览SQL”,弹出“预览SQL”对话框。 在“预览SQL”中,您可以查看SQL语句,也可以复制SQL。 下线 在需要下线的汇总表右侧,单击“更多 > 下线”,系统弹出“提交下线”对话框。
使用CDM迁移数据由于字段类型映射不匹配导致报错怎么处理? MySQL迁移时报错“JDBC连接超时”怎么办? 创建了Hive到DWS类型的连接,进行CDM传输任务失败时如何处理? 如何使用CDM服务将MySQL的数据导出成SQL文件,然后上传到OBS桶? 如何处理CDM从OBS迁移数据到DLI出现迁移中断失败的问题?
MRS_SPARK:MRS_SPARK连接类型Hudi表的数据类型。 POSTGRESQL:POSTGRESQL连接类型的表的数据类型。 CLICKHOUSE:CLICKHOUSE连接类型的表的数据类型。 MYSQL:MYSQL连接类型的表的数据类型。 ORACLE:ORACLE连接类型的表的数据类型。
授权对象默认为数据开发组件,需选择需要授权的操作,并支持配置单次转储记录值上限。 说明: 数据开发组件中不同数据源的SQL脚本转储支持的单次最大记录值不同,详见下载或转储脚本执行结果。此处配置的记录值上限可参考此规格进行配置。 *授权对象 选择需要授权的用户。 指定用户:可以配置为指定的用户以及用户组。 说明:
CPU核数+Executor个数*Executor CPU核数 内存数=driver内存+(Executor个数*Executor内存) Executor内存 代表每个Executor的内存。通常建议Executor CPU核数:Executor内存=1:4。 GB输入值必须在0到16之间,MB输入值必须在0到16
DataArts Studio基础包升级:DataArts Studio基础包套餐允许升级,升级时,已经产生的费用按天结算。升级成功后,按新订购套餐进行计费。 如需升级,请登录DataArts Studio控制台,找到需要升级的DataArts Studio实例,单击“升级”,然后根据页面提示购买更高规格的套餐。
Studio是否支持版本升级? 支持。如果您的业务量不断增长,已购版本无法满足您的业务需求,建议您升级版本。 您可以登录DataArts Studio控制台,找到需要升级的DataArts Studio实例卡片,单击“升级”,然后根据页面提示购买更高规格的套餐。 升级时,已经产生的费用按天结算。
执行Analyze语句可能会对Hive造成压力。 是 内部写队列内存最大值 当出现内存不足场景时,请酌情修改该参数,当参数过小时,会影响迁移速率。 取值范围是1-128,默认为空,不做限制,单位为MB,超出范围会设置为不限制。 16 内部转换队列内存最大值 当出现内存不足场景时,请酌情修改该参数,当参数过小时,会影响迁移速率。
CPU使用率 该指标用于统计测量对象的CPU使用率。 单位:%。 0%~100% CDM集群实例 1分钟 mem_usage 内存使用率 该指标用于统计测量对象的内存使用率。 单位:%。 0%~100% CDM集群实例 1分钟 pg_pending_job 排队作业数 该指标用于统计该
tgresql驱动的RDS数据源支持schema,请在调用前确认该数据源是否支持schema字段。 12000 60 获取数据源中的表 获取数据源中的表。 12000 60 获取数据源中表的字段 获取数据源中表的字段。 12000 60 实例规格变更 表8 实例规格变更 API 说明
单击“默认项设置”,可设置“Hive sql及Spark sql执行方式”配置项。 配置Hive SQL及Spark SQL的执行方式。 SQL语句放置在OBS中:执行Hive SQL及Spark SQL语句时,把SQL语句放在OBS中,将OBS路径返回给MRS。 SQL语句放置在请求的消息体中:执行Hive