检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据库用户名。新建分库连接时,此配置对数据源列表中所有未配置用户名密码的后端连接生效;编辑分库连接时,如需修改已存在的后端连接,请在数据源列表中单独指定用户名密码。 cdm 密码 数据库密码。 - 使用Agent Agent功能待下线,无需配置。 GBASE为GBASE8A时显示该参数。 -
创建了Hive到DWS类型的连接,进行CDM传输任务失败时如何处理? 问题描述 创建了Hive到DWS类型的连接,进行CDM传输任务失败。 解决方案 建议清空历史数据后再次尝试该任务。在使用CDM迁移作业的时候需要配置清空历史数据,然后再做迁移,可大大降低任务失败的概率。 父主题:
名称后查看桶的基本信息获取。 说明: CDM集群和OBS桶不在同一个Region时,不支持跨Region访问OBS桶。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 obs.myregion.mycloud.com 端口
请求头中参数值长度超过512个字符时,何如处理? 以Rest Client算子为例。 问题现象 在配置作业算子参数时,在添加请求头中时,需要输入参数及参数值,如果该参数的参数值长度超过512个字符时,则不能继续输入,如下图所示。 图1 配置请求头参数 解决方法 配置作业节点的请求头参数。
getNodeOutput("test")} 当前一节点执行无结果时,输出结果为“null”。 当前一节点的输出结果是一个字段时,输出结果形如[["000"]]所示。此时可通过EL表达式分割字符串结果,获取前一节点输出的字段值,但注意输出结果类型为String。需要输出原数据类型时,仍需通过For Each节点及
页面。 在页面选择所需要的模型单击进入,在右侧的列表中将显示该模型下面所有的表。您也可以展开主题结构,选中一个对象,右侧的列表中将显示该对象下所有的表。 在列表中,找到所需要的表,单击表名称进入表详情页面。 图1 关系模型列表 在详情页的表字段区域,选中需要关联质量规则的字段,然后单击“关联质量规则”按钮。
请指定正确的连接或作业再重试。 Cdm.0411 400 连接到文件服务器时出错。 连接到文件服务器时出错。 请联系客服或技术支持人员协助解决。 Cdm.0413 400 向文件服务器传输数据时出错。 向文件服务器传输数据时出错。 请联系客服或技术支持人员协助解决。 Cdm.0415 400
选择可以设置为一个范围。输入数据范围的临界值,输入值范围1~10000。 如果设置了数据长度标准,当数据类型为STRING时,会为关联该标准的属性创建数据质量作业,其他类型暂不支持创建质量作业。 是否有允许值 当开启时,请输入允许值。 允许值 开启“是否有允许值”后,由用户自行输入。输入一个值并
Manager的IP地址,可以单击输入框后的“选择”来选定已创建的MRS集群,CDM会自动填充下面的鉴权参数。 用户名:选择KERBEROS鉴权时,需要配置MRS Manager的用户名和密码。 从HDFS导出目录时,如果需要创建快照,这里配置的用户需要HDFS系统的管理员权限。 密码:访问MRS Manager的用户密码。
a170f2e 账号名 用户所属的企业账户名称。 Account Name 用户名 使用云服务的用户名,该用户需要拥有CDM的操作权限。 Username 密码 用户密码。 password VPC信息 VPC的ID CDM所属的VPC必须与DWS一致。 6b47302a-bf7
如:a b c。此处的“参数”需要在Python语句中引用,否则配置无效。 交互式输入 否 填写交互式参数,即执行Python语句的过程中,需要用户输入的交互式信息(例如密码)。交互式参数之间以空格分隔,Python语句根据交互情况按顺序读取参数值。 节点名称 是 节点名称,只能
fromJobConfig.compressedFileSuffix 否 String 需要解压缩的文件后缀名。当一批文件中以该值为后缀时,才会执行解压缩操作,否则保持原样传输。当输入*或为空时,所有文件都会被解压。 fromJobConfig.splitType 否 枚举 指定任
~128个字符。 循环执行的子作业 是 选择需要循环执行的子作业。 子作业参数 否 仅当循环执行的子作业配置了作业参数后,出现该参数。参数名即子作业中定义的变量,参数值按如下原则填写: 当循环执行的子作业需要根据父作业的变量读取替换时,则本参数为可配置为EL表达式,一般配置为#{Loop
仅当“作业类型”为“选择已存在的作业”时需要配置该参数。选择待执行的CDM作业。 如果此CDM作业使用了在数据开发时配置的作业参数或者变量,则后续在数据开发模块调度此节点,可以间接实现CDM作业根据参数变量进行数据迁移。 CDM作业消息体 否 仅当“作业类型”为“创建新作业”时需要配置该参数。此处需要填写CD
提交版本并解锁:作业调度配置完成后,您需要提交版本并解锁,提交版本并解锁后才能用于调度运行,便于其他开发者修改。具体请参见提交版本。 (可选)管理作业:作业开发完成后,您可以根据需要,进行作业管理。具体请参见(可选)管理作业。 发布作业。企业模式下需要发布作业,具体请参见发布作业任务。
(可选)获取认证信息 DataArts Studio使用过程中,例如在数据集成创建OBS连接、API调用或问题定位时,您可能需要获取访问密钥、项目ID、终端节点等信息,获取方式如下。 获取访问密钥 您可以通过如下方式获取访问密钥。 登录控制台,在用户名下拉列表中选择“我的凭证”。
待导入的资源应为通过导出获取的zip文件,导入时系统会进行资源校验。 由于安全原因,导出连接时没有导出连接密码,需要在导入时自行输入。 仅企业版支持数据目录(分类、标签、采集任务)导出,专家版暂不支持。 导入文件时,OBS和本地方式均限制文件大小不超过10MB。 导出资源 参考访问DataArts
交互参数1、2、3 分别对应begin、end、exit。 当交互参数输入1时,执行结果显示为“start something”。 当交互参数输入2时,执行结果显示为“stop something”。 当交互参数输入3时,执行结果显示为“exit”。 #!/bin/bash select
开启GZIP压缩 否 开启gzip 压缩,使用的时候需要在es 节点上将配置http.compression设置为true。 数据源认证及其他功能配置 用户名 是 连接Elasticsearch的用户名。 密码 是 连接Elasticsearch的密码。 父主题: 配置DataArts Studio数据连接参数
Hive对接外部LDAP开启了LDAP认证时,连接Hive时需要使用LDAP账号与密码进行认证,此时必须开启此参数,否则会连接失败。 ldap用户名 是 当“开启ldap”参数选择为“是”时,此参数是必选项。 填写为Apache Hive开启LDAP认证时配置的用户名。 ldap密码 是 当“开启lda