检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
请改为其他连接后,再重新提交作业。 Cdm.0061 连接器%s不支持此方向。不能提交作业。 该连接器不能作为作业的源端或目的端,请改为其他连接后,再重新提交作业。 Cdm.0062 二进制文件仅适合SFTP/FTP/HDFS/OBS连接器。 请指定正确的连接器后再重试。 Cdm
入管理中心页面。 在“数据连接”页面,单击“创建数据连接”按钮。 图1 数据连接 在弹出窗口中,配置数据连接参数,完成配置后,单击“确定”完成数据连接的创建。 此处创建MapReduce服务 (MRS Hive)数据连接,参数配置如图2所示。 数据连接类型:MapReduce服务(MRS
Studio管理中心提供了统一的配置和管理入口,可以管理数据连接、资源迁移等,根据需要定制个性化的入口和展示。 DataArts Studio支持的数据源 创建DataArts Studio数据连接 配置DataArts Studio数据连接参数 配置DataArts Studio资源迁移
请检查“管理中心 > 数据连接”,数据连接是否配置正确,“IP或域名”是否填写的内网IP,绑定Agent是否状态正常。 请检查“DataArts Studio控制台实例 > 资源管理 > 实时网络连接管理”, 查看是否创建了数据源相关VPC和子网的网络连接,并且该网络连接是否成功绑定资源组。
与DWS集群保持一致,确保网络互通。 创建DWS的数据连接 开发DWS SQL前,我们需要在“管理中心 > 数据连接”模块中建立一个到DWS的连接,数据连接名称为“dws_link”。创建DWS连接的操作请参见DWS数据连接参数说明。 关键参数说明: 集群名:环境准备中创建的DWS集群名称。
单击左侧导航树中的“权限应用”,在权限应用页面,进入“未来表权限 ”页签。 在“未来表权限 ”页面,在数据连接区域选择需要配置未来表权限的DWS数据连接,并单击已选择的数据连接后的添加数据库。 图1 选择DWS数据连接 图2 添加数据库 单击待配置的数据库,在schema视图下单击“新建”,创建未来表配置。
单击“选择主题”按钮选择所属的主题信息。 数据连接类型 如果逆向到逻辑模型,请在下拉列表中选择所需要的连接类型。 如果逆向到物理模型,将显示当前模型的连接类型。 数据连接 选择所需要的数据连接。 如需从其他数据源逆向数据库到关系模型中,需要先在DataArts Studio管理中心创建一个数据连接,以便连接数据源。创
在下拉列表中选择所属主题。 *数据连接类型 在下拉列表中将显示逆向数据库支持的数据连接类型,请选择所需要的数据连接类型。 *数据连接 选择数据连接。 如需从其他数据源逆向数据库到维度目录中,需要先在DataArts Studio管理中心创建一个数据连接,以便连接数据源。创建数据连接的操作,请参见配置DataArts
系统会对敏感数据进行动态脱敏,保护敏感数据不被泄露。 *数据连接 从下拉列表中选择数据连接类型中已创建的数据连接,若未创建请参考创建DataArts Studio数据连接新建连接。 *集群名称 无需选择,自动匹配数据连接中的数据源集群。 *数据库 选择敏感数据所在的数据库。 *schema
例如,双精度(DOUBLE)。 数据对象配置 *数据连接类型 选择数据连接类型。 *数据连接 选择数据连接。 *数据库 选择数据库。 Schema 选择Schema。 只有部分数据连接类型需要配置该参数。比如DWS、POSTGRESQL。 *队列 选择队列。 当数据连接类型是DLI时,才需要配置配置该参数。
cluster bindEip 解绑弹性IP cluster unbindEip 创建连接 link createLink 修改连接 link modifyLink 测试连接 link verifyLink 删除连接 link deleteLink 创建任务 job createJob 修改任务
创建一个批处理作业,作业名称为“job_alarm”。 图10 创建DLF作业 然后进入到作业开发页面,拖动DLI SQL和CDM Job节点到画布中,连接并配置节点的属性。 图11 连接和配置节点属性 关键说明: dli_partition_count(DLI SQL节点):在节点属性中,关联使用DLI
知不会计入收费项。 用户隔离:控制其他用户是否能够查看、操作该集群中的迁移作业和连接。 开启该功能时,该集群中的迁移作业、连接会被隔离,华为账号下的其他IAM用户无法查看、操作该集群中的迁移作业和连接。 按组批量启动作业会运行组内所有作业。如果开启了用户隔离功能,即使华为账号下的
解决方案 在MySQL数据连接高级属性中,连接属性新增如下参数之一即可,这样就可以在目的端正常建表。 “tinyInt1isBit”参数,参数值设为“false”。 “mysql.bool.type.transform”参数,参数值设为“false”。 图1 添加连接属性 父主题: 数据集成(CDM作业)
deleteDirectoryList 创建数据连接 dataWarehouse createDataWarehouse 测试数据连接 dataWarehouse testDataWarehouseConnectivity 更新数据连接 dataWarehouse updateDataWarehouse
专享版集群增量包并在集群中管理API。 数据服务共享版当前仅限于华东-上海一、华北-北京四、华南-广州的存量用户调测使用,受限于服务稳定性和生命周期策略,不建议用于生产环境。 专享版数据服务常用于企业内部系统解耦,各服务部署在云上的VPC内,服务之间以RESTful API方式通
参数描述 源端配置 *数据源类型 目前只支持MapReduce服务(MRS Hive)。 *数据连接 选择已创建的数据连接。若未创建请参考创建DataArts Studio数据连接新建连接。 *Http/Https端口 MRS Doris数据源类型所需参数。获取方式:1.登录DORIS集群的MRS
300000 全量阶段连接Mysql的socket超时时间,默认为5分钟。当Mysql负载较高,作业出现SocketTimeout异常时,考虑增大该值。 jdbc.properties.connectTimeout int 60000 全量阶段连接Mysql的连接超时时间,默认为1分
批量导出作业 单击“导出”,弹出批量导出页面,如图1。 图1 批量导出页面 全部作业和连接:勾选此项表示一次性导出所有作业和连接。 全部作业:勾选此项表示一次性导出所有作业。 全部连接:勾选此项表示一次性导出所有连接。 按作业名导出:勾选此项并选择需要导出的作业,单击确认即可导出所选作业。
在集群管理页面,单击集群操作列“作业管理”,进入“作业管理”页面,如图1所示。 图1 集群管理 在“连接管理”页签中,单击“新建连接”,分别创建Oracle数据连接和MRS Hive数据连接,详情请参见新建Oracle数据连接和新建MRS Hive数据连接。 在“表/文件迁移”页签中,单击“新建作业”,创建数据迁移作业。