检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
of the cluster must be configured. 配置DWS集群名或者集群的访问地址、端口,两者二选一,不能都为空。 请检查集群DWS集群名或者集群的访问地址、端口。 400 DLF.6423 An exception occurs when the agent
"create_by" : "test_uesr", "tenant_id" : "0833a5737480d53b2f25c010dc1a7b88-workspace-9ce2cfd08fda4f3b95faa5ba65fa5ec3",
执行以下SQL命令,查询目的表B里面是否存在源表A的数据。 SELECT * FROM B 参数配置完成后,保存并提交此作业的最新版本,测试运行该作业。 单击“执行调度”,让该作业运行起来。 创建补数据。 您在创建了一个周期调度作业后,用户需要为该任务进行补数据的操作。 在数据开发主界面的左侧导航栏,选择“运维调度
开通归档日志详情请参考Oracle数据源如何开通归档日志、查询权限和日志解析权限?。 Oracle 需表查询权限和日志解析权限,开通对应权限详情请参考Oracle数据源如何开通归档日志、查询权限和日志解析权限?。 整库场景 源端配置。 添加数据源,选择需要迁移的Oracle表。
予成员后,成员即具有了角色的所有权限。每位成员至少要拥有一个角色,并且可以同时拥有多种角色。 数据集成集群 一个数据集成集群运行在一个弹性云服务器之上,用户可以在集群中创建数据迁移作业,在云上和云下的同构/异构数据源之间批量迁移数据。 数据源 即数据的来源,本质是讲存储或处理数据
"urn:smn:cn-north-7:0833a5737480d53b2f25c010dc1a7b88:DataArts_Topic_Approver_cn-north-7_0833a5737480d53b2f25c010dc1a7b88_dlg_ds_d8wwN1SH",
图1 数据连接 创建一个到DLI的连接,数据连接类型选择“数据湖探索(DLI)”,数据连接名称设置为“dli”。 完成设置后,单击“测试”,测试成功后单击“确定”,完成DLI数据连接的创建。 图2 创建数据连接 DLI连接创建完成后,跳转到数据开发页面。 图3 跳转到数据开发页面
rts Studio功能,工作空间的划分通常按照分子公司(如集团、子公司、部门等)、业务领域(如采购、生产、销售等)或者实施环境(如开发、测试、生产等),没有特定的划分要求。 工作空间从系统层面为管理者提供对使用DataArts Studio的用户(成员)权限、资源、DataArts
荐您启用数据开发调度即可,无需配置CDM定时任务。 定时任务功能原理:采用Java Quartz定时器,类似Cron表达式配置。对起始时间解析出分,小时,天,月。构造出cronb表达式。 以配置天调度为例:重复周期选择1天:若当前时间2022/10/14 12:00,配置起始时间为2022/10/14
调试API工作流:在API工作流列表页面,单击对应工作流操作栏中的“更多 > 调试”,即可进入API工作流调试页面。 在添加请求参数后,单击“开始测试”,右侧返回结果回显区域打印API调用的Response信息。调试流程与API调试流程基本一致,可参考调试API。 发布API工作流:在A
rts Studio功能,工作空间的划分通常按照分子公司(如集团、子公司、部门等)、业务领域(如采购、生产、销售等)或者实施环境(如开发、测试、生产等),没有特定的划分要求。 工作空间从系统层面为管理者提供对使用DataArts Studio的用户(成员)权限、资源、DataArts
业务ID参数获取说明 方法 说明 $job_id 数据开发作业id。获取该ID请参考查询作业详情。 $instance_id 作业实例id(单节点作业测试运行不生成实例id,不支持)。获取该ID请参考查询作业实例列表。 父主题: 数据开发
默认在DataArts Studio数据开发组件执行脚本、测试运行作业时,数据源(此处指MRS/DWS数据源)会使用数据连接上的账号进行认证鉴权。因此在数据开发时,权限管控依然无法生效。需要您启用细粒度认证,使得在数据开发执行脚本、测试运行作业时,使用当前用户身份认证鉴权,从而做到实现不
如果作业和脚本中同时配置了同名的参数,作业中配置的值会覆盖脚本中的值。 说明: 在非调度场景的DLI SQL脚本运行和DLI SQL单任务作业测试运行时,系统会默认开启以下四个配置参数: spark.sql.adaptive.enabled(启用AQE,使Spark能够根据正在处理的
略,因此需要先将IAM上的用户信息同步到数据源上,详见同步IAM用户到数据源。 如果希望在DataArts Studio数据开发执行脚本、测试运行作业时,使用当前用户身份认证鉴权以实现行级访问控制策略生效,则需要启用细粒度认证。 为确保行级访问控制策略生效,须确保策略中指定的用户
配置SQLServer源端参数 支持从云端的数据库服务导出数据。 这些非云服务的数据库,既可以是用户在本地数据中心自建的数据库,也可以是用户在ECS上部署的,还可以是第三方云上的数据库服务。 表1 SQLServer作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 使用SQL语句
集群ID编号。 instance_name String 集群名。 intranet_host String 内网地址。 external_host String 外网地址。 domains Array of strings 网关域名。 表5 ApiPublishDTO 参数 参数类型
配置用户数据消费程序的唯一标识符,不存在时会自动创建。 cdm 数据格式 解析数据时使用的格式: 二进制格式:适用于文件迁移场景,不解析数据内容原样传输。 CSV格式:以CSV格式解析源数据。 JSON格式:以JSON格式解析源数据。 二进制格式 字段分隔符 数据格式为“CSV格式”时呈现
{ "id" : 0, "model_id" : "1255482244563357696", "name_ch" : "测试维度", "name_en" : "dim_test_dimension", "alias" : "", "owner" : "test_user"
配置PostgreSQL源端参数 支持从云端的数据库服务导出数据。 这些非云服务的数据库,既可以是用户在本地数据中心自建的数据库,也可以是用户在ECS上部署的,还可以是第三方云上的数据库服务。 表1 PostgreSQL作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 使用SQL语句