检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
参考客户建议,根据客户业务需求创建作业。 网络打通 Migration资源组需要打通数据源的网络连通。在DRS任务的基本信息中查看数据源配置,根据Migration网络打通教程完成网络打通。 图4 查看数据源配置 Migration作业创建与启动 创建作业。 根据准备好的作业拆分方案创建Migration作业,暂不启动作业。
code String 编码。 create_by String 创建人。 tenant_id String 租户ID。 description String 描述。 status String 实体的发布状态,只读,创建和更新时无需填写。 枚举值: DRAFT: 草稿 PUBLISH_DEVELOPING:
内网域名名称。 enterprise_project_id String 企业项目ID。 create_time Long 创建时间。 create_user String 创建人。 current_namespace_publish_api_num Integer 当前工作空间已发布的API数量。
Integer 数据密级等级。 description String 数据密级描述。 created_by String 创建者。 created_at Long 创建时间。 updated_by String 更新者。 updated_at Long 更新时间。 instance_id
包发布的相关操作权限。在企业模式中,开发者提交脚本或作业版本后,系统会对应产生发布任务。开发者确认发包后,需要部署者审批通过,才能将修改后的作业同步到生产环境。 自定义角色:如果预置角色不能满足您的需求,您也可以创建自定义角色。自定义角色的权限可自由配置,实现业务操作权限最小化。
分类名称。 description 否 String 分类描述。 create_user 否 String 分类创建者。 create_time 否 Number 分类创建时间。 update_time 否 Number 分类更新时间。 update_user 否 String 分类更新者。
id String 创建时传空,更新时必填。ID字符串。 qualified_id String 认证ID,自动生成。 create_by String 创建人。 update_by String 更新人。 create_time String 创建时间,只读,格式遵循RFC
id String 创建时传空,更新时必填。ID字符串。 qualified_id String 认证ID,自动生成。 create_by String 创建人。 update_by String 更新人。 create_time String 创建时间,只读,格式遵循RFC
修改JSON 创建DLF作业 获取CDM作业的JSON 进入CDM主界面,创建一个DWS到OBS的表/文件迁移作业。 在CDM“作业管理”界面的“表/文件迁移”页签下,找到已创建的作业,单击作业操作列的“更多 > 查看作业JSON”,如图1所示。 您也可以使用其它已创建好的CDM作业JSON。
约束与限制 仅当创建IAM用户时的访问方式勾选“编程访问”后,此IAM用户才能通过认证鉴权,从而使用API、SDK等方式访问DataArts Studio。 各组件API的流量限制请参见API概览。 数据集成API的约束如下: CDM的作业数据量太多,会造成数据库压力,建议定时清理不需要的作业。
同步场景相关介绍请参见同步场景。 配置网络资源:选择已创建的MySQL、MRS Hudi数据连接和已配置好网络连接的资源组。 图4 选择数据连接及资源组 无可选数据连接时,可单击“新建”跳转至管理中心数据连接界面,单击“创建数据连接”创建数据连接,详情请参见配置DataArts Studio数据连接参数进行配置。
and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"] projectId = "{project_id}"
app_secret String 应用secret。 register_time Long 创建时间。 update_time Long 更新时间。 create_user String 创建者。 update_user String 更新者。 app_type String 应用类型。
CDM迁移数据到DWS时如何选取分布列? 解决方案 在使用CDM迁移数据到数据仓库服务(DWS)或者FusionInsight LibrA,且CDM在DWS端自动创建一个新表时,在创建作业的字段映射界面,需要选择分布列,如图1所示。 图1 选取分布列 由于分布列的选取,对于DWS/FusionInsight Li
数据主体列表。 createTime 否 String 创建时间,格式遵循RFC3339,精确到秒,UTC时区,即yyyy-mm-ddTHH:MM:SSZ,如1970-01-01T00:00:00Z。 createBy 否 String 创建人。 updateTime 否 String 更
调试API 操作场景 API创建后需要验证服务是否正常,管理控制台提供调试功能,您可以添加HTTP头部参数与body体参数,调试API接口。 后端路径中含有环境变量的API,不支持调试。 API绑定签名密钥时,不支持调试。 如果API已绑定流控策略,在调试API时,流控策略无效。
已完成新建数据连接的操作。 已完成新建数据库的操作。 使用案例 创建SQL脚本 在数据开发主界面的左侧导航栏,选择“数据开发 > 脚本开发”。 创建一个SQL脚本。本案例以MRS SPARK SQL为例。 选择已创建好的数据连接和数据库。 编写SQL脚本,从源表table1这张数据表里面获取最大时间值数据。
DATA_QUALITY: 创建质量作业 TECHNICAL_ASSET: 同步技术资产 META_DATA_LINK: 资产关联 PHYSICAL_TABLE: 创建表(生产环境) DEV_PHYSICAL_TABLE: 创建表(开发环境) DLF_TASK: 创建数据开发作业 MATERIALIZATION:
提交时间。 create_by String 创建者。 l1 String 主题域分组中文名,只读,创建和更新时无需填写。 l2 String 主题域中文名,只读,创建和更新时无需填写。 l3 String 业务对象中文名,只读,创建和更新时无需填写。 approval_time
sync_msg String 同步日志。 sync_time Long 同步时间。 create_time Long 创建时间。 create_user String 创建者。 update_time Long 更新时间。 update_user String 更新者。 状态码: 400