检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备工作简介 您需要完成注册华为账号、购买DataArts Studio实例、访问DataArts Studio实例控制台、管理工作空间、授权用户使用DataArts Studio等一系列准备工作,才能开始DataArts Studio的正式使用。 需要进行的准备工作如下图所示,具体操作请参考后续章节。
除新建的存储桶即可;另外,DataArts Studio作业日志和DLI脏数据默认存储在以dlf-log-{Project id}命名的OBS桶中,在退订DataArts Studio后可以一并删除。 MRS MRS计费说明 MRS服务支持按需和包周期计费。本例中使用按需计费,完
通过白名单授权IAM认证方式API IAM认证方式的API当前支持应用和白名单两种授权方式,通过IAM类型应用授权仅能授权给当前账号,而通过白名单授权可授权给任意账号,请您根据使用场景任选一种方式进行授权。 通过IAM类型应用授权。IAM类型应用本质上是当前的华为账号,每个DataArts
查看并修改CDM集群配置 操作场景 CDM集群已经创建成功后,您可以查看集群基本信息,并修改集群的配置。 查看集群基本信息: 集群信息:集群版本、创建时间、项目ID、实例ID和集群ID等。 节点配置:集群规格、CPU和内存配置等信息。 网络信息:网络配置。 支持修改集群的以下配置:
data data object 审批单撤回的返回结果,成功的个数。 表5 data 参数 参数类型 描述 value String 审批单撤回的对象个数 状态码:400 表6 响应Body参数 参数 参数类型 描述 error_code String 错误码,如DS.6000,请求处理失败。
version_tag String 版本标记,只读。 description String 版本描述。 biz_id String 业务对象ID,ID字符串。 biz_type String 业务实体类型。 枚举值: AGGREGATION_LOGIC_TABLE: 汇总表 ATOMIC_INDEX:
作业名称不得包含中文字符、超出长度限制等。如果作业名称不符合规则,将导致提交MRS作业失败。 Jar包资源 是 选择Jar包。在选择Jar包之前,您需要先将Jar包上传至OBS桶中,并在“资源管理”页面中新建资源将Jar包添加到资源管理列表中,具体操作请参考新建资源。 Jar包参数 否 Jar包的参数。 输入数据路径
式。 说明: STANDALONE模式主要是用来解决版本冲突问题的运行模式。当同一种数据连接的源端或者目的端连接器的版本不一致时,存在jar包冲突的情况,这时需要将源端或目的端放在STANDALONE进程里,防止冲突导致迁移失败。 创建MRS安全集群的kerberos认证用户 如
创建数据连接需要注意哪些事项? RDS数据连接方式依赖于OBS。如果没有与DataArts Studio同区域的OBS,则不支持RDS数据连接。 主机连接当前仅支持Linux系统主机。 当所连接的数据湖发生变化(如MRS集群扩容等情况)时,您需要重新编辑并保存该连接。 数据连接中
创建IAM用户并授予DataArts Studio权限 如果您需要对您所拥有的DataArts Studio进行精细的权限管理,您可以使用统一身份认证服务(Identity and Access Management,简称IAM)。通过IAM,您可以: 根据企业的业务组织,在您的
项目ID,获取方法请参见项目ID和账号ID。 表2 Query参数 参数 是否必选 参数类型 描述 action-id 是 String 需要执行的动作,根据导入的对象不同而选择不同的导入动作。 枚举值: import_relation: 导入关系模型:逻辑实体/物理表 import_dimension:
请求服务器返回指定资源。 PUT 请求服务器更新指定资源。 POST 请求服务器新增资源或执行特殊操作。 DELETE 请求服务器删除指定资源,如删除对象等。 HEAD 请求服务器资源头部。 PATCH 请求服务器更新资源的部分内容。 当资源不存在的时候,PATCH可能会去创建一个新的资源。
创建IAM用户并授予DataArts Studio权限 如果您需要对您所拥有的DataArts Studio进行精细的权限管理,您可以使用统一身份认证服务(Identity and Access Management,简称IAM)。通过IAM,您可以: 根据企业的业务组织,在您的
参数类型 描述 total Integer 总量。 records Array of ApprovalVO objects 查询到的审批单对象(ApprovalVO)数组。 表7 ApprovalVO 参数 参数类型 描述 id String 审批单ID,ID字符串。 tenant_id
SQL管理面直连的作业支持调试,MRS租户面连接暂不支持。 Flink SQL作业调试仅支持MRS集群,进行调试前请先选择MRS集群。OBS桶必须选择并行文件桶,可以在工作空间进行默认配置,请参见Flink调试OBS桶,支持在Flink SQL作业调试时修改。 查看脚本执行结果时,双击任意一行的一个字段,可以查看该行的结果详情,支持复制字段名称。
如何降低CDM使用成本? 如果是迁移公网的数据上云,可以使用NAT网关服务,实现CDM服务与子网中的其他弹性云服务器共享弹性IP,可以更经济、更方便的通过Internet迁移本地数据中心或第三方云上的数据。 具体操作如下: 假设已经创建好了CDM集群(无需为CDM集群绑定专用弹性
y体则无需填写和校验。 响应参数 状态码:200 表4 响应Body参数 参数 参数类型 描述 data data object 导出结果对象。 表5 data 参数 参数类型 描述 status String 标识本次导出的唯一值,用于查询导入结果。importing(导出中)
relationship_attributes Object 关联关系属性,数据类型Map<String, Object>,key:关系类型:value:关联关系对象。 super_type_names Array of strings 父类资产类型。 business_attributes Object
CDM有哪些优势? 云数据迁移(Cloud Data Migration,简称CDM)服务基于分布式计算框架,利用并行化处理技术,使用CDM迁移数据的优势如表1所示。 表1 CDM优势 优势项 用户自行开发 CDM 易使用 自行准备服务器资源,安装配置必要的软件并进行配置,等待时间长。
作业id node_name 否 String 算子名称 table_lineage 否 TableLineageV2 object 血缘对象 表4 TableLineageV2 参数 是否必选 参数类型 描述 input_tables 是 Array of TableInfoV2