检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在“详情”页签,可查看技术元数据基本属性、编辑描述;可给数据表添加标签和密级;可给数据表的列和OBS对象添加或删除分类、标签和密级。 图1 查看详情 在“权限”页签,可申请数据表权限或给其他用户授权。
仅当源端为Hive2.x且数据存储在HDFS、目的端为Hive3.x且数据存在OBS并行文件系统时,才支持文件迁移。 当选择文件迁移时,需保证源端和目的端的表格式和属性需一致才能迁移成功。 记录迁移 文件迁移 分区过滤条件 “读取方式”选择“HDFS”时显示此参数。
同时,可通过在Hudi的目的端配置中单击“Hudi表属性全局配置”或在映射后的单表“表属性编辑”中,添加优化参数。
在逻辑模型中,找到所需要的逻辑模型,单击模型卡片进入,在主题目录中选择对象,然后单击“更多 > 导出”。 图4 导出表或DDL 在弹出对话框中,选择需要导出的对象。 导出的Excel表可以用于导入操作。 图5 导出表 导出DDL时,会将所选表的DDL语句导出成txt文件。
本例中使用按需计费,完成后删除新建的存储桶即可;另外,DataArts Studio作业日志和DLI脏数据默认存储在以dlf-log-{Project id}命名的OBS桶中,在退订DataArts Studio后可以一并删除。
指定每次批量提交的行数,根据数据目的端和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。 10000 SSL加密 可选参数,控制是否通过SSL加密方式连接数据库,创建云数据MySQL连接时显示该参数。
然后生成okhttp3.Request对象来访问API。
图3 选择连接器类型 连接器类型选择“对象存储服务(OBS)”后,单击“下一步”配置OBS连接参数,如图5所示。 名称:用户自定义连接名称,例如“obslink”。 OBS服务器、端口:配置为OBS实际的地址信息。 访问标识(AK)、密钥(SK):登录OBS的AK、SK。
选择所需导出的逻辑实体,单击列表上方的“导出”按钮,导出所选的逻辑实体,建议导出对象选择为“表”。导出完成后,即可通过浏览器下载地址,获取到导出的xlsx文件。 图7 导出逻辑实体 在主题树上方,依次选择其他模型,进入模型后重复步骤3,依次下载其他模型的表/实体。
l3 String 业务对象中文名,只读,创建和更新时无需填写。 l1_id String 主题域分组ID,只读,ID字符串。 l2_id String 主题域ID,只读,创建和更新时无需填写。 l3_id String 业务对象ID,只读,ID字符串。
throttlingConfig.obsBucket 否 String 写入脏数据的OBS桶的名称,只有当脏数据要写入OBS连接的时候,此参数才生效。例如:“dirtyData”。
OBS桶不存在。 请检查OBS桶。 400 DLF.2014 The job object type is invalid. 作业类型不合法。 请检查作业类型。 400 DLF.3004 The job name cannot be left blank. 作业名称不能为空。
同时,可通过在Hudi的目的端配置中单击“Hudi表属性全局配置”或在映射后的单表“表属性编辑”中,添加优化参数。
CSS 功能 通过CSS节点执行云搜索请求,实现在线分布式搜索功能。 参数 用户可参考表1和表2配置CSS节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称,可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符,长度为1~128
目的端作业配置 目的连接名称:选择创建DWS连接中的连接“dwslink”。 模式或表空间:选择待写入数据的DWS数据库。 自动创表:只有当源端和目的端都为关系数据库时,才有该参数。 表名:待写入数据的表名,可以手动输入一个不存在表名,CDM会在DWS中自动创建该表。
“OBS”触发事件类型的参数(当前仅上海二区域支持) 说明: “OBS”触发事件类型的事件驱动调度,依赖于OBS的“事件通知 -> DIS通知”功能,由于OBS该功能在华为云暂未正式上线,因此当前暂时无法使用OBS触发事件类型。 OBS路径 选择要监听的OBS路径。
l3 String 业务对象中文名,只读,创建和更新时无需填写。 l1_id String 主题域分组ID,只读,ID字符串。 l2_id String 主题域ID,只读,创建和更新时无需填写。 l3_id String 业务对象ID,只读,ID字符串。
ak = os.environ("SDK_AK"); sk = os.environ("SDK_SK"); sig = signer.Signer() sig.Key = ak sig.Secret = sk 生成一个Request对象,指定方法名、请求uri、header和body
= System.Environment.GetEnvironmentVariable("SDK_SK"); Signer signer = new Signer(); signer.Key = ak; signer.Secret = sk; 生成一个HttpRequest对象
biz_info String 业务对象信息。 status String 实体的发布状态,只读,创建和更新时无需填写。