检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果从其他数据源逆向过来的表,在维度中已存在同名的表,选择是否更新已有的维度。 名称来源 逆向后表名称/字段名称的来源,可以是描述或者是相应英文名,如表/字段未指定描述则固定使用英文名。 来自描述 来自英文名称 说明: 进行逆向数据库配置时,如果逆向后表中文名称/字段中文名称的来源选择“来自描述”,则用中文名在进行描述时,表的字段注释不能重复。
MongoDB/DDS作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 数据库名称 选择待迁移的数据库。 mongodb 集合名称 相当于关系数据库的表名。单击输入框后面的按钮可进入选择集合名的界面,用户也可以直接输入集合名称。 如果选择界面没有待选择的表,请确认表是否已经创建,或者对应连接里的账号是否有元数据查询的权限。
“重复周期”配置为1天。 “开始时间”配置为每天凌晨0点1分执行。 这样CDM每天凌晨自动执行全量迁移,但因为“重复文件处理方式”选择了“跳过重复文件”,相同名称且相同大小的文件不迁移,所以只会上传每天新增的文件。 单击“保存”,完成CDM的增量同步配置。 父主题: 使用CDM上传数据到OBS
同区域和规格,如果非相同区域和规格,则无法使用套餐包。CDM集群规格和区域可以通过进入CDM主界面,进入“集群管理”,单击集群列表中的集群名称查看。 如果套餐包和实际的CDM集群具有相同区域和规格,则以下情况也会产生按需费用: 如果您先购买按需计费增量包,再购买套餐包,则在购买套
配置作业 单击“下一步”,进入“字段映射”配置页面后,单击源字段图标。 图2 配置字段映射 选择“自定义字段”页签,填写字段名称及字段值后单击“确认”按钮,例如: 名称:InputTime。 值:${timestamp()},更多时间宏变量请参见表1。 图3 添加字段 表1 时间变量宏定义具体展示
配置作业 单击“下一步”,进入“字段映射”配置页面后,单击源字段图标。 图2 配置字段映射 选择“自定义字段”页签,填写字段名称及字段值后单击“确认”按钮,例如: 名称:InputTime。 值:${timestamp()},更多时间宏变量请参见表1。 图3 添加字段 表1 时间变量宏定义具体展示
存在同名的表,选择是否更新已有的事实表。 名称来源 逆向后表名称/字段名称的来源,可以是描述或者是相应英文名,如表/字段未指定描述则固定使用英文名。 来自描述 来自英文名称 说明: 进行逆向数据库配置时,如果逆向后表中文名称/字段中文名称的来源选择“来自描述”,则用中文名在进行描述时,表的字段注释不能重复。
参数说明 说明 *所属主题 单击“选择主题”,选择表所属的主题域分组、主题域和业务对象。 *表名称 设置表名称。只允许除\、<、>、%、"、'、;及换行符以外的字符。 *表英文名称 设置表英文名称。只能包含英文字母、数字和下划线,且以dws_开头。 *资产责任人 在下拉框中选择资产责任
配置OBS目的端参数 作业中目的连接为OBS连接时,即导入数据到云服务OBS时,目的端作业参数如表1所示。 高级属性里的参数为可选参数,默认隐藏,单击界面上的“显示高级属性”后显示。 表1 OBS作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 桶名 写入数据的OBS桶名。
DataArts Studio支持的数据源 在使用DataArts Studio前,您需要根据业务场景选择符合需求的云服务或数据库作为数据底座,由数据底座提供存储和计算的能力,DataArts Studio基于数据底座进行一站式数据开发、治理和服务。 DataArts Studio支持的数据源
SQL节点的Select语句的执行结果。使用EL表达式#{Job.getNodeOutput('HIVE')},其中HIVE为前一个节点的名称。 子作业参数:子作业参数是子作业中定义的参数,可以将主作业前一个节点的输出,传递到子作业以供使用。此处变量名为result,其值为数据集中的某一列,使用EL表达式#{Loop
b1978b11b50c86687baf85c 获取“ApiGateway-android-sdk.zip”压缩包,解压后目录结构如下: 名称 说明 app\ 安卓工程代码 gradle\ gradle相关文件 build.gradle gradle配置文件 gradle.properties
de0d9b1978b11b50c86687baf85c 获取“ApiGateway-go-sdk.zip”压缩包,解压后目录结构如下: 名称 说明 core\escape.go SDK代码 core\signer.go demo.go 示例代码 新建工程 打开IntelliJ IDEA,选择菜单“File
9b1978b11b50c86687baf85c 获取“ApiGateway-csharp-sdk.zip”压缩包,解压后目录结构如下: 名称 说明 apigateway-signature\Signer.cs SDK代码 apigateway-signature\HttpEncoder
kmsKey 是 String KMS密钥名称。 通过KMS管理控制台获取密钥名称: 登录管理控制台。 单击“密钥管理服务”,左侧列表选择密钥管理。 在密钥列表可以获取到密钥名称。 agentName 是 String 连接代理,即CDM集群名称。 通过DataArts Studio管理控制台
属性参数 参数 是否必选 说明 MRS作业名称 否 MRS的作业名称。 如果未设置MRS作业名称且选择直连模式时,节点名称只能由英文字母、数字、中划线和下划线组成,长度不能超过64个字符,不能包含中文字符。 系统支持MRS作业名称按照作业名称_节点名称格式自动填入。 SQL脚本 是 选择
name:脚本的名称,由您自行定义,例如取名为dlisql1。 type:脚本类型。 content:脚本的内容。 connectionName:脚本关联的连接名称。 database:脚本执行的时候,关联的数据库名称。 queueName:sql执行的时候,运行在dli的队列名称。 父主题:
在脚本目录中选择需要复制的脚本,右键单击脚本名称,选择“拷贝另存为”。 图1 复制脚本 在弹出的“另存为”页面,配置如表1所示的参数。 表1 脚本目录参数 参数 说明 脚本名称 脚本的名称,只能包含字符:英文字母、数字、中文、中划线、下划线和点号,且长度小于等于128个字符。 说明: 复制后的脚本名称不能和原脚本名称相同。
是 String DLI队列名称 通过DLI管理控制台获取队列名称: 登录管理控制台。 单击“数据湖探索服务”,单击“队列管理”。 在队列管理列表中可以获取到队列名称。 jobName 是 String DLI作业名称 通过DLI管理控制台获取作业名称: 登录管理控制台。 单击“数据湖探索服务”,单击Spark作业。
属性参数 参数 是否必选 说明 MRS作业名称 否 MRS的作业名称。 如果未设置MRS作业名称且选择直连模式时,节点名称只能由英文字母、数字、中划线和下划线组成,长度不能超过64个字符,不能包含中文字符。 系统支持MRS作业名称按照作业名称_节点名称格式自动填入。 SQL脚本 是 选择