检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
},参数名称需要设置为dlf.xxx。 参数值 是 参数值当前支持常量和EL表达式,不支持系统函数。例如支持123,abc;如果参数是字符串类型需要加上英文的双引号(""),如"05"。 关于EL表达式的使用,请参见表达式概述。 描述 否 参数说明。 配置完一个环境变量后,您还可以进行新增、修改、删除、重置等操作。
database 否 String 待抽取数据的数据库,例如“default”。 fromJobConfig.table 是 String 待抽取数据的表名,例如“cdm”。 fromJobConfig.columnList 否 String 需要抽取的列号,列号之间使用“&”分割,并由小到大排序,例如:“1&3&5”。
按照主题进行重组,最终进入数据仓库。 数据仓库主要用于支撑企业决策分析,所涉及的数据操作主要是数据查询。因此数据仓库通过表结构优化、存储方式优化等方式提高查询速度、降低开销。 表1 数据仓库与数据库的对比 维度 数据仓库 数据库 应用场景 OLAP OLTP 数据来源 多数据源
前提条件 已创建集群。 已参见表1获取相应Hadoop集群配置文件和Keytab文件。 获取集群配置文件和Keytab文件 不同Hadoop类型的集群配置文件和Keytab文件获取方式有所不同,请参见表1获取相应Hadoop集群配置文件和Keytab文件。 表1 集群配置文件和Keytab文件获取方式
e/applys/{apply_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 apply_id 是 String 审核信息ID。 请求参数 表2 请求Header参数 参数 是否必选 参数类型
68-1-212:9083 linkConfig.obsSupport 是 Boolean 需服务端支持OBS存储。在创建Hive表时,您可以指定将表存储在OBS中。 linkConfig.runMode 是 枚举 “HIVE_3_X”版本支持该参数。支持以下模式: EMBEDD
Hive中创建数据表。 您可以在DataArts Studio数据开发模块中,可视化方式创建数据表,具体操作请参见新建数据表章节。 您可以通过在DataArts Studio数据开发模块或MRS客户端上,开发并执行用于创建数据表的SQL脚本,从而创建数据表。在DataArts
SAP HANA数据连接参数说明 表1 SAP HANA数据连接 参数 是否必选 说明 数据连接类型 是 RDS(SAP HANA)连接固定选择为RDS(SAP HANA)。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否
OpenSource ClickHouse数据连接参数说明 表1 OpenSource ClickHouse数据连接 参数 是否必选 说明 数据连接类型 是 OpenSource ClickHouse连接固定选择为MapReduce服务(OpenSource ClickHouse)。
新增样本库分类 样本库分类创建完成后,在右侧点样本列表中单击“新建”,新建样本。新建样本时,默认填充分类为左侧选中的分类。 图3 新建样本 在弹出的新建窗口中填写样本信息,参考表1完成配置。配置完成后单击“确定”即可。 图4 新建样本窗口 表1 新建样本参数配置 参数 参数描述 *名称
在作业目录中选择需要重命名的作业,右键单击作业名称,选择“重命名”。 图2 重命名作业 在弹出的“重命名作业名称”页面,配置新作业名。 图3 重命名作业名称 表1 重命名作业参数 参数 说明 作业名称 自定义作业的名称,只能包含英文字母、数字、中文、“-”、“_”、“.”,且长度为1~128个字符。
图1 DCMM标准模型 DCMM将数据管理能力成熟度划分为五个等级,自低向高依次为初始级、受管理级、稳健级、量化管理级和优化级,不同等级代表企业数据管理和应用的成熟度水平不同。 图2 DCMM标准等级 如何初步判断评估等级 DCMM评估包含的内容也较多,且向下兼容,所以申请高等级
移CSV文件到表时,CDM默认是全部写入,当该参数选择“true”时,CDM会将CSV文件的第一行数据作为标题行,不写入目的端的表。 fromJobConfig.fromCompression 否 枚举 压缩格式,表示选择只传输对应压缩格式的源文件。“NONE”表示传输所有格式的文件。
选择“移动”。 图1 选择要移动的作业 在弹出的“移动作业”或“移动目录”页面,配置作业要移动到的目录。 图2 移动作业 图3 移动目录 表1 移动作业/作业目录参数 参数 说明 选择目录 选择作业或作业文件夹要移动到的目录,父级目录默认为根目录。 单击“确定”,移动作业。 方式二:通过拖拽的方式。
至少新增一个根目录层级分类。后续再新建分类时,可通过或,新增同级或子级分类。 单击或后,在弹出的新建分类窗口中,参考表1填写数据分类信息。 图2 新建数据分类 表1 参数设置 参数名 参数设置 *分类名称 分类名称只能包含中文、英文字母、数字和下划线。 描述 分类描述支持所有字符输入。
号映射”页签。 在“账号映射”页面,单击“新建”,创建账号映射策略。 图1 配置账号映射策略 新建账号映射策略配置请参考表1,参数配置完成单击“确定”即可。 表1 参数设置 参数名 参数设置 *策略名称 标识账号映射策略,实例下唯一。 建议名称中包含含义,避免无意义的描述,以便于快速识别所需账号映射策略。
重名数据库)。 测试通过后,选择空间权限集,填写数据库描述信息和申请原因,单击“确定”完成申请。 图5 建库申请页面 返回建库申请的工单列表后,工单创建成功即申请完成。 图6 工单创建完成 审批建库申请 由DAYU Administrator、Tenant Administrator、数据安全管理员审批建库申请。
作业每月15号执行一次。A作业的执行依赖B作业上个月15号的运行实例。 周依赖小时 规则:依赖自然天,范围是[前一天的零点,当天的零点),查找前一天的小时任务作业B是否执行完成,然后执行周任务作业A。 举例:A依赖B,A作业每周一调度,B作业每小时第50分钟执行。则A作业会一直等
A作业会在B作业执行完成后执行。 图14 天依赖月 周依赖小时 规则:依赖自然天,范围是[当天的零点零分零秒,当天的23点59分59秒),查找当天的小时任务作业B是否全部执行完成,然后执行周任务作业A。 举例:A依赖B,A作业每周一调度,B作业每小时第50分钟执行。则A作业会一直