检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
支持记录迁移和文件迁移 默认为记录迁移。仅当源端为Hive2.x且数据存储在HDFS、目的端为Hive3.x且数据存在OBS并行文件系统时,才支持文件迁移。 当选择文件迁移时,需保证源端和目的端的表格式和属性需一致才能迁移成功。 记录迁移 文件迁移 分区过滤条件 “读取方式”选择“HDFS”时显示此参数。
作业级委托优先于工作空间级委托。 日志路径 选择作业日志的OBS存储路径。日志默认存储在以dlf-log-{Projectid}命名的桶中。 说明: 若您想自定义存储路径,请参见(可选)修改作业日志存储路径选择您已在OBS服务侧创建的桶。 请确保您已具备该参数所指定的OBS路径的读、写权限,否则系统将无法正常写日志或显示日志。
Hive列加密不支持视图以及Hive over HBase场景。 支持配置加密类型。 新建脱敏算法 如果内置算法不满足您的需求,您可以新建自定义脱敏算法,自定义脱敏算法支持掩码、截断、哈希、加密、置空、随机脱敏、字符替换、键值脱敏、数值区间变换、模糊脱敏等10余类算法类型。 在DataArts
model 否 WorkspaceVO object 模型信息。 data_format 否 String 数据格式。 obs_bucket 否 String obs桶。 obs_location 否 String 外表路径 configs 否 String 其他配置。 owner 否 String
了工作空间后,才能在此工作空间中使用创建的CDM集群。 企业项目 当关联了多个工作空间后,需要为CDM集群指定一个企业项目。 集群名称 自定义数据集成集群名称。 实例类型 目前数据集成集群支持以下部分规格供用户选择: cdm.large:大规格,8核CPU、16G内存的虚拟机,最大带宽/基准带宽为3/0
表6 value 参数 参数类型 描述 records Array of PublishVersionVO objects 查询到的版本值对象(PublishVersionVO)数组。 total Integer 符合搜索条件的记录总数。 表7 PublishVersionVO 参数
本年 BETWEEN_YEAR: 自定义年区间 LAST_MONTH: 前一月 CURRENT_MONTH: 本月 BETWEEN_MONTH: 自定义月区间 LAST_DAY: 前一天 CURRENT_DAY: 本日 BETWEEN_DAY: 自定义日区间 LAST_HOUR: 上一小时
Hive中的点表和边表,并填写元数据输出的OBS路径,单击生成元数据,系统会自动生成xml格式的元数据文件并回填到OBS路径。 其中MRS Hive中的点表和边表,即为按GES图数据格式要求标准化后的边数据集和点数据集,需要与“边数据集”和“点数据集”参数所选的OBS桶中边数据集和点数据集保持一致。
SelfDefinedFieldVO objects 自定义项。主题的自定义属性项。 表6 parent 参数 是否必选 参数类型 描述 id 否 String 父节点ID。 表7 SelfDefinedFieldVO 参数 是否必选 参数类型 描述 fd_name_ch 否 String 自定义项中文名。 fd_name_en
Flink调试OBS桶 在进行Flink SQL作业调试时,调试OBS桶必须选择并行桶,可以在工作空间进行默认配置。 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。 单击“默认项设置”,可设置“Flink调试OBS桶”配置项。 配置Flink调试OBS桶。 单击“保存”,对设置的配置项进行保存。
concurrentSubJobs] 不存在怎么办”? 问题描述 创建数据连接时报错“配置项[linkConfig.createBackendLinks]不存在”或创建作业时报错“配置项 [throttlingConfig.concurrentSubJobs] 不存在”。 原因分析
密钥对 密码 密钥对 是 “登录方式”为“密钥对”时,显示该配置项。 主机的登录方式为密钥对时,您需要获取并上传其私钥文件至OBS,在此处选择对应的OBS路径。 说明: 此处上传的私钥文件应和主机上配置的公钥是一个密钥对,详情请参见密钥对使用场景介绍。 密钥对密码 是 如果密钥对未设置密码,则不需要填写该配置项。
BLOB: 大对象(BLOB) OTHER: 其它类型 data_type_extend String 数据类型扩展字段。 ref_id String 属性关联对象的id ref_name_ch String 属性关联对象的中文名 ref_name_en String 属性关联对象的英文名
使用的作业参数。original_version (使用原有作业参数)、latest_version (使用最新提交作业参数重跑)。 ignore_obs_monitor 否 boolean 是否忽略obs监听。 node_name 否 String 指定的节点名。当retry_location选择specified_node指定重跑节点。
且作业会运行失败。 MRS Hive 用户具有MRS Hive连接的表的访问权限时,才能在字段映射时看到表。 MRS Hive连接适用于华为云上的MapReduce服务。MRS Hive的连接参数如表1所示。 当前暂不支持对接“Kerberos加密类型”为“aes256-sha2
规则类型选择“内置”,规则名称自动关联分类模板生成。 自定义 *规则名称 规则类型选择“自定义”,您可以自行填写分类名称,名称为必填项。建议包含规则含义,避免无意义的描述,以便于使用中能快速选择需要的规则。 说明: 定义数据识别规则,名称必须唯一。 *识别规则 规则类型选择“自定义”,呈现此参数,支持正则表达式。
DLI Spark 功能 通过DLI Spark节点执行一个预先定义的Spark作业。 DLI Spark节点的具体使用教程,请参见开发一个DLI Spark作业。 参数 用户可参考表1,表2和表3配置DLI Spark节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称
/v1/b384b9e9ab9b4ee8994c8633aabc9505/jobs/myJob/export 响应示例 成功响应 HTTP状态码 200 导出文件名为DLF_myJob.zip,解压后文件结构如下: jobs ├─myJob.job scripts ├─CS_PROCESS_TRIP
(可选)购买DataArts Studio功能增量包 DataArts Studio采用基础包+增量包的计费模式。如果购买的基础包无法满足您的使用需求,您可以额外购买增量包。在购买增量包前,请确保您已购买DataArts Studio实例。 增量包大体可分为功能增量包与规格增量包,功能增量包用于拓展DataArts
单击左侧导航树中的“表权限视图”,进入表权限视图页面。 图1 表权限视图 在表权限视图页面,您可以通过切换页签,查看表权限的不同拥有对象: “表-用户”页签:默认展示当前实例下,通过授权对象为用户的权限申请和审批流程所获取的表权限。支持筛选不同的数据源类型,并通过用户名、集群名称、数据库或表名检索。 权限申请和审批流程详见申请与审批权限。