检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
“生成元数据”重新生成新的元数据xml文件。 生成的元数据xml文件,属性(Property)中的数据复合类型(Cardinality),目前仅支持填写为“single”类型,不支持自定义。 生成元数据功能本身,支持一次生成多对点表和边表的元数据xml文件。但考虑到Import
密钥管理能力,落地数据的加密需求。 数据脱敏是通过一定的规则对特定数据对象进行变形的一类技术,用于防止数据泄露和违规使用等。 数据水印技术通过对数据进行处理使其承载特定信息,使得数据具备追溯数据所有者与分发对象等信息的能力。在数据处理过程中起到威慑及追责的作用。 数据泄密防护技术
单击“访问方式”后面的,修改访问方式。 勾选“编程访问”和“管理控制台访问”。 图4 配置访问方式 单击“确定”。 在管理控制台创建工作空间时,作业日志OBS路径只支持OBS对象桶,不支持并行文件系统。如果不配置作业日志OBS路径,DataArts Studio数据开发默认会把日志写到dlf-log-{projectId}桶中,DataArts
他人。 如果实例的处理人是当前登录用户则可以对业务场景实例进行处理操作,包括填写意见和转交给他人处理。 更多 > 处理日志 可查看历史处理记录。 父主题: 业务指标监控(待下线)
在新版本模式下仅当使用企业版时,才支持配置未来表权限。旧版本模式使用基础版及更高版本时即可支持。 前提条件 配置权限集前,已在管理中心创建数据仓库服务(DWS)类型的数据连接,请参考创建DataArts Studio数据连接。 约束与限制 指定的未来表用户需要有对应Schema下的Create表权限。
DLI数据连接参数说明 表1 DLI数据连接 参数 是否必选 说明 数据连接类型 是 DLI连接固定选择为数据湖探索(DLI)。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。
添加订阅 购买数据模型数量增量包 单击已开通实例卡片上的“购买增量包”。 进入购买DataArts Studio增量包页面,按照如下配置: 增量包类型:选择数据模型数量增量包。 计费方式:当前仅支持套餐包。 增量包规格:请根据您的业务情况选择合适的增量包规格。 购买时长:表示此套餐包的有效时长。
同时,可通过在Hudi的目的端配置中单击“Hudi表属性全局配置”或在映射后的单表“表属性编辑”中,添加优化参数。 图1 添加自定义属性 表1 Hudi写入优化参数 参数名 类型 默认值 说明 hoodie.sink.flush.tasks int 1 Hudi flush数据时的并发数,默认为1,即顺序写入。当H
数据安全API概览 表1 数据安全API类型 类型 说明 权限管理接口 权限管理接口。 识别规则接口 识别规则接口。 规则分组接口 规则分组接口。 数据权限查询接口 数据权限查询接口。 数据密级接口 数据密级接口。 权限应用接口 权限应用接口。 敏感数据分布接口 敏感数据分布接口。
节进行切换。 约束与限制 当前开发态细粒度认证仅支持DWS、代理模式的MRS Hive和MRS SPARK类型数据连接,调度态细粒度认证仅支持代理模式的MRS Hive类型数据连接。 仅DAYU Administrator、Tenant Administrator或者数据安全管理员有权限配置细粒度认证状态。
获取Spark作业的演示JAR包,并在数据开发模块中关联到此JAR包。 创建数据开发模块作业,通过DLI Spark节点提交Spark作业。 环境准备 已开通对象存储服务OBS,并创建桶,例如“obs://dlfexample”,用于存放Spark作业的JAR包。 已开通数据湖探索服务DLI,并创建
买即可进入DataArts Studio实例创建界面。 图1 试用初级版 试用初级版注意事项: 云产品体验名额有限,领完即止。 符合“参与对象”的同一用户仅能对同一产品申请一次。 试用产品的升级:用户试用过程中,主动进行升配等操作,将按照官网标准价格收费;如果进行降配或切换计费方式等,将不进行退费。
运行完成后,单击画布上方的保存按钮,保存作业的配置信息。 保存后,在右侧的版本里面,会自动生成一个保存版本,支持版本回滚。保存版本时,一分钟内多次保存只记录一次版本。对于中间数据比较重要时,可以通过“新增版本”按钮手动增加保存版本。 模板 在开发Flink SQL单任务实时处理作业时,系统支持
c19175d736f05b1945dab4675df19311834ede0d9b1978b11b50c86687baf85c 完成请求消息入参准备。 表2 参数 参数类型 参数说明 使用示例 path参数 路径参数,作为url的一部分,直接替换url中{}标识的参数。 参数:param = xxx 原url
同时,可通过在Hudi的目的端配置中单击“Hudi表属性全局配置”或在映射后的单表“表属性编辑”中,添加优化参数。 图1 添加自定义属性 表1 Hudi写入优化参数 参数名 类型 默认值 说明 hoodie.sink.flush.tasks int 1 Hudi flush数据时的并发数,默认为1,即顺序写入。当H
前提条件 MRS集群已开启存算分离功能,已在管理中心创建MapReduce服务(MRS Hive)和MapReduce服务(MRS Ranger)类型的数据连接,请参考创建DataArts Studio数据连接。 使用建库申请功能前,已参考授权dlg_agency委托为dlg_agency委托配置权限。
配置Hive源端参数 作业中源连接为Hive连接时,源端作业参数如表1所示。 表1 Hive作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 数据库名称 输入或选择数据库名称。单击输入框后面的按钮可进入数据库选择界面。 default 表名 输入或选择Hive表名
规格增量包的购买方式类似,本例以购买“作业节点调度次数/天增量包”为例进行说明。 单击已开通实例卡片上的“购买增量包”。 进入购买DGC增量包页面,按照如下配置: 增量包类型:选择规格增量包,如作业节点调度次数/天增量包、技术资产数量增量包或数据模型数量增量包。 计费方式:当前仅支持套餐包。 增量包规格:请根据您的业务情况选择合适的增量包规格。
},参数名称需要设置为dlf.xxx。 参数值 是 参数值当前支持常量和EL表达式,不支持系统函数。例如支持123,abc;如果参数是字符串类型需要加上英文的双引号(""),如"05"。 关于EL表达式的使用,请参见表达式概述。 描述 否 参数说明。 配置完一个环境变量后,您还可以进行新增、修改、删除、重置等操作。
空间下已分配的队列资源。 当为用户组/用户配置队列权限策略后,授权对象将按照策略内容被授予相应权限。 配置空间资源权限策略 数据安全支持对空间资源进行管控,例如数据连接、委托等资源。空间资源管控后,对于非授权对象的普通用户,则无权再查看并使用此资源。 Ranger权限管理流程 配置资源权限