检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
方法论产品落地 数据治理方法论已经在华为云服务数据治理中心DataArts Studio上落地实现,包括流程落地和功能落地。
目的端作业配置 目的连接名称:选择创建云搜索服务连接中的“csslink”。 索引:待写入数据的Elasticsearch索引,也可以输入一个新的索引,CDM会自动在云上搜索服务中创建。
使用Create OBS节点。 如果上述方法均不可用,则可以通过Create OBS去创建一个OBS目录,目录名称就是EL表达式的值,单击“测试运行”后,再去OBS界面查看创建出来的目录名称。 父主题: EL表达式参考
表2 DataArts Studio使用限制一览表 组件 约束限制 公共 DataArts Studio必须基于华为云底座部署。资源隔离场景下,支持以全栈专属云模式部署,另外也支持以华为云Stack和HCS Online混合云模式部署。
原因分析 已在工作空间中配置作业日志的桶目录的前提下,确认用户在IAM中的OBS权限是否具有对象存储服务(OBS)的全局权限,保证用户能够创建桶和操作桶。
JSON文件中存储的JSON对象的类型,可以选择“JSON对象”或“JSON数组”。 JSON对象 记录节点 当“文件格式”选择为“JSON格式”并且“JSON类型”为“JSON对象”时,才有该参数。
请单击所需实例卡片上的“进入控制台”,进入DataArts Studio控制台首页。 图1 实例列表 如果当前区域下仅有一个DataArts Studio实例,则默认进入DataArts Studio控制台首页。
MapReduce服务(MRS Impala) Impala直接对存储在HDFS、HBase或对象存储服务(OBS)中的Hadoop数据提供快速、交互式SQL查询。
请单击所需实例卡片上的“进入控制台”,进入DataArts Studio控制台首页。 图1 实例列表 如果当前区域下仅有一个DataArts Studio实例,则默认进入DataArts Studio控制台首页。
该服务提供用户身份认证、权限分配、访问控制等功能,可以帮助您安全的控制华为云资源的访问。 通过IAM,您可以在华为云账号中给员工创建IAM用户,并授权来控制他们对华为云资源的访问范围。
支持自建和云上的文件系统,关系数据库,数据仓库,NoSQL,大数据云服务,对象存储等数据源。 数据集成基于分布式计算框架,利用并行化处理技术,支持用户稳定高效地对海量数据进行移动,实现不停服数据迁移,快速构建所需的数据架构。
审计与日志 云审计服务(Cloud Trace Service,以下简称CTS),是华为云安全解决方案中专业的日志审计服务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。
云搜索服务(CSS)连接参数说明 华为云的云搜索服务(CSS)是一个基于Elasticsearch且完全托管的在线分布式搜索服务,CSS连接适用于将各类日志文件、数据库记录迁移到CSS,Elasticsearch引擎进行搜索和分析的场景。
obs.myregion.mycloud.com 端口 数据传输协议端口,https是443,http是80。 443 OBS桶类型 用户下拉选择即可,一般选择为“对象存储”。 对象存储 访问标识(AK) AK和SK分别为登录OBS服务器的访问标识与密钥。
更新管理 更新漏洞 DataArts Studio云服务通过华为云安全公告密切跟踪漏洞,如Apache Log4j2 远程代码执行漏洞(CVE-2021-44228)、Fastjson存在反序列化漏洞(CNVD-2022-40233)等,如发现服务模块涉及漏洞影响,会迅速通过官方解决方案升级现网更新漏洞
而表、业务对象、主题域等不同维度的评分,本质上是基于规则评分在不同维度下的加权平均值进行计算的。 您可以查询主题域分组、主题域、业务对象、表以及表关联的规则评分,具体评分对象的计算公式,请参见表2。
Rest Client 功能 通过Rest Client节点执行一个华为云内的RESTful请求。 Rest Client算子的具体使用教程,请参见获取Rest Client算子返回值教程。
9bd7c4bd54e5417198f9591bef07ae67 复制Content-Type属性 “文件格式”为“二进制”,且源端、目的端都为对象存储时,才有该参数。 选择“是”后,迁移对象文件时会复制源文件的Content-Type属性,主要用于静态网站的迁移场景。
在管理控制台创建工作空间时,作业日志OBS路径只支持OBS对象桶,不支持并行文件系统。
图1 DataArts Studio数据安全框架 资源主体:即华为云数据湖中的库表字段及计算引擎队列资源。库表字段支持大数据MRS Hive/Spark,云数据仓库DWS,数据湖探索DLI等数据湖,计算引擎队列包含大数据MRS YARN计算队列和数据湖探索计算队列。