-
补数据场景使用介绍 - 数据治理中心 DataArts Studio
执行以下SQL命令,查询目的表B里面是否存在源表A的数据。 SELECT * FROM B 参数配置完成后,保存并提交此作业的最新版本,测试运行该作业。 单击“执行调度”,让该作业运行起来。 创建补数据。 您在创建了一个周期调度作业后,用户需要为该任务进行补数据的操作。 在数据开发主界面的左侧导航栏,选择“运维调度
-
权限治理使用流程 - 数据治理中心 DataArts Studio
审批人来自权限集/角色的管理员,权限审批后即刻生效。 启用细粒度认证 配置细粒度认证后,在DataArts Studio数据开发执行脚本、测试运行作业或调度作业时,数据源将不再使用数据连接上的账号,而是使用当前用户身份认证鉴权,从而做到实现不同用户具有不同的数据权限,使角色/权限集或队列权限中的权限管控生效。
-
API概览 - 数据治理中心 DataArts Studio
可实现查询角色可配置的操作权限信息等操作。 数据密级管理接口 可实现创建、修改、删除或获取数据密级信息等操作。 权限应用接口 可实现查询数据开发连接列表、测试数据开发联通性、更新状态等操作。 敏感数据结果管理接口 可实现查询敏感数据结果等操作。
-
配置角色 - 数据治理中心 DataArts Studio
默认在DataArts Studio数据开发组件执行脚本、测试运行作业时,数据源(此处指MRS/DWS数据源)会使用数据连接上的账号进行认证鉴权。因此在数据开发时,权限管控依然无法生效。需要您启用细粒度认证,使得在数据开发执行脚本、测试运行作业时,使用当前用户身份认证鉴权,从而做到实现不
-
配置行级访问控制 - 数据治理中心 DataArts Studio
略,因此需要先将IAM上的用户信息同步到数据源上,详见同步IAM用户到数据源。 如果希望在DataArts Studio数据开发执行脚本、测试运行作业时,使用当前用户身份认证鉴权以实现行级访问控制策略生效,则需要启用细粒度认证。 为确保行级访问控制策略生效,须确保策略中指定的用户
-
配置HBase连接 - 数据治理中心 DataArts Studio
Studio实例中的CDM集群)与MRS集群处于不同区域的情况下,需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP,MRS集群可以访问公网且防火墙规则已开放连接端口。 DataArts Studio实例(指DataArts Studio实例中的CDM集群)与MRS集群同区域情况下,同
-
配置HDFS连接 - 数据治理中心 DataArts Studio
Studio实例中的CDM集群)与MRS集群处于不同区域的情况下,需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP,MRS集群可以访问公网且防火墙规则已开放连接端口。 DataArts Studio实例(指DataArts Studio实例中的CDM集群)与MRS集群同区域情况下,同
-
购买专享版集群 - 数据治理中心 DataArts Studio
弹性公网IP 专享版实例的API如果要允许外部调用,则需要购买一个弹性公网IP,并在购买时绑定给实例,作为实例的公网入口。 安全组 安全组类似防火墙,控制谁能访问实例的指定端口,以及控制实例的通信数据流向指定的目的地址。安全组入方向规则建议按需开放地址与端口,这样可以最大程度保护实例的网络安全。
-
开发批处理单任务SQL作业 - 数据治理中心 DataArts Studio
如果作业和脚本中同时配置了同名的参数,作业中配置的值会覆盖脚本中的值。 说明: 在非调度场景的DLI SQL脚本运行和DLI SQL单任务作业测试运行时,系统会默认开启以下四个配置参数: spark.sql.adaptive.enabled(启用AQE,使Spark能够根据正在处理的
-
查询集群详情信息列表 - 数据治理中心 DataArts Studio
{ "id" : "95d4e992-6e3c-11ea-8e90-fa163e35", "name" : "测试专用小规格(X86)", "disk" : 120, "cpu" : 8, "mem" : 16
-
如何选择版本 - 数据治理中心 DataArts Studio
买请参考购买规格增量包。其中数据开发作业的每天调度次数,是以节点(包含Dummy节点)为粒度进行度量的,另外补数据任务也会计入度量次数,但测试运行、失败重试不会计入。例如某作业包含2个DWS SQL节点和1个Dummy节点,每天00:00开始执行,隔10小时调度一次,当天额外进行
-
(可选)购买DataArts Studio功能增量包 - 数据治理中心 DataArts Studio
套餐包方式购买数据集成集群:套餐包方式相对于按需计费更优惠,对于长期使用者,推荐该方式。 数据服务专享集群增量包 数据服务定位于标准化的数据服务平台,提供一站式数据服务开发、测试部署能力,实现数据服务敏捷响应,降低数据获取难度,提升数据消费体验和效率,最终实现数据资产的变现。数据服务当前提供共享版与专享版两种服务方
-
查询集群详情信息 - 数据治理中心 DataArts Studio
"flavor" : { "id" : "95d4e992-6e3c-11ea-8e90-fa163e35", "name" : "测试专用小规格(X86)", "disk" : 120, "cpu" : 8, "mem" : 16 }, "gateway_version"
-
DataArts Studio支持的数据源 - 数据治理中心 DataArts Studio
SQL),ODBC驱动程序和用户界面(Hue中的Impala查询UI)。这为实时或面向批处理的查询提供了一个熟悉且统一的平台。作为查询大数据的工具的补充,Impala不会替代基于MapReduce构建的批处理框架,例如Hive。基于MapReduce构建的Hive和其他框架最适合长时间运行的批处理作业。
-
配置MRS HBase数据连接 - 数据治理中心 DataArts Studio
Studio实例中的CDM集群)与MRS集群处于不同区域的情况下,需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP,MRS集群可以访问公网且防火墙规则已开放连接端口。 DataArts Studio实例(指DataArts Studio实例中的CDM集群)与MRS集群同区域情况下,同
-
配置MRS Doris数据连接 - 数据治理中心 DataArts Studio
Studio实例中的CDM集群)与MRS集群处于不同区域的情况下,需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP,MRS集群可以访问公网且防火墙规则已开放连接端口。 DataArts Studio实例(指DataArts Studio实例中的CDM集群)与MRS集群同区域情况下,同
-
配置MRS Kafka数据连接 - 数据治理中心 DataArts Studio
Studio实例中的CDM集群)与MRS集群处于不同区域的情况下,需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP,MRS集群可以访问公网且防火墙规则已开放连接端口。 DataArts Studio实例(指DataArts Studio实例中的CDM集群)与MRS集群同区域情况下,同
-
配置MRS Clickhouse数据连接 - 数据治理中心 DataArts Studio
Studio实例中的CDM集群)与MRS集群处于不同区域的情况下,需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP,MRS集群可以访问公网且防火墙规则已开放连接端口。 DataArts Studio实例(指DataArts Studio实例中的CDM集群)与MRS集群同区域情况下,同
-
通过CDM节点批量创建分表迁移作业 - 数据治理中心 DataArts Studio
源表名不存在的问题。 如下图所示: 图10 配置关键参数 配置完成后点击“保存并提交版本”,以保存主作业。 创建主作业和子作业完成后,通过测试运行主作业“集成管理”,检查数据集成作业创建情况。运行成功后,创建并运行CDM子作业成功。 图11 查看作业创建情况 注意事项 由于CDM
-
开发实时处理单任务Flink SQL作业 - 数据治理中心 DataArts Studio
b="dsfa\;"; --example 1\;example 2. 脚本内容大小不能超过16MB。 使用SQL语句获取的系统日期和通过数据库工具获取的系统日期是不一样,查询结果存到数据库是以YYYY-MM-DD格式,而页面显示查询结果是经过转换后的格式。 Flink SQL脚本支持