-
配置Hive连接 - 数据治理中心 DataArts Studio
Studio实例中的CDM集群)与MRS集群处于不同区域的情况下,需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP,MRS集群可以访问公网且防火墙规则已开放连接端口。 DataArts Studio实例(指DataArts Studio实例中的CDM集群)与MRS集群同区域情况下,同
-
配置空间权限集 - 数据治理中心 DataArts Studio
默认在DataArts Studio数据开发组件执行脚本、测试运行作业时,数据源(此处指MRS/DWS数据源)会使用数据连接上的账号进行认证鉴权。因此在数据开发时,权限管控依然无法生效。需要您启用细粒度认证,使得在数据开发执行脚本、测试运行作业时,使用当前用户身份认证鉴权,从而做到实现不
-
创建数据标准 - 数据治理中心 DataArts Studio
"fd_value" : "" }, { "fd_name" : "description", "fd_value" : "这是一个测试用例。" } ] } 响应示例 状态码: 200 Success { "data" : { "value" : {
-
简易变量集参考 - 数据治理中心 DataArts Studio
业务ID参数获取说明 方法 说明 $job_id 数据开发作业id。获取该ID请参考查询作业详情。 $instance_id 作业实例id(单节点作业测试运行不生成实例id,不支持)。获取该ID请参考查询作业实例列表。 父主题: 数据开发组件
-
共享版与专享版数据服务的对比 - 数据治理中心 DataArts Studio
配置类API 调试API DLI/MySQL/RDS/DWS 10 调用API DLI/MySQL/RDS/DWS 100 脚本类API 测试SQL - 10 调试API DLI 默认分页:100 自定义分页:1000 MySQL/RDS/DWS 默认分页:10 自定义分页:2000
-
MRS Spark Python - 数据治理中心 DataArts Studio
离线脚本 在线脚本 MRS集群名 是 选择支持spark python的mrs集群。MRS只有特定版本支持spark python的集群,请先测试运行,保证集群支持。 如需新建集群,请参考以下方法: 单击,进入“集群列表”页面新建MRS集群。 前往MRS管理控制台进行新建。 如何新建
-
配置权限集 - 数据治理中心 DataArts Studio
默认在DataArts Studio数据开发组件执行脚本、测试运行作业时,数据源(此处指MRS/DWS数据源)会使用数据连接上的账号进行认证鉴权。因此在数据开发时,权限管控依然无法生效。需要您启用细粒度认证,使得在数据开发执行脚本、测试运行作业时,使用当前用户身份认证鉴权,从而做到实现不
-
获取主题树信息 - 数据治理中心 DataArts Studio
"level" : 1, "levelStr" : "1", "name" : "测试主题", "nameCh" : "测试主题", "nameEn" : "test_subject", "nameEng"
-
curl - 数据治理中心 DataArts Studio
Nodejs示例代码 demo.html 浏览器示例代码 demo_require.html 浏览器示例代码(使用require加载) test.js 测试用例 js\hmac-sha256.js 依赖库 js\moment.min.js js\moment-timezone-with-data
-
步骤1:流程设计 - 数据治理中心 DataArts Studio
迁移到MRS Hive3.1 - 数据的迁移周期:天、小时、分钟还是实时迁移 天 - 数据源与目的数据源之间的网络带宽 100MB - 数据源和集成工具之间的网络连通性描述 本示例不涉及 - 数据库类迁移,调研表的个数,最大表的规模 本示例不涉及,本示例需要从OBS文件迁移到数据库 了解数
-
数据集成API错误码 - 数据治理中心 DataArts Studio
可能是由于网络不通、安全组或防火墙规则未放行、FTP主机名无法解析、FTP用户名密码错误等原因。若排除上述原因后仍无法解决,请联系客服或技术支持人员协助解决。 Cdm.0700 400 无法连接SFTP服务器。 无法连接SFTP服务器。 可能是由于网络不通、安全组或防火墙规则未放行、SFT
-
约束与限制 - 数据治理中心 DataArts Studio
MySQL数据库),需要用户的数据源可支持Internet公网访问,并为CDM集群实例绑定弹性IP。这种方式下安全实践是:本地数据源通过防火墙或安全策略仅允许CDM弹性IP访问。 仅支持常用的数据类型,字符串、数字、日期,对象类型有限支持,如果对象过大会出现无法迁移的问题。 仅支持数据库字符集为GBK和UTF-8。
-
步骤3:数据开发 - 数据治理中心 DataArts Studio
SQL脚本“top_active_movie”。 Finish(Dummy节点):不执行任何操作,只作为结束点的标识。 作业编排完成后,单击,测试运行作业。 如果作业运行正常,单击“调度配置”,配置作业的调度策略。 图10 调度配置 说明: 2022/02/09至2022/02/28,每天1点00分执行一次作业。
-
管理通知 - 数据治理中心 DataArts Studio
现抢占资源的情况,不能保证每次都可以得到资源执行相关操作。建议您在业务低峰期再次重试,或选择自建队列运行业务。 作业运行成功时,在补数据、测试运行场景下不发送告警通知,避免邮件或短信轰炸。同时,补数据作业实例恢复时也不发送恢复通知。 作业运行失败时,重跑作业并且作业运行成功后,会发送作业实例恢复通知。
-
管理静态脱敏任务 - 数据治理中心 DataArts Studio
default数据库中的数据表进行脱敏。 *目标表名 用户手动输入,不能与目标端数据库表名重复。当输入的表名不存在时会创建该表。 输入请单击“测试”,测试创建目标表并检测目标表是否可用,否则将无法进行下一步操作。 执行引擎 *执行引擎 选择运行脱敏任务的引擎。不同脱敏场景下支持的引擎和注意事项如表3所示。
-
步骤2:准备工作 - 数据治理中心 DataArts Studio
Studio实例中的CDM集群)与MRS集群处于不同区域的情况下,需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP,MRS集群可以访问公网且防火墙规则已开放连接端口。 DataArts Studio实例(指DataArts Studio实例中的CDM集群)与MRS集群同区域情况下,同
-
JavaScript - 数据治理中心 DataArts Studio
Nodejs示例代码 demo.html 浏览器示例代码 demo_require.html 浏览器示例代码(使用require加载) test.js 测试用例 js\hmac-sha256.js 依赖库 js\moment.min.js js\moment-timezone-with-data
-
开发SQL脚本 - 数据治理中心 DataArts Studio
enabled(在动态分区模式时,只会重写查询中的数据涉及的分区,未涉及的分区不删除) 说明: 在非调度场景的DLI SQL脚本运行和DLI SQL单任务作业测试运行时,系统会默认开启以下四个配置参数: spark.sql.adaptive.enabled(启用AQE,使Spark能够根据正在处理的
-
补数据场景使用介绍 - 数据治理中心 DataArts Studio
执行以下SQL命令,查询目的表B里面是否存在源表A的数据。 SELECT * FROM B 参数配置完成后,保存并提交此作业的最新版本,测试运行该作业。 单击“执行调度”,让该作业运行起来。 创建补数据。 您在创建了一个周期调度作业后,用户需要为该任务进行补数据的操作。 在数据开发主界面的左侧导航栏,选择“运维调度
-
新建规则模板 - 数据治理中心 DataArts Studio
开启“多表多字段”开关后,“异常表模板”参数不显示,不支持配置。 例如,有一张涉及金额的表,表中“is_test”字段用于标识该条数据是否为测试数据(0为正式数据,1为测试数据)。期望计算正式数据的金额最小值,最大值,平均值以及总和。则自定义模板可设置如下: 维度:准确性。 所属目录:/全部/。