-
执行脚本 - 数据治理中心 DataArts Studio
"tableVar": "citys", "time": "2019-07-25" } } 响应示例 成功响应 HTTP状态码 200 失败响应 HTTP状态码 400 { "error_code":"DLF.6201", "error_msg":"The script
-
批量导出作业 - 数据治理中心 DataArts Studio
job和job_stream.job是作业定义文件 dws_sql.script是job_batch.job所使用的DWS SQL脚本文件。 失败响应 HTTP状态码 400 { "error_code":"DLF.3051", "error_msg":"The request
-
调用API - 数据治理中心 DataArts Studio
AppSecret。 APPSecret限制一分钟内重置一次,重置记录可在事件管理内查看。 重置APPSecret会导致已授权的API调用失败,请谨慎操作。 (可选)创建应用 当待调用的API为APP认证方式时,需要进行此操作。 在DataArts Studio控制台首页,选择实
-
导出作业 - 数据治理中心 DataArts Studio
├─myJob.job scripts ├─CS_PROCESS_TRIP.script ├─TRIP_RAW_STANDARD.script 失败响应 HTTP状态码 400 { "error_code":"DLF.0100", "error_msg":"The job
-
配置MRS ClickHouse目的端参数 - 数据治理中心 DataArts Studio
RS ClickHouse的值会为0。 请确认目的端表引擎是否为ReplicatedMergeTree引擎,该引擎自带去重机制,且去重数据不能准确预测,选用该引擎应保证数据唯一性,否则会造成不唯一数据被忽略写入,或尝试替换其他表引擎,例如MergeTree。 表1 MRS ClickHouse作为目的端时的作业参数
-
查询版本规格 - 数据治理中心 DataArts Studio
8-3ea2b913e1f6" } ] } ] } 状态码 状态码 描述 200 请求成功。 400 请求错误。 401 鉴权失败。 403 没有操作权限。 404 找不到资源。 500 服务内部错误,具体返回错误码请参考错误码。 503 服务不可用。 错误码 请参见错误码。
-
数据分类 - 数据治理中心 DataArts Studio
表2 参数配置表 配置 说明 名称 规则组名称只能包含中文、英文字母、数字和下划线。 描述 为更好的识别规则组,此处加以描述信息。描述信息长度不能超过4096个字符。 父主题: 数据安全(待下线)
-
查询支持的版本 - 数据治理中心 DataArts Studio
"736270b9-27c7-4f03-823b-447d8245e1c2" } ] } ] 状态码 状态码 描述 200 请求成功。 400 请求错误。 401 鉴权失败。 403 没有操作权限。 404 找不到资源。 500 服务内部错误,具体返回错误码请参考错误码。 503 服务不可用。 错误码 请参见错误码。
-
查询任务完成情况 - 数据治理中心 DataArts Studio
1704132000000, "task_completion_num": 0 } ] } 失败响应 HTTP状态码 400 { "error_code": "DLF.3051", "error_msg": "The request
-
发布脚本任务 - 数据治理中心 DataArts Studio
作空间的管理员或部署者、拥有DAYU Administrator、Tenant Administrator权限的用户,至少指定一个审批人,不能指定自己为审批人。单击“审批人管理”可以跳转到“空间管理”页面,单击“编辑”按钮可以维护审批人信息。 可以进行批量发布。发布多个待发布项时
-
解决方案 - 数据治理中心 DataArts Studio
在解决方案目录中,右键单击根目录“解决方案”,选择“导入解决方案”,导入已上传到OBS或者本地的解决方案文件。 在硬锁策略下,如果锁在其他人手中,重名策略选择了覆盖,则会覆盖失败。软硬锁策略请参考配置软硬锁策略。 升级解决方案 在解决方案目录中,右键单击解决方案名称,选择“升级”,导入已上传到OBS中的解决方案文件
-
脚本开发流程 - 数据治理中心 DataArts Studio
到任务发布页面。 支持对“已提交”和“未提交”的脚本进行筛选。未提交的脚本通过红色进行标识。 系统支持脚本参数以弹框的形式进行展示,参数名不能修改,参数值可以修改。你可以单击“测试参数”查看脚本中所引用的参数信息,同时可以查看环境中已配置的环境变量信息,不可修改,SQL语句中的参数可以按照参数名进行排序。
-
For Each节点使用介绍 - 数据治理中心 DataArts Studio
select * from ${Source}; 此处不能使用EL表达式#{Job.getParam("job_param_name")} ,因为此表达式只能直接获取当前作业里配置的参数的value,并不能获取到父作业传递过来的参数值,也不能获取到工作空间里面配置的全局变量,作用域仅为本作业。
-
For Each节点使用介绍 - 数据治理中心 DataArts Studio
select * from ${Source}; 此处不能使用EL表达式#{Job.getParam("job_param_name")} ,因为此表达式只能直接获取当前作业里配置的参数的value,并不能获取到父作业传递过来的参数值,也不能获取到工作空间里面配置的全局变量,作用域仅为本作业。
-
公共消息头 - 数据治理中心 DataArts Studio
只有一个DataArts实例时可选。不填写则默认查询default工作空间数据,如需查询其他工作空间需要带上该消息头。 调用其他组件API时必选,否则会调用失败。 d1cd7861478748a6925bc02f47c69279 X-Dlm-Type 数据服务版本类型,用于请求数据服务时,指定共享版/专享版
-
查询作业列表 - 数据治理中心 DataArts Studio
jobType 是 String 作业类型: REAL_TIME:实时处理 BATCH :批处理 owner 否 String 作业责任人,长度不能超过128个字符。 priority 否 int 作业优先级,取值范围[0, 2],默认值是0。0代表高优先级,1代表中优先级,2代表低优先级。
-
CDM有哪些优势? - 数据治理中心 DataArts Studio
员,避免7*24小时人工值守。 高效率 在迁移过程中,数据读写过程都是由一个单一任务完成的,受限于资源,整体性能较低,对于海量数据场景通常不能满足要求。 CDM任务基于分布式计算框架,自动将任务切分为独立的子任务并行执行,能够极大提高数据迁移的效率。针对Hive、HBase、My
-
迁移作业原理 - 数据治理中心 DataArts Studio
创建CDM迁移作业时,支持设置该作业的抽取并发数。 该参数设置为适当的值可以有效提升迁移速度,过小则会限制迁移速度,过大则会导致任务过载、迁移失败。 迁移的目的端为文件时,CDM不支持多并发,此时应配置为单进程抽取数据。 表中每行数据大小为1MB以下的可以设置多并发抽取,超过1MB的建议单线程抽取数据。
-
性能调优 - 数据治理中心 DataArts Studio
作业抽取并发数可参考集群最大抽取并发数配置,但不建议超过集群最大抽取并发数上限。 目的端为DLI数据源时,抽取并发数建议配置为1,否则可能会导致写入失败。 图2 作业抽取并发数配置 父主题: 优化迁移性能
-
配置Hive源端参数 - 数据治理中心 DataArts Studio
“使用SQL语句”选择“是”时,您可以在这里输入自定义的SQL语句,CDM将根据该语句导出数据。 说明: SQL语句只能查询数据,支持join和嵌套写法,但不能有多条查询语句,比如 select * from table a; select * from table b。 不支持with语句。 不支持注释