-
执行Python脚本,报错UnicodeEncodeError :‘ascii' codec cant encode characters in position 63-64 : ordinal not in range ( 128 ) - 数据治理中心 DataArts Studio
报错信息 原因分析 DataArts Studio默认用的python2的解释器,python2默认的编码格式是ASCII编码,因ASCII编码不能编码汉字所以报错。因此需要将编码格式转化为“utf8”。 解决方法 用python3解释器,在主机上做一个软连接,如下图所示。 图2 主机上做软连接
-
停止作业 - 数据治理中心 DataArts Studio
/v1/b384b9e9ab9b4ee8994c8633aabc9505/jobs/myJob/stop 响应示例 成功响应 HTTP状态码 204 失败响应 HTTP状态码 400 { "error_code":"DLF.0100", "error_msg":"The job
-
配置主机连接 - 数据治理中心 DataArts Studio
个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头,且长度不能超过100个字符。 适用组件 是 选择此连接适用的组件。勾选组件后,才能在相应组件内使用本连接。 默认全选。全选适用组件后,在
-
实时作业监控 - 数据治理中心 DataArts Studio
选择作业并行处理的数量,最大并发数为10。 事件检测间隔 配置事件检测时间间隔。时间间隔单位可以配置为秒或分钟。 失败策略 选择调度失败后的策略: 结束调度 忽略失败,继续调度 图4 DIS调度策略配置 父主题: 作业监控
-
删除资源 - 数据治理中心 DataArts Studio
resources/3624d1c3-5df5-4f20-9af9-98eadad6c5f9 响应示例 成功响应 HTTP状态码 204 失败响应 HTTP状态码 400 { "error_code":"DLF.6241", "error_msg":"The resource
-
停止补数据实例 - 数据治理中心 DataArts Studio
factory/supplement-data/P_job_8002_203_aa/stop 响应示例 成功响应 HTTP状态码 200 失败响应 HTTP状态码 400 { "error_code": "DLF.0113", "error_msg": "The supplement
-
停止作业实例 - 数据治理中心 DataArts Studio
33aabc9505/jobs/job_batch/instances/34765/stop 响应示例 成功响应 HTTP状态码 204 失败响应 HTTP状态码 400 { "error_code":"DLF.0137", "error_msg":"Job instance
-
查询脚本列表 - 数据治理中心 DataArts Studio
参数类型 说明 name 是 String 脚本名称,只能包含五种字符:英文字母、数字、中文、中划线和点号,且长度小于等于128个字符。脚本名称不能重复。 type 是 String 脚本类型,包含: FlinkSQL DLISQL SparkSQL HiveSQL DWSSQL RDSSQL
-
自然周期调度 - 数据治理中心 DataArts Studio
同周期依赖的原理,详情参考自然周期调度之同周期依赖原理。 上一周期依赖的原理,详情参考自然周期调度之上一周期依赖原理。 当分钟的调度周期不能被小时整除时,周期调度就不是严格按照间隔周期去跑,而是按照cron表达式的规则,每个小时的零点触发去跑,再往后推间隔。 父主题: 周期调度依赖策略
-
停止脚本实例的执行 - 数据治理中心 DataArts Studio
ipt/instances/a1ad-448a-9d56-4154193d49c5/stop 响应示例 成功响应 HTTP状态码 204 失败响应 HTTP状态码 400 { "error_code":"DLF.6205", "error_msg":"The script
-
配置Hive源端参数 - 数据治理中心 DataArts Studio
“使用SQL语句”选择“是”时,您可以在这里输入自定义的SQL语句,CDM将根据该语句导出数据。 说明: SQL语句只能查询数据,支持join和嵌套写法,但不能有多条查询语句,比如 select * from table a; select * from table b。 不支持with语句。 不支持注释
-
查询发布包列表 - 数据治理中心 DataArts Studio
必须包含在集合内。 deploy_status_filter 否 array[integer] 发布状态集合。 1:待审批 2:成功 3:失败 5:发布中 sorted_direction 否 String 排序方向,默认是desc。 order_column 否 String
-
撤销任务包 - 数据治理中心 DataArts Studio
se-packages/unpack {"package_ids":["12","13"]} 响应示例 成功响应 HTTP状态码 200 失败响应 HTTP状态码 400 { "error_code": "DLF.0810", "error_msg": "Task does
-
管理文件水印 - 数据治理中心 DataArts Studio
待嵌入水印的源数据需要大于等于5000行。小于5000行的源数据有可能因为特征不够导致提取水印失败。 尽量选取数据取值比较多样的列嵌入水印,如果该列的值是可枚举穷尽的,则有可能因为特征不够导致提取失败。常见的适合嵌入水印的列如地址、姓名、UUID、金额、总数等。 数值整型字段嵌入水印可能
-
CDM迁移作业的抽取并发数应该如何设置? - 数据治理中心 DataArts Studio
作业抽取并发数可参考集群最大抽取并发数配置,但不建议超过集群最大抽取并发数上限。 目的端为DLI数据源时,抽取并发数建议配置为1,否则可能会导致写入失败。 图2 作业抽取并发数配置 父主题: 数据集成
-
补数据监控 - 数据治理中心 DataArts Studio
排序按钮单击顺序为:单击1下为升序,单击2下为降序,单击3下取消排序。 在查看作业等待实例时,单击“操作 > 去除依赖”可以去除对上游单个实例的依赖关系。 在补数据失败的情况下,单击“操作 > 停止”,补数据任务会停止。 补数据监控详情页面,每批补数据支持通过作业名称进行模糊筛选。 手工确认执行场景下,在
-
配置云搜索服务(CSS)连接 - 数据治理中心 DataArts Studio
数据到Elasticsearch。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 连接云搜索服务(CSS)时,相关参数如表1所示。 表1 云搜索服务(CSS)连接参数 参数名 说明 取值样例 名称 连接的名称,根据连
-
配置MRS Hudi源端参数 - 数据治理中心 DataArts Studio
TBL_E 高级属性 Where子句 填写该参数表示指定抽取的Where子句,不指定则抽取整表。如果要迁移的表中没有Where子句的字段,则会迁移失败。 该参数支持配置为时间宏变量,实现抽取指定日期的数据,详细说明请参见关系数据库增量迁移。 说明: 如果配置了时间宏变量,通过DataArts
-
配置MRS ClickHouse源端参数 - 数据治理中心 DataArts Studio
TBL_E 高级属性 Where子句 填写该参数表示指定抽取的WHERE子句,不指定则抽取整表。如果要迁移的表中没有WHERE子句的字段,则会迁移失败。 该参数支持配置为时间宏变量,实现抽取指定日期的数据,详细说明请参见关系数据库增量迁移。 说明: 如果配置了时间宏变量,通过DataArts
-
CDM不同集群规格对应并发的作业数是多少? - 数据治理中心 DataArts Studio
作业抽取并发数可参考集群最大抽取并发数配置,但不建议超过集群最大抽取并发数上限。 目的端为DLI数据源时,抽取并发数建议配置为1,否则可能会导致写入失败。 图2 作业抽取并发数配置 父主题: 数据集成