-
测试创建数据连接 - 数据治理中心 DataArts Studio
测试创建数据连接 功能介绍 测试创建数据连接。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/data-connections/validation 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项
-
创建DWS数据连接,开启SSL连接时测试连接失败? - 数据治理中心 DataArts Studio
创建DWS数据连接,开启SSL连接时测试连接失败? 可能是由于DWS集群的三权分立功能导致的。请在DWS控制台,单击进入对应的DWS集群后,选择“安全设置”,然后关闭三权分立功能。 图1 关闭DWS集群三权分立功能 父主题: 管理中心
-
测试数据开发连接细粒度连通性 - 数据治理中心 DataArts Studio
测试数据开发连接细粒度连通性 功能介绍 测试数据开发连接细粒度连通性。 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/security/fgac/dlf/datawarehouses/{dw_id} 表1 路径参数 参数 是否必选 参数类型
-
作业开发时,测试运行后如何查看运行日志? - 数据治理中心 DataArts Studio
作业开发时,测试运行后如何查看运行日志? 方式1:待节点测试运行完成后,在当前节点鼠标右键选择查看日志。 方式2:通过画布上方的“前往监控”,在实例监控中展开作业实例,查看节点日志。 父主题: 数据开发
-
Postman调用接口返回结果正常,为什么测试环境调用接口的URL参数不生效? - 数据治理中心 DataArts Studio
Postman调用接口返回结果正常,为什么测试环境调用接口的URL参数不生效? URL的参数连接符&需要转义。 父主题: 数据开发
-
数据服务API接口,访问“测试APP”,填写了相关参数,但是后台报错要怎么处理? - 数据治理中心 DataArts Studio
数据服务API接口,访问“测试APP”,填写了相关参数,但是后台报错要怎么处理? 在调用API时配置参数header parameter。 header parameter: x-Authorization, nvalid ___ parameter: ___, 父主题: 数据服务
-
启用权限应用 - 数据治理中心 DataArts Studio
进行联通性测试。联通性测试时,系统会使用当前用户账号访问数据源,以确保当前用户访问正常。 由于DWS数据源不支持以华为账号直接访问,因此如果当前以华为账号登录,则会导致联通性测试失败。因此在DWS联通性测试前,需要将当前登录账号切换为IAM子用户账号。 图2 联通性测试 如果联通性测试失败,可从以下方面进行排查:
-
配置OBS桶 - 数据治理中心 DataArts Studio
配置OBS桶 脚本、作业或节点的历史运行记录依赖于OBS桶,如果未配置测试运行历史OBS桶,则无法查看历史运行的详细信息。请参考本节操作配置OBS桶。 约束限制 OBS路径仅支持OBS桶,不支持并行文件系统。 配置方法 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。
-
概述 - 数据治理中心 DataArts Studio
实例内的工作空间包含了完整的功能,工作空间的划分通常按照分子公司(集团、子公司、部门等)、业务领域(采购、生产、销售等)或者实施环境(开发、测试、生产等),没有特定的划分要求。 随着业务的不断发展,您可能进行了更细致的工作空间划分。这种情况下,您可以参考本文档,将原有工作空间的数据
-
数据治理度量维度 - 数据治理中心 DataArts Studio
的水平。 数据治理评分卡使用评分卡形式,由数据治理组织和各业务IT部门共同针对各部门自身数据治理情况进行打分。评分卡是季度性打分,作为一个工具手段持续推动促进各部门的数据治理工作,改进数据质量,提升数据治理水平。 图1 数据治理评分卡 父主题: 数据治理度量评估体系
-
表达式概述 - 数据治理中心 DataArts Studio
数据中,单击“测试运行”,然后在节点上右键查看日志,日志中会把EL表达式的值打印出来。 使用Kafka Client节点。 前提:您需要具备MRS集群,且集群有Kafka组件。 方法:选择Kafka Client节点,将EL表达式直接写在要发送的数据中,单击“测试运行”,然后在节
-
参考:CDM性能实测数据 - 数据治理中心 DataArts Studio
型等因素影响。推荐您在正式迁移前,可先用小数据量实测进行速度摸底。 环境信息 CDM集群为xlarge规格,2.9.1 200版本。 性能测试中,表数据规格为5000W行100列,HDFS二进制文件数据规格分别为3597W行100列、6667W行100列和10000W行100列。
-
注册API - 数据治理中心 DataArts Studio
API测试 完成API参数的配置并保存后,单击左下角的“开始测试”,可进入API测试环节。 填写参数值,单击“开始测试”,即可在线发送API请求,在右侧可以看到API请求详情及返回内容。 测试过程中,当数据服务API查询返回值超过默认30秒无结果时,会报超时错误。 如果测试失败,
-
企业模式业务流程 - 数据治理中心 DataArts Studio
连接和环境隔离、数据的导入导出、配置项目用户权限等操作。 开发者:开发者需要在数据开发的开发环境,进行脚本、作业开发等操作,开发完成后进行测试运行、提交版本,最终提交发布任务。 部署者:部署者需要在数据开发的开发环境,查看待审批任务,并进行发布审批操作。 运维者:部署者需要在数据
-
开发一个Hive SQL作业 - 数据治理中心 DataArts Studio
数据库:默认选择SQL脚本“hive_sql”中设置的数据库,支持修改。 节点名称:默认显示为SQL脚本“hive_sql”的名称,支持修改。 作业编排完成后,单击,测试运行作业。 如果运行成功,单击画布空白处,在右侧的“调度配置”页面,配置作业的调度策略。 图4 配置调度方式 该作业调度时间在2021/0
-
如何将云下内网或第三方云上的私网与CDM连通? - 数据治理中心 DataArts Studio
网IP。通过以下测试来确保网关机器的服务要求: 在该机器上ping内网MySQL地址可以ping通,例如:ping 192.168.1.8。 在另外一台可上网的机器上ping网关机的公网地址可以ping通,例如ping 202.xx.xx.10。 下载端口映射工具IPOP,在网关机上安装IPOP。
-
基础操作符 - 数据治理中心 DataArts Studio
eq 测试是否相等 != 或 ne 测试是否不等 < 或 lt 测试是否小于 > 或 gt 测试是否大于 <= 或 le 测试是否小于等于 >= 或 ge 测试是否大于等于 && 或 and 测试逻辑与 || 或 or 测试逻辑或 ! 或 not 测试取反 empty 测试是否空值
-
新建连接 - 数据治理中心 DataArts Studio
S Kafka、云搜索服务、分库、神通数据库(ST)。 连接的参数配置完成后单击“测试”,可测试连接是否可用。或者直接单击“保存”,保存时也会先检查连接是否可用。 受网络和数据源的影响,部分连接测试的时间可能需要30~60秒。 管理连接 CDM支持对已创建的连接进行以下操作: 删
-
跨空间进行作业调度 - 数据治理中心 DataArts Studio
mmy节点并分别添加到Subjob节点的IF条件,然后将数据开发组件配置项中的“多IF策略”设置为“逻辑或”即可。 图4 编辑参数表达式 测试运行作业job_agent,在工作空间A的作业job1未运行的情况下,前往实例监控中查看执行结果是否符合预期。 由于作业job1未运行即未
-
脚本/MyBatis方式生成API - 数据治理中心 DataArts Studio
完成API参数的配置并保存后,单击左下角的“开始测试”,可进入API测试环节。 填写参数值,单击“开始测试”,即可在线发送API请求,在右侧可以看到API请求详情及返回内容。 测试过程中,当数据服务API查询返回值超过默认30秒无结果时,会报超时错误。 如果测试失败,请仔细查看错误提示并做相应的修改重新测试。 完成A