检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
QL等，可在console界面查看所有数据连接类型，编辑时通过数据连接列表获取。 dw_config 是 Object 连接动态变化配置项，每种连接略有区别，建议在界面进行调试。 agent_id 否 String CDM集群ID，获取方法请参见查询集群列表。 agent_name
作业开发API 创建补数据实例 查询补数据实例 停止补数据实例 修改作业名称 查询发布包列表 查询指定发布包详情 设置作业标签 查询告警通知记录 发布任务包 撤销任务包 查询实例运行状态 查询任务完成情况 查询指定作业的实例列表 重跑作业实例 父主题： 数据开发API（V2）
OBS上存储脏数据的目录，只有在配置了脏数据目录的情况下才会记录脏数据。 用户可以进入脏数据目录，查看作业执行过程中处理失败的数据或者被清洗过滤掉的数据，针对该数据可以查看源数据中哪些数据不符合转换、清洗规则。 /user/dirtydir 单个分片的最大错误记录数 当“是否写入脏数据”为“是”才显示该参数。
QL等，可在console界面查看所有数据连接类型，编辑时通过数据连接列表获取。 dw_config 是 Object 连接动态变化配置项，每种连接略有区别，建议在界面进行调试。 agent_id 否 String CDM集群ID，获取方法请参见查询集群列表。 agent_name
数据安全诊断接口 执行数据安全诊断 查询不合理的权限配置 查询数据权限控制模块诊断结果 查询敏感数据保护模块诊断结果 查询未进行静态脱敏任务的表信息 查询数据源防护模块诊断结果 父主题： 数据安全API
请求示例 根据/export-model接口返回的uuid(fd653968-864b-45f6-9842-2b125d2dbfb7)查询导出结果，查询中返回的是导出状态，导出结束后返回的是二进制文件。 GET https://{endpoint}/v2/{project_id}/design/export-result
Java调用CDM服务的REST API创建、启动、查询、删除该CDM作业。 需要提前准备以下数据： 云账号的用户名、账号名和项目ID。 创建一个CDM集群，并获取集群ID。 获取方法：在集群管理界面，单击CDM集群名称可查看集群ID，例如“c110beff-0f11-4e75-8b10-da7cd882b0ef”。
关系建模和维度建模的区别是什么。 解决方案 关系建模为事务性模型，对应三范式建模。 维度建模为分析性模型，主要包括事实表、维度表的设计，多用于实现多角度、多层次的数据查询和分析。 DataArts Studio是基于数据湖的数据运营平台，维度建模使用的场景比较多。 父主题： 数据架构
#reload(sys) #sys.setdefaultencoding('utf8') 重启python，通过sys.getdefaultencoding()查看默认编码，这时为'utf8'。 父主题： 数据开发
脚本执行异常，如何处理？ 问题描述 在ECS上调试好的shell脚本，在DLF中shell脚本执行异常。 脚本内容是通过gsql连接dws查询某库表数据行数的。 ECS调试结果： DLF脚本运行结果： 图1 脚本运行结果 解决方案 添加如下两条命令： export LD_LIBR
单击“取消”，取消节点输入功能的参数配置。 编辑 单击，修改节点输入功能的参数配置，修改完成后，请保存。 删除 单击，删除节点输入功能的参数配置。 查看表详情 单击，查看节点输入血缘关系创建数据表的详细信息。 输出 新建 单击“新建”，在“类型”的下拉选项中选择要新建的类型。可以选择DWS，OBS，
集群管理接口 查询集群概览信息列表 查询集群详情信息列表 查询集群详情信息 查询数据服务集群访问日志列表 开启数据服务集群OBS日志转储 开启数据服务集群LTS日志转储 父主题： 数据服务API
设置每15分钟触发运行一次对账作业为例的配置。 单击“提交”，对账作业创建完成。 查看对账作业。 单击对应的对账作业操作列中的运行链接，运行对账作业后，自动跳转到运维管理页面。 单击结果&日志查看运行结果和运行日志，等待作业运行结束后，如下图所示。 结果分析 至此，完成了通过DataArts
选择此连接适用的组件。勾选组件后，才能在相应组件内使用本连接。 基础与网络连通配置 主机地址 是 Linux操作系统主机的IP地址。 请参考查看云服务器详细信息获取。 绑定Agent 是 选择CDM集群，CDM集群提供Agent。 说明： CDM集群作为管理中心数据连接Agent时
Query参数 参数 是否必选 参数类型 描述 path 是 String 路径。 limit 否 Integer 查询条数限制。 offset 否 Integer 查询起始坐标, 即跳过前X条数据。仅支持0或LIMIT的整数倍，不满足则向下取整。 请求参数 表3 请求Header参数
String 目录ID编号。 表2 Query参数 参数 是否必选 参数类型 描述 limit 否 Integer 查询条数限制。 offset 否 Integer 查询起始坐标, 即跳过前X条数据。仅支持0或LIMIT的整数倍，不满足则向下取整。 请求参数 表3 请求Header参数
分隔。 请求间隔时间（秒） 是 如果响应消息的返回值与请求成功标志位不匹配，将每隔一段时间查询一次，直到响应消息的返回值与请求成功标志位一致。节点执行的超时时间默认为1小时，如果1小时内查询的结果始终为不匹配，那么节点的状态将置为失败。当“是否需要判断返回值”为“YES”时，显示该配置项。
或列值不离散，查询会全表扫描，导致JDBC连接超时。 图1 非索引列 解决方案 优先联系DBA修改表结构，将需要过滤的列配置为索引列，然后重试。 如果由于数据不离散，导致还是失败请参考2~4，通过增大JDBC超时时间解决。 根据作业找到对应的MySQL连接名称，查找连接信息。 图2
“使用SQL语句”选择“是”时显示此参数，您可以在这里输入自定义的SQL语句，CDM将根据该语句导出数据。 说明： SQL语句只能查询数据，支持join和嵌套写法，但不能有多条查询语句，比如 select * from table a; select * from table b。 不支持with语句。
数据目录支持采集哪些对象的资产？ 数据目录目前支持采集数据湖的资产，例如MRS Hive、DLI、DWS等，除此之外也支持采集以下数据源的元数据： 关系型数据库，如MySQL/PostgreSQL等（可使用RDS类型连接，采集其元数据） 云搜索服务CSS 图引擎服务GES 对象存储服务OBS
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
