检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
6000,请求处理失败。 error_msg String 错误信息。 data Object 返回的数据信息。 请求示例 根据指标ID进行指标图谱查询。 GET https://{endpoint}/v2/{project_id}/design/metric-relations/1193199235202428928
Studio通过API把脚本提交给MRS,然后查询是否执行完成;而MRS不会将具体的错误原因反馈到DataArts Studio,因此导致数据开发脚本执行界面只能显示执行成功还是失败。 “通过代理连接”模式下DataArts Studio提交脚本并运行,查看脚本是否执行完成,同时在数据开发脚
或列值不离散,查询会全表扫描,导致JDBC连接超时。 图1 非索引列 解决方案 优先联系DBA修改表结构,将需要过滤的列配置为索引列,然后重试。 如果由于数据不离散,导致还是失败请参考2~4,通过增大JDBC超时时间解决。 根据作业找到对应的MySQL连接名称,查找连接信息。 图2
管理作业标签 作业标签用于给相同或用途类似的作业打上标签,便于管理作业,并根据标签查询作业。参考本节操作,您可管理作业标签,执行新增、删除、导入、导出等操作。 新建作业标签 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts
完成血缘的输出表配置后,单击确认,则此MRS Spark节点的血缘关系手动配置成功。后续当需要查看血缘关系时,参考查看数据血缘完成元数据采集,并成功完成作业调度后,即可在数据目录组件查看手动配置的MRS Spark节点血缘关系。 父主题: 节点数据血缘
String 业务定义ID,ID字符串。 name 否 String 按名称或编码模糊查询。 create_by 否 String 按创建者查询。 approver 否 String 按审核人查询。 approval_status 否 String 审批单状态。 枚举值: DEVELOPING:
云搜索服务(CSS)连接参数说明 华为云的云搜索服务(CSS)是一个基于Elasticsearch且完全托管的在线分布式搜索服务,CSS连接适用于将各类日志文件、数据库记录迁移到CSS,Elasticsearch引擎进行搜索和分析的场景。 导入数据到CSS推荐使用Logstash
息。 12 查看日志 对于Flink SQL和Flink JAR两种实时处理的单任务作业,作业运行完成后,可以通过“更多 > 查看日志”一键跳转到日志查看页面查看Flink作业日志。 说明: MRS集群版本为不支持时,界面不显示查看日志,则系统不支持通过一键跳转查看日志。 单击作
图4 查看节点血缘 在数据资产搜索结果中,图标为表格的数据资产为表,单击某一表名称,可以查看表的详情。在详情页面,可以查看表的血缘信息。 单击血缘图中表左右两端“+”、“-”图标,可以进一步展开查看血缘的上下链路。 单击血缘图中的某一个表,可以查看该表的详情。 图5 查看表血缘 父主题:
产出信息(邀测) 功能介绍 查询表相关的作业算子运行实例信息,该接口功能处于邀测阶段,后续将随功能公测将逐步开放。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/datamap/node/{task_id}/instances 表1 路径参数
时,无法执行新的作业,需要手动删除复制槽。 原因分析 PostgreSQL数据源不会自动删除复制槽。 解决方案 登录作业使用的源数据库。 查询同步任务选择的database对象所对应的流复制槽名称。 select slot_name from pg_replication_slots
DIS Stream 功能 通过DIS Stream节点查询DIS通道的状态,如果DIS通道运行正常,继续执行后续的节点;如果DIS通道运行异常,DIS Stream将报错并退出,此时如果需要继续执行后续的节点,请配置“失败策略”为“继续执行下一节点”,请参见表2。 参数 用户可参考表1和表2配置DIS
用户id,可在IAM侧用户信息中查询。 user_name String 用户名称。 project_id String 数据连接id。 create_time String 表的创建时间。 table_size Integer 表的大小。 total_count Integer 当前查询条件下表的总记录数。
Long 开始查询页数,用于计算分页查询偏移量,如果参数offset和limit均不为空则以offset值为准。 page_size 否 Long 每页显示条目数量,如果参数offset和limit均不为空则以limit值为准。 offset 否 Integer 分页查询偏移量。 limit
表关联作业算子列表(邀测) 功能介绍 查询表相关的作业算子列表,该接口功能处于邀测阶段,后续将随功能公测将逐步开放。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/datamap/table/{guid}/node 表1 路径参数 参数 是否必选
参数类型 描述 name 否 String 按名称或编码模糊查询。 create_by 否 String 按创建者查询。 biz_id 否 String 业务定义ID,ID字符串。 biz_type 否 String 按业务类型查询,可选业务类型有:ATOMIC_INDEX(原子指标)
在通知的“开关”列,单击,切换成时,通知为关闭状态。 图3 关闭通知 查看通知记录 用户可以在通知记录中查看所有的通知信息。 在数据开发主界面的左侧导航栏,选择“运维调度 > 通知管理”。 选择“通知记录”页签,进入通知记录页面。系统只能查看最近30天的数据。 图4 查看通知记录 删除通知 当用户不需要使用某个通知时,可以参考如下操作删除该通知。
源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 CTS可记录的DataArts Studio操作列表详见如何查看审计日志。用户开通云审计服务并创建和配置追踪器后,CTS开始记录操作事件用于审计,用户可查看CTS保存最近7天的审计日志。
以便后面查看,可通过该参数配置,写入脏数据前需要在CDM先配置好OBS连接。这里保持默认值“否”即可,不记录脏数据。 图7 任务配置 单击“保存并运行”,回到作业管理界面,在作业管理界面可查看作业执行进度和结果。 作业执行成功后,单击作业操作列的“历史记录”,可查看该作业的历史执行记录、读取和写入的统计数据。
DLI Flink Job 功能 DLI Flink Job节点用于创建和启动作业,或者查询DLI作业是否正在运行,实现实时流式大数据分析。 DLI Flink流式作业提交到DLI之后,若处于运行中的状态,则认为节点执行成功。若作业配置了周期调度,则会周期检查该Flink作业是否