检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
sig_str(sk); params.key = app_key; params.secret = app_secret; 指定方法名、域名、请求uri、查询字符串和body。 sig_str_t host = sig_str("c967a237-cd6c-470e-906f-a8655461897e
添加标识 选择标识种类为标签,并配置标签,单击“确定”提交。 此处支持全新添加标签,也支持选择已有标签。已有标签来源于管理标签。 父主题: 查看工作空间数据地图
配置DIS源端参数 消息体中的数据是一条类似CSV格式的记录,可以支持多种分隔符。不支持二进制格式或其他格式的消息内容解析。 作业中源连接为DIS连接时,源端作业参数如所表1示。 表1 DIS作为源端时的作业参数 参数类型 参数 说明 取值样例 基本参数 DIS通道 DIS的通道名。
关系建模和维度建模的区别是什么。 解决方案 关系建模为事务性模型,对应三范式建模。 维度建模为分析性模型,主要包括事实表、维度表的设计,多用于实现多角度、多层次的数据查询和分析。 DataArts Studio是基于数据湖的数据运营平台,维度建模使用的场景比较多。 父主题: 数据架构
以便后面查看,可通过该参数配置,写入脏数据前需要在CDM先配置好OBS连接。这里保持默认值“否”即可,不记录脏数据。 图11 任务配置 单击“保存并运行”,回到作业管理界面,在作业管理界面可查看作业执行进度和结果。 作业执行成功后,单击作业操作列的“历史记录”,可查看该作业的历史执行记录、读取和写入的统计数据。
脚本执行异常,如何处理? 问题描述 在ECS上调试好的shell脚本,在DLF中shell脚本执行异常。 脚本内容是通过gsql连接dws查询某库表数据行数的。 ECS调试结果: DLF脚本运行结果: 解决方案 添加如下两条命令: export LD_LIBRARY_PATH=/
查看用户的权限(成员权限视图) 数据安全支持权限清单查看,以当前实例下某工作空间的用户或用户组,查看其通过角色(包含空间权限集、权限集和角色)或权限申请和审批流程所获取的权限。 约束与限制 查看用户权限时,不展示其继承自用户组的权限。 当前暂不支持在成员权限视图页面直接对权限进行配置、回收。
单击“下一步”配置任务参数,迁移存量数据时,参数配置保持默认即可。 单击“保存并运行”,进入作业管理界面,查看作业执行进度和结果。 作业执行成功之后,单击作业后面的“历史记录”查看作业的写入行数、读取行数、写入字节、写入文件数和执行日志。 父主题: 使用CDM上传数据到OBS
getenv("SDK_SK"); Signer signer(ak, sk); 生成一个新的RequestParams,指定方法名、域名、请求uri、查询字符串和body。 1 2 RequestParams* request = new RequestParams("POST", "c9
析待迁移的数据。 查看历史记录 查看作业执行结果及最近30天内的历史信息,包括历史执行记录、读取和写入的统计数据,在历史记录界面还可查看作业执行的日志信息。 查看作业日志 在历史记录界面可查看作业所有的日志。 也可以在作业列表界面,选择“更多 > 日志”来查看该作业最近的一次日志。
或列值不离散,查询会全表扫描,导致JDBC连接超时。 图1 非索引列 解决方案 优先联系DBA修改表结构,将需要过滤的列配置为索引列,然后重试。 如果由于数据不离散,导致还是失败请参考2~4,通过增大JDBC超时时间解决。 根据作业找到对应的MySQL连接名称,查找连接信息。 图2
业务定义ID,填写String类型替代Long类型。 name 否 String 按名称或编码模糊查询。 create_by 否 String 按创建者查询。 approver 否 String 按审核人查询。 approval_status 否 String 审批单状态。 枚举值: DEVELOPING:
6000,请求处理失败。 error_msg String 错误信息。 data Object 返回的数据信息。 请求示例 根据指标ID进行指标图谱查询。 GET https://{endpoint}/v2/{project_id}/design/metric-relations/1193199235202428928
血缘导入 功能介绍 血缘查询。 调用方法 请参见如何调用API。 URI POST /v3/{project_id}/lineage/import 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
本章节描述了实时处理集成作业云监控的监控指标的命名空间、监控指标列表和维度定义。 如果您需要查看实时处理集成作业相关的监控指标,请参见查看实时处理集成作业监控指标。 如果您需要在监控数据满足指定条件时发送报警通知,可参见设置实时处理集成作业告警规则。 前提条件 使用实时处理集成作业监控功能,需获取CES相关权限。
资源ID,获取方法请参见查询资源列表。返回的id即为resource_id。 请求参数 表2 请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。
管理作业标签 作业标签用于给相同或用途类似的作业打上标签,便于管理作业,并根据标签查询作业。参考本节操作,您可管理作业标签,执行新增、删除、导入、导出等操作。 新建作业标签 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts
Studio通过API把脚本提交给MRS,然后查询是否执行完成;而MRS不会将具体的错误原因反馈到DataArts Studio,因此导致数据开发脚本执行界面只能显示执行成功还是失败。 “通过代理连接”模式下DataArts Studio提交脚本并运行,查看脚本是否执行完成,同时在数据开发脚
产出信息(邀测) 功能介绍 查询表相关的作业算子运行实例信息,该接口功能处于邀测阶段,后续将随功能公测将逐步开放。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/datamap/node/{task_id}/instances 表1 路径参数
用户id,可在IAM侧用户信息中查询。 user_name String 用户名称。 project_id String 数据连接id。 create_time String 表的创建时间。 table_size Integer 表的大小。 total_count Integer 当前查询条件下表的总记录数。