检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
默认情况下，节点名称会与选择的脚本名称保持同步。若不需要节点名称和脚本名称同步，请参考禁用作业节点名称同步变化禁用该功能。 SQL或脚本 是 选择需要执行的脚本。如果脚本未创建，请参考新建脚本和开发SQL脚本先创建和开发脚本。 数据连接 是 默认选择SQL脚本中设置的数据连接，支持修改。 模式 是 Hetu支持的数据源。用户可以在MRS
创建时间以及停止运行中的任务。系统支持按补数据名称、创建人、日期和状态进行筛选。 图1 补数据监控主页 在图1的页面中，单击补数据名称，进入图2的页面。在此页面，用户可以查看补数据的任务执行情况，以及手动干预实例和节点的执行（如需了解更多，请参见批作业监控：补数据 ）。 图2 补数据监控详情
表1所示节点及场景时，系统支持自动解析血缘关系。 解析SQL节点的血缘时，支持多SQL解析及列级血缘解析，单条SQL语句不支持SQL中含有分号的场景。 表1 支持自动血缘解析的作业节点及场景 作业节点 支持场景 DLI SQL 支持解析DLI中表与表之间数据插入产生的血缘。 支持
执行SQL语句失败，系统提示“Failed to create ThriftService instance, please check the cluster has available resources and check YARN or Spark driver's logs
已在“dli_db”数据库中创建数据表trade_log和trade_report。 如未创建，请参考新建数据表进行操作。 操作步骤 新建和开发SQL脚本。 在数据开发模块控制台的左侧导航栏，进入“数据开发 > 脚本开发”，选择“新建DLI SQL脚本”。 进入SQL脚本开发页面，在脚本属性栏选择“数据连接”、“数据库”、“资源队列”。
值未配置此参数，依然会参与排序。 排序方式表示了当前参数允许使用的排序形式，分为升序、降序以及自定义。自定义排序参数默认为升序排序，可通过排序参数描述pre_order_by的值进行调整；而升序或降序的排序参数，不支持通过pre_order_by的值调整排序方式，如果pre_or
可在源端作业配置中使用SQL语句对字段类型进行转换，转换成CDM支持的类型，达到迁移数据的目的。 操作步骤 修改CDM迁移作业，通过使用SQL语句的方式迁移。 SQL语句格式为：“select id,cast(原字段名 as INT) as 新字段名可以和原字段名一样 from schemaName
GES作业 本章节介绍通过数据开发调用数据集成作业，将MySQL原始数据定期同步到OBS和MRS Hive中，并标准化为GES点/边数据集。然后基于标准化点/边数据集，自动生成图的元数据，实现最终将图数据（点数据集、边数据集和元数据）定期导入到GES服务中。 图1 业务场景说明 开发并调度Import
默认情况下，节点名称会与选择的脚本名称保持同步。若不需要节点名称和脚本名称同步，请参考禁用作业节点名称同步变化禁用该功能。 SQL脚本 是 选择需要执行的脚本。如果脚本未创建，请参考新建脚本和开发SQL脚本先创建和开发脚本。 脚本参数 否 关联的SQL脚本如果使用了参数，此处显示参数名称，请在参数
可在源端作业配置中使用SQL语句对字段类型进行转换，转换成CDM支持的类型，达到迁移数据的目的。 操作步骤 修改CDM迁移作业，通过使用SQL语句的方式迁移。 SQL语句格式为：“select id,cast(原字段名 as INT) as 新字段名可以和原字段名一样 from schemaName
取值样例 基本参数 使用SQL语句 导出关系型数据库的数据时，您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时，您可以在这里输入自定义的SQL语句，CDM将根据该语句导出数据。 说明： SQL语句只能查询数据，支持join和嵌套写法，但不能有多条查询语句，比如
数据类型说明 MySQL 请参见MySQL数据库迁移时支持的数据类型。 SQL Server 请参见SQL Server数据库迁移时支持的数据类型。 Oracle 请参见Oracle数据库迁移时支持的数据类型。 PostgreSQL 请参见PostgreSQL数据库迁移时支持的数据类型。
数据目录目前支持采集数据湖的资产，例如MRS Hive、DLI、DWS等，除此之外也支持采集以下数据源的元数据： 关系型数据库，如MySQL/PostgreSQL等（可使用RDS类型连接，采集其元数据） 云搜索服务CSS 图引擎服务GES 对象存储服务OBS MRS Hudi组件（MRS
SQL脚本支持在脚本编辑器中直接输入参数（Flink SQL不支持），脚本独立执行时可通过编辑器下方配置，如图3所示；通过作业调度时可通过节点属性赋值，如图4所示。 Shell脚本可以配置参数和交互式参数以实现参数传递功能。 Python脚本可以配置参数和交互式参数以实现支持参数传递功能。 图3
Flink SQL作业 Flink 自定义作业 脚本路径 是 选择Flink SQL作业时，可配置此参数。 选择需要执行的Flink SQL脚本。如果脚本未创建，请参考新建脚本和开发SQL脚本先创建和开发Flink SQL脚本。 脚本参数 否 选择Flink SQL作业时，可配置此参数。
在本章节您可以学习到数据开发模块资源管理、作业编辑等功能。 场景说明 用户在使用DLI服务时，大部分时间会使用SQL对数据进行分析处理，有时候处理的逻辑特别复杂，无法通过SQL处理，那么可以通过Spark作业进行分析处理。本章节通过一个例子演示如何在数据开发模块中提交一个Spark作业。
源数据表名 目的表名 A B 配置方法 准备源表和目的表。为了便于后续作业运行验证，需要先创建DWS源数据表和目的表，并给源数据表插入数据。 创建DWS表。您可以在DataArts Studio数据开发中，新建DWS SQL脚本执行以下SQL命令： /* 创建数据表 */ CREATE
如果“发布日志”中有错误日志，说明发布失败。您可以单击“重新同步”进行重试。 预览SQL 在汇总表列表中，找到所需要的汇总表，在右侧单击“更多 > 预览SQL”，弹出“预览SQL”对话框。 在“预览SQL”中，您可以查看SQL语句，也可以复制SQL。 下线 在需要下线的汇总表右侧，单击“更多 > 下线”，系统弹出“提交下线”对话框。
、导入和生成时的命名规则，可选“维度表名_维度属性名”和“维度属性名”。 导出文件类型：数据架构导出功能支持“xlsx”和“et”两种格式。逻辑模型、物理模型、维度（表）、事实表、汇总表以及其他导出均支持两种格式。 生成数据服务API：包含“按汇总表整表生成单个API”和“按汇总
源数据表名 目的表名 A B 配置方法 准备源表和目的表。为了便于后续作业运行验证，需要先创建DWS源数据表和目的表，并给源数据表插入数据。 创建DWS表。您可以在DataArts Studio数据开发中，新建DWS SQL脚本执行以下SQL命令： /* 创建数据表 */ CREATE
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
