检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
APPSecret限制一分钟内重置一次,重置记录可在事件管理内查看。 重置APPSecret会导致已授权的API调用失败,请谨慎操作。 创建APP类型的应用 在DataArts Studio控制台首页,选择对应工作空间的“数据服务”模块,进入数据服务页面。 在左侧导航栏选择服务版本(例如:专享版),进入总览页。
录MRS管理页面更新其初始密码,然后使用该新建用户创建MRS连接。 如需连接MRS 2.x版本的集群,请先创建2.x版本的CDM集群。CDM 1.8.x版本的集群无法连接MRS 2.x版本的集群。 如果选择集群后连接失败,请检查MRS集群与作为Agent的CDM实例是否网络互通。网络互通需满足如下条件:
Studio版本 可以免费试用DataArts Studio吗? 免费试用即将到期,如何续费? DataArts Studio是否支持版本升级? DataArts Studio是否支持版本降级? DataArts Studio支持哪些数据源作为数据湖底座? 如何查看套餐包的剩余时长?
数据库:步骤6中创建的数据库。 脚本调试无误后,单击“保存并提交版本”提交该脚本,脚本名称为“top_rating_movie”。在后续开发并调度作业引用该脚本。 脚本保存完成且运行成功后,您可通过如下SQL语句查看top_rating_movie表数据。您还可以参考图3,下载或转储表数据。
例如:dbname 驱动版本 否 选择ClickHouse驱动版本。 CLICKHOUSE_0_3_1:适用于连接ClickHouse 20.7以下版本,此驱动版本不支持多IP连接数据库服务器。 CLICKHOUSE_0_4_2:适用于连接ClickHouse 20.7及以上版本,支持多IP连接数据库服务器。
成一个调度实例。您可以在“实例监控”页面中,查看补数据实例的运行状态。用户可以在该页面中查看作业的实例信息,并根据需要对实例进行更多操作。 该作业调度时间从2023/03/09开始生效,每天2点调度一次作业。 执行以下SQL命令,查询目的表B里面是否存在源表A的数据。 SELECT
使用Agent Agent功能待下线,无需配置。 - Agent Agent功能待下线,无需配置。 - ORACLE版本 默认使用最新版本驱动,若不兼容请尝试其他版本。 高于12.1 驱动版本 需要适配的驱动。 - 一次请求行数 指定每次请求获取的行数。 1000 连接属性 自定义连接属性。 useCompression=true
查询概要 功能介绍 查询概要。 调用方法 请参见如何调用API。 URI GET /v3/{project_id}/asset/profile 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 表2
率,提升作业的执行性能。 说明: 若集群为MRS 1.8.7版本或MRS 2.0.1之后版本,需要配置此参数。 表2 高级参数 参数 是否必选 说明 节点状态轮询时间(秒) 是 设置轮询时间(1~60秒),每隔x秒查询一次节点是否执行完成。 节点执行的最长时间 是 设置节点执行的
type为DLI SQL时,可以通过查看所有数据库接口获取数据库信息。 type为其他类型的时候,需要通过JDBC方式连上集群,查询数据库信息。默认值为空。 queueName 是 String DLI资源队列名称,当type参数值为DLISQL时,才支持此参数。可以通过查询队列列表接口获取队列信息。默认值为空。
支持的源端和目的端数据库版本 表1 支持的数据库版本 源端数据库 目的端数据库 SQLServer数据库(企业版2016、2017、2019、2022版本,标准版2016 SP2及以上版本、2017、2019、2022版本) MRS集群(3.2.0-LTS.x) Hudi版本(0.11.0)
成一个调度实例。您可以在“实例监控”页面中,查看补数据实例的运行状态。用户可以在该页面中查看作业的实例信息,并根据需要对实例进行更多操作。 该作业调度时间从2023/03/09开始生效,每天2点调度一次作业。 执行以下SQL命令,查询目的表B里面是否存在源表A的数据。 SELECT
时,可配置编码格式。 utf8 驱动版本 CDM连接关系数据库前,需要先上传所需关系数据库的JDK8版本.jar格式驱动。MySQL的驱动请从https://downloads.mysql.com/archives/c-j/选择5.1.48版本下载,从中获取mysql-connector-java-5
参数。 图2 配置Data_Quality_Monitor节点属性 配置调度周期。 图3 配置调度周期 提交版本并执行调度。 在“作业监控”查看作业运行日志。 图4 查看运行日志 父主题: 数据开发进阶实践
查询连接 功能介绍 查询连接接口。 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/clusters/{cluster_id}/cdm/link/{link_name} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是
容将丢失。 主机连接:建立主机数据连接中创建的连接。 图3 编辑Python语句 单击“保存”,并提交版本。 单击“运行”执行Python语句。 查看脚本运行结果。 图4 查看脚本运行结果 在作业中引用Python脚本 创建一个作业。 选择Python节点,并配置节点属性。 选择
时,可配置编码格式。 utf8 驱动版本 CDM连接关系数据库前,需要先上传所需关系数据库的JDK8版本.jar格式驱动。MySQL的驱动请从https://downloads.mysql.com/archives/c-j/选择5.1.48版本下载,从中获取mysql-connector-java-5
血缘查询 功能介绍 血缘查询。 调用方法 请参见如何调用API。 URI GET /v3/{project_id}/entities/{guid}/lineage 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
录MRS管理页面更新其初始密码,然后使用该新建用户创建MRS连接。 如需连接MRS 2.x版本的集群,请先创建2.x版本的CDM集群。CDM 1.8.x版本的集群无法连接MRS 2.x版本的集群。 如果选择集群后连接失败,请检查MRS集群与作为Agent的CDM实例是否网络互通。网络互通需满足如下条件:
SQL单任务批处理作业可以查看右侧的数据表,单击表名前面的单选框,可以查看该数据的列名、字段类型和描述。 图1 查看数据表 调测并保存作业 作业配置完成后,请执行以下操作: 单击画布上方的运行按钮,运行作业。 用户可以查看该作业的运行日志,单击“查看日志”可以进入查看日志界面查看日志的详细信息记录。