检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
称,请在参数名称后的输入框配置参数值。 说明: 若选择SQL语句方式,数据开发模块将无法解析您输入SQL语句中携带的参数。 数据连接 是 选择数据连接。 数据库 是 填写数据库名称,该数据库已创建好,建议不要使用默认数据库。 表2 高级参数 参数 是否必选 说明 节点状态轮询时间(秒)
project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 connection_id 是 String 数据连接id,可通过数据连接列表中获取。 表2 Query参数 参数 是否必选 参数类型 描述 limit 否 String 数据条数限制。 offset 否
用户组必须二选其一进行配置)。例如:"userGroup1,userGroup2"。 users 否 String 用户列表,用户名称逗号分隔(非必填项,但用户、用户组必须二选其一进行配置),例如:"user1,user2"。 conn_name 是 String 数据连接名称,获取方法请参见查询数据连接列表。
用户组必须二选其一进行配置)。例如:"userGroup1,userGroup2"。 users 否 String 用户列表,用户名称逗号分隔(非必填项,但用户、用户组必须二选其一进行配置),例如:"user1,user2"。 conn_name 是 String 数据连接名称,获取方法请参见查询数据连接列表。
项目ID,获取方法请参见项目ID和账号ID。 表2 Query参数 参数 是否必选 参数类型 描述 data_connection_id 否 String 数据连接id,如果是获取技术报告规则评分,请务必填写data_connection_id,database_name,table_name参数值。
要时,可以通过“新增版本”按钮手动增加保存版本。 支持单击右键,可快速复制作业名称,同时可以快速的关闭已打开的作业页签。 在MRS API连接模式下,单任务MRS Spark SQL和MRS Hive SQL运行完以后,在执行结果中查看运行日志,增加一键跳转MRS Yarn查看日志的链接。
支持查看作业和其内各任务节点的运行详情。 支持配置多种方式报警,作业和任务发生错误时可及时通知相关人,保证业务正常运行。 数据开发中的对象 数据连接:定义访问数据实体存储(计算)空间所需信息的集合,包括连接类型、名称和登录信息等。 解决方案:解决方案为用户提供便捷的、系统的方式管理作业,更好地实现业务需求和目标。每
tb_name String 表名。 dw_id String 数据连接ID。 db_name String 数据库名。 queue_name String dli数据连接执行sql所需的队列,数据连接类型为DLI时必须。 schema String DWS类型需要。 extend_info
无需进行授权即可进行调用。而专享版中使用IAM认证方式的API则必须先通过应用或白名单授权才能调用。 只有IAM认证方式的API才支持白名单授权。 通过白名单授权将API授权给账号 使用IAM认证方式的API,必须将API授权后,才能进行API调用。 在DataArts Stud
project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 connection_id 是 String 数据连接id,可通过数据连接列表中获取。 表2 Query参数 参数 是否必选 参数类型 描述 database_name 是 String 数据库名称。 limit
tb_name String 表名。 dw_id String 数据连接ID。 db_name String 数据库名。 queue_name String dli数据连接执行sql所需的队列,数据连接类型为DLI时必须。 schema String DWS类型需要。 extend_info
提示没有权限访问,如图1所示。 执行启动作业/重启集群等操作时,报错当前策略不允许执行,如图2所示。 图1 没有权限访问 图2 不允许创建连接 原因分析 以上所列的问题均属于权限配置问题。 解决方案 如果是作为DataArts Studio服务CDM组件使用: 检查用户是否添加DAYU
CodeTableVO object 引用码表,只读。 queue_name String dli数据连接执行sql所需的队列,数据连接类型为DLI时必须。 dw_id String 数据连接ID。 reversed Boolean 是否是逆向的。 partition_conf String
汇总统计并写入汇总表。 运维调度 数据管理 数据管理功能可以协助用户快速建立数据模型,为后续的脚本和作业开发提供数据实体。主要包含建立数据连接、新建数据库、新建数据表等操作。 在本例中,相关数据管理操作已经在步骤2:数据准备中完成,本步骤可跳过。 脚本开发 在DataArts S
汇总表的创建人,只读,创建和更新时无需填写。 queue_name String dli数据连接执行sql所需的队列,数据连接类型为DLI时必须填写。 dw_id String 汇总表所在的数据连接ID,为32位十六进制数字。 db_name String 汇总表所在的数据库名。 tb_id
单击子作业的打开图标,进入子作业的配置页面,配置规则信息。 基本信息:非必填项,保持默认即可。 来源对象: 规则类型:选择“表级规则”。 数据连接:选择在管理中心组件中创建的数据源连接。 数据对象:选择待统计的数据表。 其他参数保持默认即可。 规则模板: 模板名称:选择“表行数(DWS,HIVE,SparkSQL,ORACLE)”。
数据开发中的作业对应于Job类型,节点对应于Node类型,表对应于Table类型。 数据开发中的作业信息不属于任何一个数据连接,故如果在搜索条件中勾选数据连接,则查询不到结果。 图2 选择类型 在数据资产搜索结果中,类型名称末尾带“_job”的数据资产为作业,单击某一作业名称,可
汇总表的创建人,只读,创建和更新时无需填写。 queue_name String dli数据连接执行sql所需的队列,数据连接类型为DLI时必须填写。 dw_id String 汇总表所在的数据连接ID,为32位十六进制数字。 db_name String 汇总表所在的数据库名。 tb_id
t-Token的值)使用Token认证时必选。 表3 请求Body参数 参数 是否必选 参数类型 描述 dw_id 否 String 数据连接id。 ids 否 Array of strings id列表。 响应参数 状态码: 400 表4 响应Body参数 参数 参数类型 描述
该功能。 SQL或脚本 是 选择需要执行的脚本。如果脚本未创建,请参考新建脚本和开发SQL脚本先创建和开发脚本。 数据连接 是 默认选择SQL脚本中设置的数据连接,支持修改。 模式 是 Hetu支持的数据源。用户可以在MRS Manager的Hetu组件中自行添加数据源。 数据库