检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
问题描述 数据开发节点运行中报TOKEN不合法。 解决方案 请确认当前用户在IAM的权限管理中权限是否有变更、是否退出用户组,或者用户所在的用户组权限策略是否有变更? 如果有变更,请重新登录即可解决。 父主题: 数据开发
connection_type String 数据连接类型。 databases String 数据库名,当存在多个值时以逗号分隔。 sql String 自定义规则中的SQL脚本,系统内置规则时返回。 tables String 表名,当存在多个值时以逗号分隔。 reference_tables
请参见RDS数据连接参数说明。 RDS连接类型支持连接RDS中的MySQL/PostgreSQL/达梦数据库 DM/SQL Server/SAP HANA等关系型数据库。 MySQL(待下线) 不建议使用MySQL(待下线)连接器,推荐使用RDS连接MySQL数据源,请参见RDS数据连接参数说明。 ORACLE
connection_type String 数据连接类型。 databases String 数据库名,当存在多个值时以逗号分隔。 sql String 自定义规则中的SQL脚本。 tables String 表名,当存在多个值时以逗号分隔。 reference_tables String 对照表名,当存在多个值时以逗号分隔。
dw_type 是 String 数据连接类型,对应表所在的数仓类型,取值可以为DWS、MRS_HIVE、POSTGRESQL、MRS_SPARK、CLICKHOUSE、MYSQL、ORACLE和DORIS等。 connection_id 否 String 转化后物理表所属的数据连接ID。
Flink Job、DLI SQL、DWS SQL、MRS HetuEngine、MRS ClickHouse SQL、MRS Hive SQL、MRS Impala SQL、MRS Presto SQL、MRS Spark SQL、RDS SQL、DORIS SQL的算子脚本参数支持参数预览。
Studio数据开发中DLI SQL执行过程中的脏数据存储的OBS桶。工作空间成员如需使用DataArts Studio数据开发执行DLI SQL,必须具备“DLI脏数据OBS桶”的读、写权限,否则,在使用过程中,系统将无法正常读、写DLI SQL执行过程中的脏数据。 单击“请选
SSL,如源端SSL未开启,则需手动关闭SSL加密。 数据源驱动配置 驱动程序名称 是 驱动程序名称,目前支持MySQL jdbc驱动,驱动名为:com.mysql.jdbc.Driver。 驱动文件来源 是 选择驱动文件的来源方式。 驱动文件路径 是 “驱动文件来源”选择“OBS路径”时配置。
文档进行配置。 常见配置举例如下: socketTimeout:配置JDBC连接超时时间,单位为毫秒。 mysql.bool.type.transform:配置mysql读取时,是否将tinyint(1)解析成boolean类型,默认为true。 socketTimeout=300
DLI作为源端时的作业参数 参数名 说明 取值样例 资源队列 选择目的表所属的资源队列。 DLI的default队列无法在迁移作业中使用,您需要在DLI中新建SQL队列。 cdm 数据库名称 写入数据的数据库名称。 dli 表名 写入数据的表名。 car_detail 分区 用于抽取分区的信息。是否支持配置以界面实际为准。
的字段保持一致。 是 导入前准备语句 执行任务之前率先执行的SQL语句。目前向导模式仅允许执行一条SQL语句。 create temp table 导入后完成语句 执行任务之后执行的SQL语句,目前仅允许执行一条SQL语句。 merge into loader线程数 每个load
的高级属性下面可以看到“Where子句”参数。 参数原理:通过“Where子句”参数可以配置一个SQL语句(例如:age > 18 and age <= 60),CDM只导出该SQL语句指定的数据;不配置时导出整表。 Where子句支持配置为时间宏变量,当数据表中有时间日期字段或
的高级属性下面可以看到“Where子句”参数。 参数原理:通过“Where子句”参数可以配置一个SQL语句(例如:age > 18 and age <= 60),CDM只导出该SQL语句指定的数据;不配置时导出整表。 Where子句支持配置为时间宏变量,当数据表中有时间日期字段或
查看预览SQL 在数据架构控制台,选择“模型设计 > 维度建模”,进入维度建模页面。 单击“维度表”页签,进入维度表页面。 在维度表列表中,找到所需要的维度表,在右侧单击“预览SQL”,弹出“预览SQL”对话框。 在“预览SQL”中,您可以查看SQL语句,也可以复制SQL。 同步维度表
代码,数据处理全流程质量监控,异常事件实时通知。 丰富的数据开发类型 支持多人在线协作开发,脚本开发可支持SQL、Shell在线编辑、实时查询;作业开发可支持CDM、SQL、MRS、Shell、Spark等多种数据处理节点,提供丰富的调度配置策略与海量的作业调度能力。 统一调度和运维
Studio数据连接参数。 数据库 选择数据库。 队列 仅限DLI连接类型,需选择DLI队列。 Schema DWS或POSTGRESQL的模式。该参数在DWS或POSTGRESQL连接类型有效。 更新已有表 在导入时,只有创建或更新操作,不会删除已有的表。 不更新:如果表已存在,将直接跳过,不更新。
文档进行配置。 常见配置举例如下: socketTimeout:配置JDBC连接超时时间,单位为毫秒。 mysql.bool.type.transform:配置mysql读取时,是否将tinyint(1)解析成boolean类型,默认为true。 - 父主题: 配置连接参数
事实表的字段添加规则并关联到字段。 单击“确定”。 预览SQL 在事实表列表中,找到所需要的事实表,在右侧单击“更多 > 预览SQL”,弹出“预览SQL”对话框。 在“预览SQL”中,您可以查看SQL语句,也可以复制SQL。 创建指标 在事实表列表中,找到所需要的事实表,在右侧单击“更多
"raw#cdm_mysql_string_auto.col_char", "ref_name_ch" : "cdm_mysql_string_auto.col_char", "ref_name_en" : "cdm_mysql_string_auto
当“规则类型”选择“表级规则”,数据对象选择对应的数据表。 SQL 当“规则类型”选择“自定义规则”时,需要配置该参数。此处需输入完整的SQL语句,定义如何对数据对象进行数据质量监控。 参数默认值 自定义SQL可设置入参用于执行,SQL入参需要与参数默认值顺序匹配(数据质量单点执行时)。