检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
6000,请求处理失败。 error_msg String 错误信息。 data Object 返回的数据信息。 请求示例 总览页面统计信息。 GET https://{endpoint}/v2/{project_id}/design/definitions/statistic 响应示例 状态码:
6000,请求处理失败。 error_msg String 错误信息。 data Object 返回的数据信息。 请求示例 获取所有目录树。 PUT https://{endpoint}/v2/{project_id}/design/biz/catalogs/tree 响应示例 状态码: 200
error_msg String 错误信息。 data Object 返回的数据信息。 请求示例 根据流程ID,查询流程设计中流程详情。 GET https://{endpoint}/v2/{project_id}/design/biz/catalogs/904051952785162240
发布信息列表(专享版)。 type String API类型。 枚举值: API_SPECIFIC_TYPE_CONFIGURATION: 配置类API API_SPECIFIC_TYPE_SCRIPT: 脚本类API API_SPECIFIC_TYPE_REGISTER:注册类API
据。 fromJobConfig.schemaName 是 String 数据库模式或表空间,例如:“public”。 说明: 该参数支持配置通配符(*),实现导出以某一前缀开头或者以某一后缀结尾的所有数据库。例如: SCHEMA*表示导出所有以“SCHEMA”开头的数据库。 *
t-Token的值)。 表3 请求Body参数 参数 是否必选 参数类型 描述 variables 否 Object 启动作业,配置变量参数,作业配置无变量时,为空对象。 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 submissions Array
对象存储服务OBS MRS Hudi组件(MRS Hudi作为一种数据格式,元数据存放在Hive中,操作通过Spark进行。在Hudi表开启“同步hive表配置”后,可通过采集MRS Hive元数据的方式采集Hudi表的元数据) 详情请参见支持的数据源。 父主题: 数据目录
物理模型、维度模型、数据集市,都是模型,在数仓规划进行统一管理。 数仓规划支持细粒度权限管控,在数据安全模块对数据架构模型目录权限管控策略进行配置。 新建数仓分层 数仓分层支持用户根据实际业务场景进行自定义。具体操作如下: 进入数据架构主页面。 在数据架构控制台,单击左侧导航树中的“模型设计
问题案例总览 类型 相关文档 网络打通 数据源和资源组网络不通如何排查? 数据源安全组放通哪些端口可满足Migration访问? Hudi 如何配置Hudi Compaction的Spark周期任务? DWS MySQL到DWS实时同步中,同步新增列的DDL时报错怎么办? MySQL到
于个人调试开发。在开发态下,可以随意编辑、保存、运行脚本/作业,不会影响调度中的脚本/作业;另外在作业关联脚本、配置作业依赖时,被关联的脚本/作业均会读取开发态的配置。 生产态:提交后版本的脚本/作业为生产态,用于正式调度。在正式调度中,调用脚本、实例重跑、作业依赖、补数据等场景均是关联脚本/作业最新的已提交版本。
g转bigint,bigint转int。 解决方案 根据报错信息找到哪个字段映射有问题,找DBA修改表结构。 如果只有极少数据有问题,可以配置脏数据策略解决。 父主题: 数据集成(CDM作业)
String 错误信息。 data Object 返回的数据信息。 请求示例 根据请求参数,编辑码表的字段值,包括码表字段的新增。 GET https://{endpoint}/v2/{project_id}/design/code-tables/1230204979835502592/values
创建一个数据开发模块空作业,作业名称为“job_MRS_Flink”。 图1 新建作业 进入到作业开发页面,拖动“MRS Flink”节点到画布中并单击,配置节点的属性。 图2 配置MRS Flink节点属性 参数设置说明: --Flink作业名称 wordcount --MRS集群名称 选择一个MRS集群
为空。 configuration 否 map <String,Object> 用户定义适用于此作业的配置参数,当type参数值为DLI SQL时,才支持此参数。当前支持的配置项列表请参考 conf参数说明。默认值为空。 description 否 String 描述,长度不能超过255个字符。
注意此方法只能直接获取当前作业里配置的参数值,并不能获取到父作业传递过来的参数值,也不能获取到工作空间里面配置的全局变量,作用域仅为本作业。 这种情况下建议使用表达式${job_param_name},既可以获取到父作业传递过来的参数值,也可以获取到全局配置的变量。 获取参数test的值:
String 配置名称:源端作业的配置名称为“fromJobConfig”。目的端作业的配置名称为“toJobConfig”,连接的配置名称固定为“linkConfig”。 id 否 Integer 配置ID,由系统生成,用户无需填写。 type 否 String 配置类型,由系统
在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。 在作业目录中选择需要复制的作业,右键单击作业名称,选择“拷贝另存为”。 图1 复制作业 在弹出的“另存为”页面,配置如表1所示的参数。 表1 作业目录参数 参数 说明 作业名称 自定义作业的名称,只能包含英文字母、数字、中文、“-”、“_”、“.”,且长度为1~128个字符。
操作名称 资源类型 事件名称 创建集群 cluster createCluster 删除集群 cluster deleteCluster 修改集群配置 cluster modifyCluster 开机 cluster startCluster 重启 cluster restartCluster
在数据开发主界面的左侧导航栏,选择“数据开发 > 脚本开发”。 在脚本目录中选择需要复制的脚本,右键单击脚本名称,选择“拷贝另存为”。 图1 复制脚本 在弹出的“另存为”页面,配置如表1所示的参数。 表1 脚本目录参数 参数 说明 脚本名称 脚本的名称,只能包含字符:英文字母、数字、中文、中划线、下划线和点号,且长度小于等于128个字符。
"true" Where: COPY sd_mask_ext, line 1, column mask_type. 原因分析 MySQL默认开启配置tinyInt1isBit=true,会将TINYINT(1)当作BIT也就是Types.BOOLEAN来处理,将1或0读取为true或false。