检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
\nPRIMARY KEY(class_id)\n);\nALTER TABLE ${database}.pd_test COMMENT '无';\nCREATE TABLE IF NOT EXISTS ${database}.logic_{}$A_2 (\n id VARCHAR(255)
获取下载的tar包,此即为FusionInsight集群配置文件。 针对MRS 2.x及之前版本集群: 登录MRS管理控制台。 选择“集群列表 > 现有集群”,单击集群名称进入集群详情页面,单击“组件管理”。 单击“下载客户端”。“客户端类型”选择“仅配置文件”,“下载路径”选择
配置Hudi目的端参数 表1 MRS Hudi作为目的端时的作业参数 类别 配置项 配置说明 推荐配置 基本参数 数据库名称 输入或选择写入数据的数据库名称。单击输入框后面的按钮可进入数据库选择界面。 dbadmin 表名 单击输入框后面的按钮可进入表的选择界面。 该参数支持配置
DLI权限同步时,需要该权限。 例如DLI权限同步时,如果无此权限会导致同步失败,系统提示权限不足。 DLI权限管理时必选 dli:database:grantPrivilege dli:table:grantPrivilege dli:column:grantPrivilege
程中发生了异常,则此条数据为脏数据。 因此只要是写入失败的数据均被归类于脏数据。 例如,源端是VARCHAR类型的数据写到INT类型的目标列中,则会因为转换不合理导致脏数据不会成功写入目的端。用户可以在同步任务配置时,配置同步过程中是否写入脏数据,配置脏数据条数(单个分片的最大错
of BusinessCatalogTreeNode objects 子级业务资产列表。 logic_entity_nodes Array of LogicEntityNodes objects 逻辑实体列表。 表5 LogicEntityNodes 参数 参数类型 描述 logic_entity_guid
配置Hive目的端参数 支持快速导入数据到MRS的Hive。 表1 Hive作为目的端时的作业参数 类别 参数名 说明 取值样例 基本参数 数据库 输入或选择写入数据的数据库名称。单击输入框后面的按钮可进入数据库选择界面。 default 表名 输入或选择写入数据的目标表名。单击输入框后面的按钮可进入表的选择界面。
主机连接参数说明 表1 主机连接 参数 是否必选 说明 数据连接类型 是 主机连接固定选择为主机连接。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称,
待还原的资产存储路径为备份资产中生成的文件路径。 您可在还原资产前修改备份路径下的backup.json文件,支持修改连接名(connectionName)、数据库名(database)和集群名(clusterName)。 图2 还原资产 单击“确定”。 父主题: 运维调度
车分割。 图7 查看MRS集群节点IP和域名 登录MRS集群节点,详情请参见登录MRS集群节点,执行命令cat /etc/hosts,可以列出所有节点的IP和域名。 购买弹性公网IP。 登录弹性公网IP控制台,单击“购买弹性公网IP”,根据界面提示配置参数,详情请参考通过VPC和EIP快速搭建可访问公网的网络。
体则无需填写和校验。 表3 请求Body参数 参数 是否必选 参数类型 描述 ids 否 Array of strings 导出对象ID的列表,如:某几个逻辑模型的ID,ID字符串。 asyn 否 Boolean 是否是异步操作导出,true:异步,false:同步。 type 否
创建补数据实例 功能介绍 创建一个补数据实例。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。 URI URI格式 POST /v2/{project_id}/factory/supplement-data 参数说明 参数名 是否必选 参数类型 说明 project_id
内容表达式;只有当rule_type为CUSTOM且method为REGULAR时才必需要此参数。 column_expression 否 String 列表达式;只有当rule_type为CUSTOM且method为REGULAR时才必需要此参数。 commit_expression 否 String
开发一个Python作业 本章节介绍如何在数据开发模块上开发并执行Python作业示例。 环境准备 已开通弹性云服务器,并创建ECS,ECS主机名为“ecs-dgc”。 本示例主机选择“CentOS 8.0 64bit with ARM(40GB)”的公共镜像,并且使用ECS自带
object value,统一的返回结果的外层数据结构。 表6 value 参数 参数类型 描述 total Integer 总量。 records Array of ConditionVO objects ConditionVO信息。 表7 ConditionVO 参数 参数类型 描述
TABLE_MODEL_LOGIC: 逻辑实体 TABLE_TYPE: 表类型 TAG: 标签 TIME_CONDITION: 时间限定 biz_info String 序列化之后的业务详情,类型是string。 biz_info_obj Object 业务详情,类型是object。 biz_version Integer
响应Body参数 参数 参数类型 描述 datastores Array of CdmClusterDatastore objects 数据库列表。 表4 CdmClusterDatastore 参数 参数类型 描述 id String 服务ID,用于区分不同服务。 name String
类型名称,填写“BusinessCatalog”即可(业务分层)。 attributes 是 CatalogAttributeVO object 属性列表。 表5 CatalogAttributeVO 参数 是否必选 参数类型 描述 path 是 String 路径。用“/”作为分隔,如:运营领域/云学院/云学院培训方案。
调度作业 对已编排好的作业设置调度方式。 如果您的作业是批处理作业,您可以配置作业级别的调度任务,即以作业为一个整体进行调度,支持单次调度、周期调度、事件驱动调度三种调度方式。具体请参见配置作业调度任务(批处理作业)。 如果您的作业是实时处理作业,您可以配置节点级别的调度任务,即
如果选择写入到OBS,此参数表示相应的OBS桶下的目录,例如:“/data/dirtydata/”。 throttlingConfig.maxErrorRecords 否 String 单个分片的最大错误记录数。单个map的错误记录超过设置的最大错误记录数时,任务自动结束,已经导入的数据不回退。 schedulerConfig