检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
的目录。 是 目录层次 自定义迁移后文件的存储路径,支持时间宏变量。 说明: 源端为关系型数据库数据源时,目录层次为源端表名+自定义目录,其他场景下为自定义目录。 ${dateformat(yyyy-MM-dd HH:mm:ss, -1, DAY)} 压缩格式 “文件格式”为“CSV”时不存在该参数。
ecret)进行安全认证,支持通过SDK或API调用工具调用,安全级别高,推荐使用。 IAM认证:将IAM认证方式的API授权给当前账号或其他账号后,借助从IAM服务获取的用户Token进行安全认证。支持通过API调用工具调用,安全级别中等。 无认证:不需要认证,所有用户均可访问
String 产品规格编码(即实例类型编码),例如dayu.starter,dayu.basic,dayu.advanced等。可通过查询其他实例信息进行获取。 cloud_service_type 否 String 云服务类型。 resource_type 否 String 资源类型。
请联系客服或技术支持人员。 作业委托 当“作业调度身份是否可配置”设置为“是”,该参数可见。 配置委托后,作业执行过程中,以委托的身份与其他服务交互。 作业优先级 自动匹配创建作业时配置的作业优先级,此处支持修改。 实例超时时间 配置作业实例的超时时间,设置为0或不配置时,该配
String 产品规格编码(即实例类型编码),例如dayu.starter,dayu.basic,dayu.advanced等。可通过查询其他实例信息进行获取。 product_id String CBC产品id,未安装CBC的环境无需这个值。 order_type String
选择审核人时,系统支持选择多个审核人,全部审批通过后,状态才会显示为已发布。如果有任意一个人驳回,则状态为已驳回。 (可选)参考步骤2~步骤8,完成其他衍生指标的发布。 等待审核人员审核。 审核通过后,衍生指标创建完成。 衍生指标创建完成后,单击指标名称,可以查看该衍生指标的详情、关系图、发布历史和审核历史。
不配置,则迁移到OBS的CSV文件名会带上时间戳等额外字段,导致每次运行迁移作业获取的文件名不一致,无法每次迁移后自动导入GES图数据。 其他高级属性无需配置,单击“下一步”。 图14 vertex_user_rds2obs作业基础配置 图15 vertex_user_rds2obs作业高级配置
同步的DDL类型。 分库分表场景下,执行重命名列操作,必须停业务操作,不然会有数据不一致的风险。 分库分表场景下,推荐只同步新增列DDL,其他的DDL同步可能会因为目标表被修改而导致任务失败或数据不一致。 分库分表场景下,执行新增列时,需保证每张表加列的类型一致,否则有可能导致任务失败。
参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 响应参数 表2 参数说明 参数名 是否必选 参数类型 说明 name 是 String 作业名称,只能
可能导致任务内存溢出。 常见故障排查: 在任务创建、启动、全量同步、增量同步、结束等过程中,如有遇到问题,可先参考常见问题章节进行排查。 其他限制 - 操作步骤 本小节以Apache Kafka到MRS Kafka实时同步为示例,介绍如何配置Migration实时集成作业。配置作业前请务必阅读使用前自检概览,
式API配置排序参数时的排序参数顺序或脚本/MyBatis方式API SQL中的排序参数顺序为准,调整不生效。 修改升序或降序的排序参数为其他排序方式,则会调用失败,不允许修改。 (可选)在创建API时,如果已打开“返回总条数”开关,则当API对应的数据表数据量较大时,获取数据总
式API配置排序参数时的排序参数顺序或脚本/MyBatis方式API SQL中的排序参数顺序为准,调整不生效。 修改升序或降序的排序参数为其他排序方式,则会调用失败,不允许修改。 (可选)“返回总条数”配置:在创建API时,如果已打开“返回总条数”开关,则当API对应的数据表数据
编码,ID字符串。 other_metric_ids 否 Array of strings 其他指标ID,ID字符串。 other_compound_metric_ids 否 Array of strings 其他复合指标ID。 expression 否 String 告警表达式。 metric_id
右键单击作业目录,在弹出菜单中单击“新建作业”。 图5 作业 在弹出弹框中输入“作业名称”如demo_taxi_trip_data,“作业类型”选择“批处理”,其他参数保留默认值,单击“确定”完成批作业创建。 图6 新建批处理作业 如下图所示,编排批作业。 图7 编排作业 每个节点配置如下: source_sdi节点:为CDM
如果需要更新驱动文件,则需要先在数据集成页面重启CDM集群,然后通过编辑数据连接的方式重新选择新版本驱动,更新驱动才能生效。 数据源认证及其他功能配置 用户名 是 数据库的用户名,创建集群的时候,输入的用户名。 密码 是 数据库的访问密码,创建集群的时候,输入的密码。 数据集成配置
网、安全组。 在相同VPC、子网、安全组中的云服务资源(如ECS),可以使用数据服务专享版实例的私有地址调用API。建议将专享版集群和您的其他关联业务配置一个相同的VPC、子网、安全组,确保网络安全的同时,方便网络配置。 VPC、子网、安全组的详细操作,请参见《虚拟私有云用户指南》。
l脚本、Python脚本等任务的同时运行上限为200,超出的任务将排队等待。建议您按照业务量情况规划多个Agent分担压力。 数据源认证及其他功能配置 用户名 是 数据库的用户名,创建DWS集群时指定的用户名。 密码 是 数据库的访问密码,创建DWS集群时指定的密码。 数据集成配置
is_release_recently Boolean 是否新品上市(三天内新发布的API)。 is_hot_recently Boolean 是否热销产品(三天内有其他空间用户申请该API)。 success_rate String 7天内调用成功率。 failure_rate String 7天内调用失败率。
参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 说明: 多个DataArts Studio实例需要指定工作空间。 当工作空间里面没有default工作
Each节点,选中连线图标并拖动,编排图5所示的作业。 配置HIVE SQL节点属性。此处配置为引用SQL脚本,SQL脚本的语句如下所示。其他节点属性参数无特殊要求。 --从student_score表中统计成绩在85分以上的人数-- SELECT count(*) FROM student_score