检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
函数 INFO_ARCH: 信息架构(批量修改主题使用) MODEL: 模型 QUALITY_RULE: 质量规则 SECRECY_LEVEL: 密级 STANDARD_ELEMENT: 数据标准 STANDARD_ELEMENT_TEMPLATE: 数据标准模板 SUBJECT: 主题
KMS密钥 是 通过KMS加解密数据源认证信息,选择KMS中的任一默认密钥或自定义密钥即可。 说明: 第一次通过DataArts Studio或KPS使用KMS加密时,会自动生成默认密钥dlf/default或kps/default。关于默认密钥的更多信息,请参见什么是默认密钥。 绑定Agent
管理员获取。 单击“保存”,CDM会自动测试连接是否可用。 如果可用则提示保存成功,系统自动跳转到连接管理界面。 如果测试不可用,需要重新检查连接参数是否配置正确,或者H公司防火墙是否允许CDM集群的EIP访问数据源。 单击“新建连接”来创建OBS连接,连接类型选择“对象存储服务
业。 基于MRS Hive表构建图数据并自动导入GES 在DataArts Studio中,您可以将原始数据表按照GES数据导入要求处理为标准点数据集和边数据集,并通过自动生成元数据功能,将图数据(点数据集、边数据集和元数据)定期导入到GES服务中,在GES中对最新数据进行可视化图形分析。
position 63-64 : ordinal not in range ( 128 )”怎么处理? 查看日志时,系统提示“OBS日志文件不存在,请检查文件是否被删除或者没有OBS写入权限。”怎么办? Shell/Python节点执行失败,后台报错session is down 请求头中参数值长度超过512个字符时,何如处理?
根据前一个节点的输出结果进行IF条件判断 场景说明 目标场景:通过HIVE SQL统计成绩在85分以上的人数,并将执行结果作为参数传递到下一个节点,通过与人数通过标准进行数值比较,然后决定执行哪一个IF条件分支。 场景分析:由于HIVE SQL节点的Select语句执行结果为单字段的二维数组,因此为获取二维数组中的值,EL表达式#{Loop
如:a b c。此处的“参数”需要在Python脚本中引用,否则配置无效。 支持设置脚本责任人 单击编辑器右侧的“脚本基本信息”,可设置脚本的责任人和描述信息。 脚本内容大小不能超过16MB。 企业模式下,支持从脚本开发界面快速前往发布。标放置在上,单击“前往发布”,进入待发布任务界面。
Hive中的点表和边表,即为按GES图数据格式要求标准化后的边数据集和点数据集,需要与“边数据集”和“点数据集”参数所选的OBS桶中边数据集和点数据集保持一致。 点数据集和边数据集应符合GES图数据格式要求。图数据格式要求简要介绍如下,详情可参见一般图数据格式。 点数据集罗列了各个点的数据信息。一行为一个点的数
根据前一个节点的输出结果进行IF条件判断 场景说明 目标场景:通过HIVE SQL统计成绩在85分以上的人数,并将执行结果作为参数传递到下一个节点,通过与人数通过标准进行数值比较,然后决定执行哪一个IF条件分支。 场景分析:由于HIVE SQL节点的Select语句执行结果为单字段的二维数组,因此为获取二维数组中的值,EL表达式#{Loop
置。 当源端某字段未与目标端字段进行映射时,源端该字段数据将不会同步到目标端。 其他场景下,CDM会自动匹配源端和目的端数据表字段,需用户检查字段映射关系和时间格式是否正确,例如:源字段类型是否可以转换为目的字段类型。 如果字段映射关系不正确,用户可以通过拖拽字段来调整映射关系(
为更好地识别权限集,此处加以描述信息。 图2 创建通用角色 基本信息:在角色详情页面,展开基本信息区域可以查看角色名称、ID、管理员等信息,详见图3。 另外,还可以在配置完角色和权限后,通过右上角的“权限同步”和“角色信息同步”进行同步。 图3 角色基本信息 数据源角色配置:在角色详情
当“失败重试”配置为“是”才显示“超时重试”。 参数设置完成后,单击“保存”,并提交该作业。 单击“启动”,运行该作业。 配置作业基本信息 表3 作业基本信息 参数 说明 责任人 自动匹配创建作业时配置的作业责任人,此处支持修改。 执行用户 当“作业调度身份是否可配置”设置为“是”,该参数可见。
如果确认启用,请单击“是”。 编辑工作空间:在“空间管理”页面,找到所需编辑的工作空间,单击其所在行的“编辑”。此时显示“空间信息”页面。在“空间信息”页面,您可以参考表1修改工作空间的相关参数,最后单击“确定”保存修改的配置。 值得注意的是,与新建工作空间相比,编辑工作空间不
一直等待Flink作业执行完成才结束。 流处理:指Flink作业为流处理运行模式,节点执行时只要作业启动成功即执行成功。后续每次周期运行时检查任务是否处于运行状态,如果处于运行状态,则认为节点执行成功。 注意,此处不会为Flink增加对应的batch或streaming模式参数,您还需要为Flink作业指定对应参数。
建议创建单独用于Migration任务连接的数据库账号,避免因为数据库账号密码修改,导致的任务连接失败。 连接源和目标数据库的账号密码修改后,请同步修改管理中心对应的连接信息,避免任务连接失败后自动重试,导致数据库账号被锁定影响使用。 支持的同步对象范围 在使用Migration进行同步时,不同类型的链路,支持
单击维度表名称,进入维度表详情页面。 可以查看维度表基本信息和表字段信息。同时,您可以配置异常数据输出信息。 单击“编辑”按钮,并打开“生成异常数据”的开关。开启此项,表示异常数据将按照配置的参数存储到规定的库中。 输入数据库或Schema信息,表示存储异常数据的数据库或Schema。 设
若产生的脏数据在阈值范围内,同步任务将忽略脏数据(即不会写入目标端),并正常执行。 若产生的脏数据超出阈值范围,同步任务将失败退出。 说明: 脏数据认定标准:脏数据是对业务没有意义,格式非法或者同步过程中出现问题的数据;单条数据写入目标数据源过程中发生了异常,则此条数据为脏数据。 因此只要是写入失败的数据均被归类于脏数据。
创建血缘信息 功能介绍 创建血缘信息 调用方法 请参见如何调用API。 URI POST /v1/{project_id}/lineage/lineage-info 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
当节点运行超时导致的失败不会重试时,您可前往“默认项设置”修改此策略。 当“失败重试”配置为“是”才显示“超时重试”。 配置作业基本信息。 表3 作业基本信息 参数 说明 责任人 自动匹配创建作业时配置的作业责任人,此处支持修改。 执行用户 当“作业调度身份是否可配置”设置为“是”,该参数可见。
单工作空间下支持创建的流控策略数量为500。 数据服务支持跟踪并保存事件。对于每个事件,数据服务会报告事件发生日期、说明、时间源(某个集群)等信息,事件保存时长为30天。 数据服务专享版日志信息仅查询集群最近100条访问记录,均分至集群全部所属节点中获取。 总览中的调用趋势、发布趋势、调用比率top5、调用