正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
运行作业。 自定义镜像可以改变Spark作业和Flink作业的容器运行环境。用户可以将一些私有能力内置到自定义镜像中,从而增强作业的功能、性能。关于自定义镜像的更多详情,请参见自定义镜像。 作业名称 是 填写DLI Spark作业的名称,只能包含英文字母、数字、“_”,且长度为1~64个字符。默认与节点的名称一致。
"Source", "path" : "", "catalogId" : "", "workspaceVsId" : { }, "createTime" : 0, "port" : 8000, "sourceType"
果,误差率表示两端数据行数的差异比率,误差率为0表示两端一致。 更多 > 处理&记录 对当前规则实例进行进一步处理。支持填写处理意见,关闭问题和移交他人。 如果实例的处理人是当前登录用户则可以对规则实例进行处理操作,包括填写意见和转交给他人处理。 更多 > 刷新作业状态 可以刷新作业的运行状态。
并正常执行。 若产生的脏数据超出阈值范围,同步任务将失败退出。 说明: 脏数据认定标准:脏数据是对业务没有意义,格式非法或者同步过程中出现问题的数据;单条数据写入目标数据源过程中发生了异常,则此条数据为脏数据。 因此只要是写入失败的数据均被归类于脏数据。 例如,源端是VARCHA
景。 运行模式 EMBEDDED “HIVE_3_X”版本支持该参数。支持以下模式: EMBEDDED:连接实例与CDM运行在一起,该模式性能较好。 STANDALONE:连接实例运行在独立进程。如果CDM需要对接多个Hadoop数据源(MRS、Hadoop或CloudTable
"Source", "path" : "", "catalogId" : "", "workspaceVsId" : { }, "createTime" : "2022-12-09T01:59:42.319+00:00",
据,请填写where条件。 图8 where条件开关 查看关联质量规则的结果,如果显示成功,单击“确定”。如果显示失败,请查看失败原因,等问题处理后,再重新关联质量规则。 图9 关联结果 返回关系模型列表页面,找到已关联质量规则的表,在“同步状态”列中,鼠标移至创建质量作业的图标
如果同步状态中存在失败,可单击该维度表所在行的“发布历史”,然后在展开的页面中进入“发布日志”页签查看日志。请根据错误日志定位失败原因,问题解决后,您可以勾选该维度表,再单击列表上方的“同步”按钮尝试重新同步。如果问题仍未能解决,请联系技术支持人员协助处理。 图43 维度表同步状态 维度建模:在DWR层新建并发布事实表
- 密钥(SK) - 运行模式 “HIVE_3_X”版本支持该参数。支持以下模式: EMBEDDED:连接实例与CDM运行在一起,该模式性能较好。 STANDALONE:连接实例运行在独立进程。如果CDM需要对接多个Hadoop数据源(MRS、Hadoop或CloudTable
CDM作业默认打开了JDBC连接器与关系型数据库通信使用二进制协议开关,即useCursorFetch=true。部分第三方可能存在兼容问题导致迁移时间转换出错,可以关闭此开关;开源MySQL数据库支持useCursorFetch参数,无需对此参数进行设置。 引用符号 否 适用组件勾选数据集成后,呈现此参数。
间,然后将开发工作空间导出的脚本或作业,导入到生产工作空间。在这种方式下,无法简单便捷地完成生产和开发环境同步,缺少审批管控环节。针对以上问题,可以通过企业空间模式,在一个工作空间实现开发与生产环境隔离,通过一键发布和审批流程,快速且高效的发布任务,极大提高了工作效率。 建议您将
某数据运营工程师负责本公司的数据质量监控,仅需要数据质量组件的权限。管理员如果直接赋予该数据运营工程师“开发者”的预置角色,则会出现其他组件权限过大的风险。 为了解决此问题,项目管理员可以创建一个基于“开发者”预置角色的自定义角色“Developer_Test”,在“开发者”角色权限的基础上为其去除其他组件的
如果同步状态中存在失败,可单击该维度表所在行的“发布历史”,然后在展开的页面中进入“发布日志”页签查看日志。请根据错误日志定位失败原因,问题解决后,您可以勾选该维度表,再单击列表上方的“同步”按钮尝试重新同步。如果问题仍未能解决,请联系技术支持人员协助处理。 图43 维度表同步状态 维度建模:在DWR层新建并发布事实表
运行作业。 自定义镜像可以改变Spark作业和Flink作业的容器运行环境。用户可以将一些私有能力内置到自定义镜像中,从而增强作业的功能、性能。关于自定义镜像的更多详情,请参见自定义镜像。 CUs 是 CUs为DLI计费单位,一个CU是1核4G的资源配置。 管理节点CU数量 是
维度建模是从分析决策的需求出发构建多维模型,它主要是为分析需求服务,因此它重点关注用户如何更快速地完成需求分析,同时具有较好的大规模复杂查询的响应性能。 多维模型是由数字型度量值组成的一张事实表连接到一组包含描述属性的多张维度表,事实表与维度表通过主/外键实现关联。 在DataArts
"Source", "path" : "", "catalogId" : "", "workspaceVsId" : { }, "createTime" : "2022-12-09T01:59:42.319+00:00",
查看运行实例日志:在数据水印嵌入页面,找到需要查看实例的任务,单击展开,即可找到运行实例。随后单击“查看日志”,查看运行实例日志。 运行失败可通过日志排查失败原因,问题修正后尝试重新运行。如果仍运行失败,请联系技术支持人员协助处理。 父主题: 管理数据水印
规格,需要重新创建。 使用中的按需资源包不支持退订,详情可查看不可退订。 单击“立即购买”,确认规格后提交。创建资源组失败时,如果显示配额问题,请联系工作人员申请配额。 购买成功后,即可返回对应的工作空间查看已购买的数据集成资源组。 套餐包方式购买数据集成资源组 如果您希望享受“
-java-5.1.48.jar,然后进行上传。 - 单击“保存”回到连接管理界面。 如果保存时出错,一般是由于MySQL数据库的安全设置问题,需要设置允许CDM集群的EIP访问MySQL数据库。 创建OBS连接 单击CDM集群后的“作业管理”,进入作业管理界面,再选择“连接管理
配置作业运行参数。当选择了MRS集群名后,该参数才显示。 该参数为本次执行的作业配置相关优化参数(例如线程、内存、CPU核数等),用于优化资源使用效率,提升作业的执行性能。 注意: 系统支持实时Flink SQL作业运行前能够查询历史checkpoint,并选择从指定checkpoint启动。要使Flink