检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
aArts Studio中,上游任务节点运行完成且运行成功,下游任务节点才会开始运行。 配置调度依赖后,可以保障调度任务在运行时能取到正确的数据(当前节点依赖的上游节点成功运行后,DataArts Studio通过节点运行的状态识别到上游表的最新数据已产生,下游节点再去取数)。避
降低了客户数据源迁移和集成的复杂性,有效的提高您数据迁移和集成的效率。 数据集成即云数据迁移(Cloud Data Migration,后简称CDM)服务,本文中的“云数据迁移”、“CDM”均指“数据集成”。 您可以通过以下方式之一进入CDM主界面: 登录CDM控制台,单击“集群管理”,进入到CDM主界面。
hadoop_01 单击“显示高级属性”,然后单击“添加”,您可以添加客户端的配置属性。所添加的每个属性需配置属性名称和值。对于不再需要的属性,可单击属性后的“删除”按钮进行删除。 父主题: 配置连接参数
选择对应工作空间的“数据指标”模块,进入数据指标页面。 图1 选择数据指标 在数据指标控制台,单击左侧导航树中的“配置中心”,进入相应页面后,选择“审核人管理”页签。 在“审核人管理”页面,单击“添加”按钮。 在弹出的添加对话框中,选择审核人,输入正确的手机号码和电子邮箱,单击“确定”完成审核人添加。
和问题定位等常见应用场景。 CTS可记录的DataArts Studio操作列表详见如何查看审计日志。用户开通云审计服务并创建和配置追踪器后,CTS开始记录操作事件用于审计,用户可查看CTS保存最近7天的审计日志。 CTS支持配置关键操作通知。例如用户可将与IAM相关的高危敏感操
如下图,工作空间A中的job1运行完成后,可以使用DIS Client或Kafka Client发送消息触发中继作业job_agent;job_agent配置事件触发调度,根据DIS Client或Kafka Client发送的消息触发运行后,判断消息是否符合预期,符合则触发jo
示例场景说明 本实践通过DataArts Studio服务的数据开发DLF组件和数据湖探索服务(DLI)对某电商商城的用户、商品、评论数据(脱敏后)进行分析,输出用户和商品的各种数据特征,可为营销决策、广告推荐、信用评级、品牌监控、用户行为预测提供高质量的信息。在此期间,您可以学习到数
板,然后根据业务需求填写好模板中的相关参数并保存后,先添加再上传,完成模板上传。模板参数的详细描述请参见表3。 导出的流程 您可以将某个DataArts Studio实例的数据指标中已建立的流程设计信息导出到Excel文件中。导出后的文件可用于导入。导出流程的操作请参见导出流程。
需要修改的数据库模式,右键单击数据库模式名称,选择“修改”后,在弹出的页面中修改数据库模式的信息。 删除数据库模式:在脚本开发导航栏,选择,展开下方的数据连接至需要删除的数据库模式,右键单击数据库模式名称,选择“删除”后,在弹出的页面中单击“确定”完成删除。 默认的数据库模式不可删除。
行备份。 对于购买DataArts Studio服务时系统赠送的CDM集群,非常不建议您进行删除操作。该集群删除后无法再次赠送,只能另外购买。 删除集群后,CDM集群不再按需计费或扣除套餐时长。如果您为删除的CDM集群购买了CDM折扣套餐或包年包月形式的DataArts Stud
子网 安全组 IPv6双栈支持 当配置的子网支持IPv6后,可选择是否开启IPv6双栈支持。 开启IPv6双栈后,集群内网IP支持IPv4和IPv6,可通过IPv4或IPv6内网地址访问集群。 说明: 开启IPv6双栈后,仅支持选择已开启IPv6网段的子网。如果待选择的子网未开
已购买资源组,详情请参见购买数据集成资源组。 已购买并配置虚拟专用网络VPN,与云上的至少一个虚拟私有云VPC连通。若未开通虚拟专用网络VPN请参考通过企业版站点入云VPN实现数据中心和VPC互通进行配置。 准备工作 查询打通网络过程中所涉及到对象的网段(包含数据源、中转VPC、资源组),为便于理解,本章节将举例为您进行介绍。
CDM迁移作业的抽取并发数应该如何设置? CDM通过数据迁移作业,将源端数据迁移到目的端数据源中。其中,主要运行逻辑如下: 数据迁移作业提交运行后,CDM会根据作业配置中的“抽取并发数”参数,将每个作业拆分为多个Task,即作业分片。 不同源端数据源的作业分片维度有所不同,因此某些作业
缘输入配置如图3所示。 图3 配置血缘输入 完成血缘的输入表配置后,单击确定,继续配置血缘的输出表。假如MRS Spark作业中的输出表为“a”,则血缘输出配置如图4所示。 图4 配置血缘输出 完成血缘的输出表配置后,单击确认,则此MRS Spark节点的血缘关系手动配置成功。后
“创建来源”列仅通过DataArts Studio服务进入数据集成界面可以看到。 单击集群名称后,选择“集群配置”页签,可修改消息通知、用户是否隔离以及最大抽取并发数的配置。 图4 修改集群配置 修改完成后单击“保存”,返回集群管理界面。 如果是关闭用户隔离,需要重启集群VM才能生效,在集群列表处,选择操作列中的“更多
的、计算公式等,并不进行实际运算,可与指标开发进行关联。而指标开发是指标定义的具体实现,定义了指标如何计算。 数据指标功能当前需申请白名单后才能使用。如需使用该特性,请联系客服或技术支持人员。 当前仅北京四、上海一和上海二局点给部分用户开放使用。 背景 为了满足用户实际业务场景需
用户的数据库中新增的数据表,采集任务仅采集新增的表。 例如新增table4的情况下: 采集前的数据表元数据:table1,table2,table3 采集后的数据表元数据:table1,table2,table3,table4 按照下面的配置,采集任务仅会采集table4。(前提:table1-table3已经在数据目录中)
缘输入配置如图3所示。 图3 配置血缘输入 完成血缘的输入表配置后,单击确定,继续配置血缘的输出表。假如MRS Spark作业中的输出表为“a”,则血缘输出配置如图4所示。 图4 配置血缘输出 完成血缘的输出表配置后,单击确认,则此MRS Spark节点的血缘关系手动配置成功。后
审核中心 开发环境生成的指标数据处理类任务提交审核后,都会存储在审核中心页面,然后在审核中心页面进行任务审核发布,这些任务才会生效。在审核中心,可以对提交审核的对象进行统一管理。 在DataArts Studio控制台首页,选择实例,单击“进入控制台”,选择对应工作空间的“数据指标”模块,进入数据指标页面。
CDM数据迁移时,简化的迁移模型如图1所示。 图1 CDM数据迁移模型 CDM通过数据迁移作业,将源端数据迁移到目的端数据源中。其中,主要运行逻辑如下: 数据迁移作业提交运行后,CDM会根据作业配置中的“抽取并发数”参数,将每个作业拆分为多个Task,即作业分片。 不同源端数据源的作业分片维度有所不同,因此某些作业