检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
集群名：环境准备中创建的DWS集群名称。 绑定Agent：环境准备中创建的CDM集群。 创建数据库 在DWS中创建数据库，以“gaussdb”数据库为例。创建数据库的详情请参考新建数据库进行操作。 创建数据表 在“gaussdb”数据库中创建数据表trade_log和trade_report。详情请参考如下建表脚本。
步到目的端为DWS数据库的场景。 整库：适用于将1个源端为PostgreSQL实例上的多个数据库表实时同步到1个目标端为DWS实例的多个库表。 分库分表：适用于将多个源端为PostgreSQL实例上的多个分库中的分表实时同步到1个目标端为DWS实例的汇聚表。 支持单机/主备Pos
支撑信息分析。 分析10大用户关注最多的产品 在DataArts Studio控制台首页，选择对应工作空间的“数据开发”模块，进入数据开发页面。 创建一个DLI SQL脚本，以通过DLI SQL语句来创建数据表。 图1 新建脚本 在新建脚本弹出的SQL编辑器中输入如下SQL语句，
Studio控制台，找到所需要的DataArts Studio实例，单击实例卡片上的“进入控制台”，进入概览页面。 选择“空间管理”页签，在工作空间列表中，找到所需要的工作空间，单击工作空间的“数据开发”，系统跳转至数据开发页面。 在“作业开发”页面，新建数据开发作业，然后分别选择CDM节点和两个
MRS集群和CDM集群之间网络互通，网络互通需满足如下条件： CDM集群与云上服务处于不同区域的情况下，需要通过公网或者专线打通网络。通过公网互通时，需确保CDM集群已绑定EIP，数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 CDM集群与云上服务同区域情况下，同虚拟私有云、同子网、同安全组的不
Studio控制台，找到所需要的DataArts Studio实例，单击实例卡片上的“进入控制台”，进入概览页面。 选择“空间管理”页签，在工作空间列表中，找到所需要的工作空间，单击工作空间的“数据开发”，系统跳转至数据开发页面。 在“作业开发”页面，新建数据开发作业，然后分别选择CDM节点和两个
参数。 写入脏数据的OBS桶的名称。 dirtydata 脏数据目录 “是否写入脏数据”选择为“是”时，该参数才显示。 OBS上存储脏数据的目录，只有在配置了脏数据目录的情况下才会记录脏数据。 用户可以进入脏数据目录，查看作业执行过程中处理失败的数据或者被清洗过滤掉的数据，针对该
成”。 在集群管理页面，单击集群操作列“作业管理”，进入“作业管理”页面，如图1所示。 图1 集群管理 在“连接管理”页签中，单击“新建连接”，分别创建Oracle数据连接和MRS Hive数据连接，详情请参见新建Oracle数据连接和新建MRS Hive数据连接。 在“表/文件
表等操作。 在本例中，相关数据管理操作已经在步骤2：数据准备中完成，本步骤可跳过。 脚本开发 在DataArts Studio控制台首页，选择对应工作空间的“数据开发”模块，进入数据开发页面。 在左侧导航栏中，单击“脚本开发”，再右键单击“脚本”选择“新建目录”，在弹出框中输入目
s Studio管理控制台。 在DataArts Studio控制台首页，选择对应工作空间的“数据开发”模块，进入数据开发页面。 在数据开发主界面的左侧导航栏，选择“数据开发 > 作业开发”。 在作业目录中，右键单击目录名称，选择“新建目录”。 在弹出的“新建目录”页面，配置如表1所示的参数。
数据连接下所有数据库评分的加权平均值，即：∑数据连接下所有数据库的评分/数据库的数量。 在DataArts Studio控制台首页，选择对应工作空间的“数据质量”模块，进入数据质量页面。 选择“数据质量监控 > 质量报告”。 在“技术报告”页签，选择数据连接及时间段，系统支持查询报告的最大时间范围限制为30天，如图1所示。
用数据开发按如下步骤编排作业，并定期调度。 在DataArts Studio控制台首页，选择对应工作空间的“数据开发”模块，进入数据开发页面。 创建一个数据开发批处理作业，作业名称可以命名为“import_ges”。 图2 新建作业 在作业开发页面，拖动1个Dummy节点、8个CDM
图3 作业依赖关系视图 选择需要重跑的当前作业及其上下游作业，支持多选。 说明： 鼠标放置于作业依赖关系视图右边的按钮上，会显示如下信息： 鼠标在依赖关系图中的某节点上悬停，其上游作业会被标记为蓝色，下游作业会被标记为黄色。 鼠标按住空白处可自由拖拽以查看完整关系图。 鼠标左键单击依
鼠标按住空白处，可自由拖拽用以查看完整关系图。 鼠标光标悬停在作业节点上，该作业节点会被标记为绿色，上游作业会被标记为青蓝色，下游作业会被标记为橙黄色。 图6 上下游作业节点标记 在作业节点上右键单击，可进行查看作业、复制作业名称、收起上/下游作业等操作。 图7 作业节点操作 另外，作业的节点监控信息还可以通过作业详情查看。
为脚本所在路径 单击“测试运行”，执行该脚本作业。 待测试完成，执行“提交”。 在“作业监控”界面，查看作业执行结果。 图8 查看作业执行结果 日志验证。 运行成功后，登录MRS manager后在YARN上查看日志，发现有hello python的输出。 图9 查看YARN上日志 父主题：
于用户查看任务的预计完成时间。 保障任务在承诺时间前运行完成 可以将任务添加至基线上，并设置基线承诺时间，当系统预测到基线上任务无法在承诺时间前完成，或上游任务有出错或变慢的情况，将发送报警信息，用户可以根据报警信息及时处理问题，保障任务在承诺时间前运行完成。 相关概念 基线：用
编辑参数表达式 在参数值文本框后方，单击，编辑参数表达式，更多表达式请参见表达式概述。 修改 在参数名和参数值的文本框中直接修改。 掩码显示 在参数值为密钥等情况下，从安全角度，请单击将参数值掩码显示。 删除 在参数值文本框后方，单击，删除作业参数。 常量 新增 单击“新增”，在文本框中填写作业常量的名称和参数值。
Kafka连接。 配置方法（DIS Client） 登录DataArts Studio控制台，找到所需要的DataArts Studio实例，单击实例卡片上的“进入控制台”，进入概览页面。 单击第一个工作空间A的“数据开发”，系统跳转至数据开发页面，新建数据开发作业job1。分别选择Dummy节点和DIS
variable 表6 Location数据结构说明 参数名 是否必选 参数类型 说明 x 是 Int 节点在作业画布上的横轴位置 y 是 Int 节点在作业画布上的纵轴位置 表7 condition数据结构说明 参数名 是否必选 参数类型 说明 preNodeName 是 String
也请参照以下步骤完成新建： 在码表管理页面，在码表目录树中选择一个目录，然后在右侧单击“新建”按钮。 图12 码表管理 在新建码表页面中，请参考表2配置参数，然后单击“保存”。 图13 新建码表 参考步骤3.a~3.b，在供应商目录下创建供应商码表，在费率目录下创建费率码表。 图14
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
