检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark这三种数据源，如果在创建数据连接时选择同一个集群，如图3所示，则需要配置数据源资源映射的DB数据库映射关系进行开发生产环境隔离，如图4所示。详细操作请参见DB配置。 图3 创建数据连接时选择同一个集群 图4 DB配置 企业模式工作空间下，开发环境的数据开发作业默认不进行调度，仅发布至生产环境后可进行调度。
段或时间戳字段时，配合定时执行作业，能够实现抽取指定日期的数据。 配置样例： 假设数据库表中存在表示时间的列DS，类型为“varchar(30)”，插入的时间格式类似于“2017-xx-xx”，如图1所示，参数配置如下： 图1 表数据 Where子句：配置为DS='${dateformat(yyyy-MM-dd
段或时间戳字段时，配合定时执行作业，能够实现抽取指定日期的数据。 配置样例： 假设数据库表中存在表示时间的列DS，类型为“varchar(30)”，插入的时间格式类似于“2017-xx-xx”，如图1所示，参数配置如下： 图1 表数据 Where子句：配置为DS='${dateformat(yyyy-MM-dd
入控制台”。 单击“资源管理”，进入资源管理页面。 在“实时资源管理”页签中，找到指定的数据集成资源组，单击右侧操作栏中的“关联工作空间”。 图1 关联工作空间入口 在弹出框中，搜索需要使用的DataArts Studio工作空间，单击“关联”按钮，即可在对应工作空间中选到该数据集成资源组。
输入便于记忆和区分的连接名称。 mysqllink 数据库服务器 MySQL数据库的IP地址或域名。 - 端口 MySQL数据库的端口。 3306 数据库名称 MySQL数据库的名称。 sqoop 用户名 拥有MySQL数据库的读、写和删除权限的用户。 admin 密码 用户的密码。 -
交。 当前脚本/作业的锁定状态可以通过脚本/作业的目录树查看。 对于已被他人锁定状态的脚本/作业，您需要通过重新打开该脚本/作业，查看最近的保存/提交时的内容。已打开的脚本/作业内容不会实时刷新。 在DataArts Studio更新编辑锁定功能前已经创建的脚本/作业，在更新后默
交。 当前脚本/作业的锁定状态可以通过脚本/作业的目录树查看。 对于已被他人锁定状态的脚本/作业，您需要通过重新打开该脚本/作业，查看最近的保存/提交时的内容。已打开的脚本/作业内容不会实时刷新。 在DataArts Studio更新编辑锁定功能前已经创建的脚本/作业，在更新后默
Studio控制台首页，选择对应工作空间的“数据集成”模块，进入CDM首页。 图1 集群列表 “创建来源”列仅通过DataArts Studio服务进入数据集成界面可以看到。 选择集群操作列中的“更多 > 重启”，进入重启集群确认界面。 图2 重启集群 您可以选择重启CDM服务进
不同版本的DataArts Studio实例，默认提供了不同的数据模型数量规格限制。该规格是以数据架构中逻辑模型、物理模型、维度表、事实表和汇总表的数量之和计算的。您可以在新版本模式的DataArts Studio实例卡片上通过“更多 > 配额使用量”查看该配额情况。 当您的数据模
操作场景 当您启动了实时集成作业后，云监控服务会自动关联实时集成作业的监控指标，帮助您精确掌握作业的各项性能指标和运行情况。 由于监控数据的获取与传输会花费一定时间，因此监控显示的是当前时间5～10分钟前的状态。如果您的实时处理集成作业刚启动完成，请等待5～10分钟后查看监控数据。 前提条件
技术资产数量增量包用于扩充技术资产数量配额。 不同版本的DataArts Studio实例，默认提供了不同的技术资产数量规格限制。该规格是以数据目录中表和OBS文件的数量之和计算的。您可以在新版本模式的DataArts Studio实例卡片上通过“更多 > 配额使用量”查看该配额情况。 当您的技术资产数量接近或达
搜索：输入作业名称，单击,可筛选需要修改的含有CDM Job节点的作业。 刷新：单击，刷新含有CDM Job节点的作业列表。 下载：单击，下载该界面中勾选的作业列表。 图4 CDM集群 单击“DLI队列”，配置所选作业的DLI SQL节点的DLI队列。 在左侧下拉框中选择待修改的DLI队列名称，右侧下拉框中选择要设置的DLI队列名称。
User账号，但为当前工作空间的管理员。 修改方法 参考访问DataArts Studio实例控制台，登录DataArts Studio管理控制台。 在旧版首页的“空间管理”或新版首页的“实例配置>空间管理”页签，单击列表中相应工作空间后的“编辑”，弹出“空间信息”弹窗。 图1 空间信息 在“
User账号，但为当前工作空间的管理员。 修改方法 参考访问DataArts Studio实例控制台，登录DataArts Studio管理控制台。 在旧版首页的“空间管理”或新版首页的“实例配置>空间管理”页签，单击列表中相应工作空间后的“编辑”，弹出“空间信息”弹窗。 图1 空间信息 在“
Studio控制台首页，选择对应工作空间的“数据开发”模块，进入数据开发页面。 在数据开发主界面的左侧导航栏，选择“运维调度 > 作业监控”。 选择“实时集成作业监控”页签，单击作业名称。 在详情页面，选择“日志信息”，在左侧日志列表中单击具体日志文件，即可实时查看作业的运行日志。 图1 日志信息1 图2 日志信息2
作业分组：CDM支持对作业进行分组，分组后的作业可以按组显示、按组批量删除作业、按组批量启动作业、按组导出等。 是否定时执行：可选择作业是否定时自动启动。 抽取并发数：可设置同时执行的抽取任务数。 是否写入脏数据：如果需要将作业执行过程中处理失败的数据、或者被清洗过滤掉的数据写入OBS中，以便后面
选择对应工作空间的“数据架构”模块，进入数据架构页面。 在数据架构控制台，单击左侧导航树中的“维度建模”，然后选择“汇总表”页签。 在左侧主题目录中选中一个主题，然后单击“新建”按钮，开始创建汇总表。 在“新建汇总表”页面，完成相关配置。 图1 配置基本信息 图2 配置属性信息 配置完成后，单击保存并进行发布。
色实现授权的能力。为使IAM用户权限正常，IAM用户所在的用户组需要在IAM控制台中被授予DAYU User或DAYU Administrator的系统角色，另外也必须确保DAYU User角色的IAM用户已在对应的DataArts Studio工作空间中被设置为对应的工作空间角色。
可以使用发布包名称进行模糊查询。 图2 查看任务状态 对于暂时不发布的发布项，开发者、部署者和管理员可以进行撤销。 发布后，通过操作列的“查看详情”可以查看任务的发布状态和启动状态，在操作列的“版本对比”可以查看发布包不同版本间的内容差异。 图3 查看发布详情 父主题： 脚本开发
Hive数据连接中的用户账号需要同时满足如下条件： 需要配置至少具备Cluster资源管理权限的角色（可直接配置为默认的Manager_operator角色）。 需要配置hive用户组。 为实现DWS数据源的数据访问审计，需要满足如下条件： 已开启DWS集群的审计功能开关audit_enabled。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
