检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
认会把DLI SQL执行过程中的脏数据写到dlf-log-{projectId}桶中。 若要自定义DLI脏数据日志路径,请前往空间管理进行编辑操作。详细操作请参见配置OBS桶。 表2 高级参数 参数 是否必选 说明 节点状态轮询时间(秒) 是 设置轮询时间(1~60秒),每隔x秒查询一次节点是否执行完成。
开发环境。默认同步到生产环境,不勾选则无法同步。 编辑维度 在数据架构控制台,单击左侧导航树中的“维度建模”,进入相应页面后,选择“维度”页签。 在维度列表中找到需要编辑的维度,单击“编辑”,进入编辑维度页面。 根据实际需要编辑维度的相关信息,参数配置请参考配置参数。 单击“保存
Studio实例控制台,登录DataArts Studio管理控制台。 在旧版首页的“空间管理”或新版首页的“实例配置>空间管理”页签,单击列表中相应工作空间后的“编辑”,弹出“空间信息”弹窗。 图1 空间信息 在“空间信息”中,单击“数据服务专享版API配额”中对应配额的“设置”按钮,对已分配配额进行配
Studio实例控制台,登录DataArts Studio管理控制台。 在旧版首页的“空间管理”或新版首页的“实例配置>空间管理”页签,单击列表中相应工作空间后的“编辑”,弹出“空间信息”弹窗。 图1 空间信息 在“空间信息”中,单击“数据服务专享版API配额”中对应配额的“设置”按钮,对已分配配额进行配
HIVE,CUSTOM和DLI类型。 确定 单击“确认”,保存节点输入功能的参数配置。 取消 单击“取消”,取消节点输入功能的参数配置。 编辑 单击,修改节点输入功能的参数配置,修改完成后,请保存。 删除 单击,删除节点输入功能的参数配置。 查看表详情 单击,查看节点输入血缘关系创建数据表的详细信息。
HIVE,CUSTOM和DLI类型。 确定 单击“确认”,保存节点输入功能的参数配置。 取消 单击“取消”,取消节点输入功能的参数配置。 编辑 单击,修改节点输入功能的参数配置,修改完成后,请保存。 删除 单击,删除节点输入功能的参数配置。 查看表详情 单击,查看节点输入血缘关系创建数据表的详细信息。
HIVE,CUSTOM和DLI类型。 确定 单击“确认”,保存节点输入功能的参数配置。 取消 单击“取消”,取消节点输入功能的参数配置。 编辑 单击,修改节点输入功能的参数配置,修改完成后,请保存。 删除 单击,删除节点输入功能的参数配置。 查看表详情 单击,查看节点输入血缘关系创建数据表的详细信息。
行日志,通过日志排查同步失败原因。待问题修复后请重新同步,如果仍同步失败,请联系技术支持人员协助处理。 编辑策略:在行级访问控制页面,单击对应任务操作栏中的“编辑”,即可编辑行级访问控制策略。 删除策略:在行级访问控制页面,单击对应任务操作栏中的“删除”,即可删除策略。当需要批量
配置CDM作业消息体 编辑“CDM作业消息体”。 由于源表有三个,分别为mail001、mail002、mail003,因此需要将作业JSON中的“fromJobConfig.tableName”属性值配置为“mail${num}”,即源表名是通过参数配置。如下图所示: 图7 编辑JSON
使用华为账号登录DataArts Studio管理控制台的首页,单击“空间管理”。 图19 空间管理 选择需要加入的工作空间,单击“编辑”。 图20 编辑工作空间 在空间信息界面,单击“添加”。 图21 添加成员 将新建的IAM用户加入工作空间,单击“确定”。 用户类型:选择“按用户添加”。
勾选复选框,则表示立即启动此调度任务。 图4 周期调度配置参数 单击“确定”,完成创建静态脱敏任务。 相关操作 编辑任务:在静态脱敏页面,单击对应任务操作栏中的“编辑”,即可编辑静态脱敏任务。 运行状态为正在“执行中”的任务不允许被编辑。 删除任务:在静态脱敏页面,单击对应任务操作栏中的“更多 > 删除”,即可删
在CDM作业中通过where子句配置获取最大时间值数据并传递给目的端作业 打开已创建的子作业。 单击CDM作业名称后面的跳转到CDM作业配置界面。 图5 编辑CDM作业 在源端作业配置的高级属性里面,通过配置where子句获取迁移所需的数据,作业运行时,将从源端获取到的迁移数据复制导出并导入目的端。
配置为要连接的数据库名称。 dbname 用户名 待连接数据库的用户。 数据库用户名。新建分库连接时,此配置对数据源列表中所有未配置用户名密码的后端连接生效;编辑分库连接时,如需修改已存在的后端连接,请在数据源列表中单独指定用户名密码。 cdm 密码 数据库密码。 - 使用Agent Agent功能待下线,无需配置。
”、“<”、“>”等各类特殊字符,长度为1~128个字符。 发送数据 是 发送到Kafka的文本内容。可以直接输入文本或单击使用EL表达式编辑。 表2 高级参数 参数 是否必选 说明 节点执行的最长时间 是 设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将会再次重试。
HIVE,CUSTOM和DLI类型。 确定 单击“确认”,保存节点输入功能的参数配置。 取消 单击“取消”,取消节点输入功能的参数配置。 编辑 单击,修改节点输入功能的参数配置,修改完成后,请保存。 删除 单击,删除节点输入功能的参数配置。 查看表详情 单击,查看节点输入血缘关系创建数据表的详细信息。
基线名称 输入基线名称。 责任人 选择基线责任人。 说明: 若要增加或者删除可选择的责任人,请前往DataArts Studio空间管理进行编辑操作。 基线对应的基线责任人如果有变动(比如,离职),需要及时更新基线责任人,否则可能导致基线运维的告警无法正常发送。 保障作业 选择需要
数据集成中的集群配置、环境变量等数据不支持导入导出,如有需要,请您进行手动配置同步。 由于安全原因,CDM不会将对应数据源的连接密码导出。因此在重新导入前,需要通过手工编辑导出的JSON文件补充密码或在导入窗口配置密码。 从本地导入JSON文件时,导入文件大小不能超过1MB。 旧空间导出作业和连接 请您登录控
Administrator、Tenant Administrator权限的用户,至少指定一个审批人,不能指定自己为审批人。单击“审批人管理”可以跳转到“空间管理”页面,单击“编辑”按钮可以维护审批人信息。 可以进行批量发布。发布多个待发布项时,发布流程采用异步发布,可以看到发布任务的过程,最大的发布项个数为100。
绑定Agent:已创建的CDM集群。 开发Hive SQL脚本 在“数据开发 > 脚本开发”模块中创建一个Hive SQL脚本,脚本名称为“hive_sql”。在编辑器中输入SQL语句,通过SQL语句来实现业务需求。 图1 开发脚本 关键说明: 图1中的脚本开发区为临时调试区,关闭脚本页签后,开发区的内
Administrator、Tenant Administrator权限的用户,至少指定一个审批人,不能指定自己为审批人。单击“审批人管理”可以跳转到“空间管理”页面,单击“编辑”按钮可以维护审批人信息。 可以进行批量发布。发布多个待发布项时,发布流程采用异步发布,可以看到发布任务的过程,最大的发布项个数为100。