检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
业务ID参数获取说明 方法 说明 $job_id 数据开发作业id。获取该ID请参考查询作业详情。 $instance_id 作业实例id(单节点作业测试运行不生成实例id,不支持)。获取该ID请参考查询作业实例列表。 父主题: 数据开发
或者跳过该IF分支后续所有节点。配置完成后单击确定,保存作业。 图3 配置失败策略 测试运行作业,并前往实例监控中查看执行结果。 待作业运行完成后,从实例监控中查看作业实例的运行结果,如图4所示。可以看到运行结果是符合预期的,当前CDM执行的结果为fail的时候,跳过A分支,执行B分支。
数据质量监控 新建数据质量规则 新建数据质量作业 新建数据对账作业 数据目录 在DataArts Studio数据目录模块中,您可以查看数据地图。 数据地图 查看工作空间内的数据资产 数据安全 数据安全为数据湖提供数据生命周期内统一的数据使用保护能力。在数据安全模块,您可以进行访问权限管理、敏感数据识别、隐私保护管理等操作。
地址,获取到导出的zip文件。 图1 选择并导出作业 在弹出的“导出作业”界面,选择需要导出的作业范围和状态,单击“确定”,可以在下载中心查看导入结果。 图2 导出作业 导入作业 导入作业功能依赖于OBS服务,如无OBS服务,可从本地导入。 从OBS导入的作业文件,最大支持10M
单击“确定”,根据浏览器提示,保存密钥文件。密钥文件会直接保存到浏览器默认的下载文件夹中。打开名称为“credentials.csv”的文件,即可查看访问密钥(Access Key Id和Secret Access Key)。 每个用户仅允许新增两个访问密钥。 为保证访问密钥的安全,访问
编辑API工作流:在API工作流列表页面,单击对应工作流操作栏中的“编辑”,即可进入API工作流编排页面,重新进行工作流编排或修改。 查看API工作流授权:在API工作流列表页面,单击对应工作流操作栏中的“查看授权”,即可进入API完整信息界面,并对工作流进行授权。 注意,当入口API的安全认证方式为APP认证
进入数据服务页面。 在左侧导航选择服务版本(例如:专享版),进入总览页。 单击“运营管理 >审核中心”,选择“申请列表 > 调用”页签。 查找需要撤销的API名称,单击“撤销”。 父主题: 数据服务
02:00:00" 或 "${dateformat(yyyy-MM-dd HH:mm:ss, -1, DAY)}" 开始 RowKey 填写需要查询的RowKey。 否 0001 结束 RowKey 填写需要结束的RowKey。 否 0100 父主题: 配置作业源端参数
选择需要开机/关机的具体对象,例如开启某个CDM集群。 表2 高级参数 参数 是否必选 说明 节点状态轮询时间(秒) 是 设置轮询时间(1~60秒),每隔x秒查询一次节点是否执行完成。 节点执行的最长时间 是 设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将会再次重试。 失败重试
修改数据标准 功能介绍 修改数据标准。 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/design/standards/{id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
更新维度 功能介绍 根据参数,更新维度信息。 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/design/dimensions 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。
更新表模型 功能介绍 在关系建模中更新一个表模型及其属性,包括逻辑实体和物理表。 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/design/table-model 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
)注入暗水印,水印内容不可见,需要进行水印提取。 对非结构化数据文件(docx、pptx、xlsx和pdf)注入明水印,可在本地打开文件,查看水印内容。 动态水印 在数据安全组件开启数据开发动态水印功能并创建动态水印策略后,当策略中指定的用户组或角色在数据开发组件中转储或下载敏感
当换行符处理方式选择为替换时,指定替换的字符串。 - 执行Analyze语句 数据全部写入完成后会异步执行ANALYZE TABLE语句,用于优化Hive表查询速度,执行的SQL如下: 非分区表:ANALYZE TABLE tablename COMPUTE STATISTICS 分区表:ANALYZE
S中,该功能需要您手动开启。详情请参见备份管理章节。 脚本、作业或节点的历史运行记录依赖于OBS桶,如果未配置测试运行历史OBS桶,则无法查看历史运行的详细信息。 上传资源时,如果资源位置为HDFS,则只支持MRS Spark,MRS Flink Job,MRS MapReduce节点使用该资源。
新建汇总表 功能介绍 根据入参,手动创建汇总表。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/design/aggregation-logic-tables 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
导入完成后,界面会显示导入情况。如果存在导入失败的情况,请您根据系统报错原因提示,调整后重新导入。 搬迁后验证 在新空间的作业和连接导入完成后,您可以在新空间查看并验证作业和连接是否与旧空间一致,以确保导入成功。 父主题: DataArts Studio配置数据搬迁实践
配置的位点时间早于Binlog日志最早时间点时,默认会以日志最新时间点开始消费。 监控作业。 通过单击作业开发页面导航栏的“前往监控”按钮,可前往作业监控页面查看运行情况、监控日志等信息,并配置对应的告警规则,详情请参见实时集成任务运维。 图14 前往监控 性能调优 若链路同步速度过慢,可参考参见任
配置的位点时间早于Binlog日志最早时间点时,默认会以日志最新时间点开始消费。 监控作业。 通过单击作业开发页面导航栏的“前往监控”按钮,可前往作业监控页面查看运行情况、监控日志等信息,并配置对应的告警规则,详情请参见实时集成任务运维。 图13 前往监控 性能调优 若链路同步速度过慢,可参考参见任
新建复合指标 功能介绍 根据参数,新建复合指标。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/design/compound-metrics 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。