检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
”生成,${Schema_Table1} 通过单击“添加库表参数”生成。 单击,开启“添加输入参数”,可以在SQL语句中灵活配置输入参数。 例如字段匹配配置表中的行数,输入select count(1) from ${Schema_Table1} where ${Column1}
在数据开发主界面的左侧导航栏,选择“数据开发 > 脚本开发”。 在脚本目录中,右键单击目录名称,选择“新建目录”。 在弹出的“新建目录”页面,配置如表1所示的参数。 表1 脚本目录参数 参数 说明 目录名称 脚本目录的名称,只能包含英文字母、数字、中文字符、“_”、“-”,且长度为1~64个字符。
护策略和数据安全运营四大能力。 数据安全组件当前在华东-上海一、华东-上海二、华北-乌兰察布一、华北-北京四、华南-广州和西南-贵阳一区域部署上线。 使用场景 数据安全可满足不同角色(如数据开发工程师,数据安全管理员,数据安全审计员和数据安全运营人员)对数据安全和数据治理的诉求,
解决方案 请确认当前Hive SQL和Spark SQL脚本使用的数据连接为“MRS API连接”还是“通过代理连接”。 “MRS API连接”模式下DataArts Studio通过API把脚本提交给MRS,然后查询是否执行完成;而MRS不会将具体的错误原因反馈到DataArts
新建集成作业(方式一) 方式二:在作业目录中,右键单击目录名称,选择“新建集成作业”。 图2 新建集成作业(方式二) 在弹出的“新建集成作业”页面,配置如表1所示的参数。 表1 作业参数 参数 说明 作业名称 自定义作业的名称,只能包含英文字母、数字、中文、“-”、“_”、“.”,且长度为1~128个字符。
数据服务SDK支持的语言? 数据服务SDK是基于DataArts Studio数据服务创建的数据API封装的SDK包。通过调用此SDK包提供的代码样例,即可进行数据服务中数据API的调用,帮助开发者简单、快速地通过数据API获取到开放数据。 数据服务SDK支持的语言有:C#、Python、Go、Ja
批量删除数据掩码 datamask batchDeleteDataMask 修改数据掩码 datamask updateDataMask 配置采集任务并运行 bridgetask createBridgeTask 查询采集任务列表 bridgetask getBridgeTask
自然周期调度在2023年6月开始全网使用。对于在此时间之后创建的租户,其所购买的实例支持自然周期调度;对于在此时间之前创建的租户,其所购买的实例支持传统周期调度。 在配置周期调度时,您可以通过单击周期调度后面的弹出的使用指南标题内容,确认当前实例为传统周期调度还是自然周期调度。如下图所示,则表明此实例为传统周期调度方式。
在作业目录中选择需要移动的作业或作业文件夹,右键单击作业或作业文件夹名称,选择“移动”。 图1 选择要移动的作业 在弹出的“移动作业”或“移动目录”页面,配置作业要移动到的目录。 图2 移动作业 图3 移动目录 表1 移动作业/作业目录参数 参数 说明 选择目录 选择作业或作业文件夹要移动到的目录,父级目录默认为根目录。
面的“更多 > 编辑作业JSON”。 在CDM界面编辑作业的JSON文件。 修改源端的“fromJobConfig.columns”参数,配置为1获取的HBase的字段,列号之间使用“&”分隔,列族与列之间用“:”分隔,如下: "from-config-values": {
aArts Studio的界面中就可以进行快速的数据开发工作,让企业数据体系的建设变得如此简单。 优势 数据集成一键式操作 通过在服务界面配置化操作,可实现线上线下数据快速集成到云数据仓库。 支持多种数仓服务类型 根据需求,可以灵活选择数据服务类型,可以选择DWS服务建数仓,也可以选择MRS服务等数据平台。
认发布到生产环境。 关联质量规则 单击“关联质量规则”,配置下图所示的相关参数,完成质量规则的关联。有关关联质量规则的更多信息,您也可以参考关联质量规则。 图2 关联质量规则 生成异常数据:打开此项,表示异常数据将按照配置的参数存储到规定的库中。 父主题: 数据架构
D两种,通过$job_id和$instance_id获取。 使用简易变量集时,需要打开简易变量集的开关,功能才能生效。开关打开的方法请参见配置默认项 > 是否使用简易变量集。 业务日期参数 业务日期是指在调度时间内,任务预期调度运行时间的前一天(即昨天)。例如,调度日期为2023
导入作业,选择已上传至OBS或者本地中的作业文件,以及重名处理策略。 在硬锁策略下,如果锁在其他人手中,重名策略选择了覆盖,则会覆盖失败。软硬锁策略请参考配置软硬锁策略。 图3 导入作业定义及依赖 单击“下一步”,根据提示导入作业。 导入作业时,如果作业中存在“锁定”状态的标签,则作业导入会失败。
单击左侧导航树中的“数据水印溯源”,进入数据水印溯源页面,在页面上方单击“新建”。 图1 创建数据水印溯源任务 在弹出的创建任务页面输入信息,参数配置请参考表1。 图2 创建数据水印溯源任务 表1 水印溯源任务参数描述 参数名 参数描述 任务名称 嵌入水印任务的名称,只能包含英文字母、数
Jar单任务作业中使用参数模板。 在脚本中引用脚本模板时,SQL语句的写法为@@{脚本模板}。 前提条件 已创建模板。如果模板还未创建,请参见配置模板进行创建。 引用模板案例 Flink SQL脚本可以引用脚本模板。 在数据开发主界面的左侧导航栏,选择“数据开发 > 脚本开发”。 右键单击脚本,选择“新建Flink
数据服务是基于数据分发、发布的框架,将数据作为一种服务产品提供,满足客户的实时数据需求,能复用并符合企业和工业标准,兼顾数据共享和安全。 API网关 API网关(API Gateway)提供API托管服务,涵盖API发布、管理、运维、售卖的全生命周期管理。帮助您简单、快速、低成本、低风险地实现微服务聚合、前后端分离、
<snapshotDir> [s0] hdfs dfs -createSnapshot test CDM通过HDFS Snapshot复制文件至MRS。CDM的作业配置: “源目录或文件”输入:/hbase/data/default/src_test/.snapshot/s0 目的端“写入目录”输入:/h
性能调优概述 实时处理集成作业各链路如果出现时延持续增长、反压持续处于高位或同步速率过慢(查看作业监控指标速率不符合实时集成作业提供的性能规格)等情况,需要考虑以下几点: 目的端写入过慢。 源端抽取过慢。 其他问题(请联系技术支持人员协助解决)。 因为目的端写入过慢会影响至源端,
数据治理度量评估体系 数据治理实施方法论 数据治理度量维度 数据治理度量评分规则