检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如调用失败提示“Could not get any response”，可根据提示在Postman设置中关闭“SSL certificate verification”选项或关闭Proxy代理，然后再次尝试运行。 图12 调用API 父主题： 通过不同方式调用API
请求Body参数 参数 是否必选 参数类型 描述 log_dump 否 Boolean 是否开启LTS日志转储功能，true表示开启，false表示关闭。 log_group_id 否 String 日志组ID。 log_group_name 否 String 日志组名称。 log_stream_id
开启基线任务，系统将会监控基线任务以及其依赖链上游的所有任务。 ：关闭基线任务，系统不会监控基线任务以及其依赖链上游的所有任务。 报警开关 ：开启报警开关，当系统预测到基线上任务无法在承诺时间前完成，或上游任务有出错或变慢的情况，将发送报警信息，用户将收到基线任务的报警信息。 ：关闭报警开关，用户无法收到基线任务的报警信息。
保存版本时，一分钟内多次保存只记录一次版本。对于中间数据比较重要时，可以通过“新增版本”按钮手动增加保存版本。 支持单击右键，可快速复制脚本名称，同时可以快速的关闭已打开的脚本页签。 在MRS API连接模式下，MRS Spark SQL和MRS Hive SQL脚本运行完以后，在执行结果中查看运行日志，增加一键跳转MRS
"8a9480ed8353e491018354b87f63009e", "last_run_time" : "1663574072000", "name" : "采集验证一汽大众需求", "next_run_time" : "0", "parameter_config" : [ ], "path"
SQL脚本，脚本名称为“hive_sql”。在编辑器中输入SQL语句，通过SQL语句来实现业务需求。 图1 开发脚本 关键说明： 图1中的脚本开发区为临时调试区，关闭脚本页签后，开发区的内容将丢失。您可以通过“提交”来保存并提交脚本版本。 数据连接：建立Hive的数据连接创建的连接。 开发Hive SQL作业
逻辑删除开关，changelog开启时必须关闭逻辑删除。 hoodie.write.liststatus.optimized boolean true - 写log文件时是否开启liststatus优化。涉及到大表和分区数据量多的作业，在启动时list会非常耗时，可能导致作业启动超时，建议关闭。 hoodie
SQL脚本，脚本名称为“dws_sql”。在编辑器中输入SQL语句，通过SQL语句来实现统计前一天的销售额。 图1 开发脚本 关键说明： 图1中的脚本开发区为临时调试区，关闭脚本页签后，开发区的内容将丢失。您可以通过“提交”来保存并提交脚本版本。 数据连接：创建DWS的数据连接中已创建的连接。 开发DWS SQL作业
选择是否开启HBase的预写日志机制（WAL，Write Ahead Log）。 是：开启后如果出现HBase服务器宕机，则可以从WAL中回放执行之前没有完成的操作。 否：关闭时能提升写入性能，但如果HBase服务器宕机可能会造成数据丢失。 否 匹配数据类型 是：源端数据库中的Short、Int、Long、Flo
重复性工作。在这种情况下，我们可以使用For Each节点进行循环作业，节省开发工作量。 配置方法 准备源表和目的表。为了便于后续作业运行验证，需要先创建DLI源数据表和目的表，并给源数据表插入数据。 创建DLI表。您可以在DataArts Studio数据开发中，新建DLI S
而导致迁移失败，此时可关闭配置避免迁移报错。 useCursorFetch=false：CDM作业默认打开了JDBC连接器与关系型数据库通信使用二进制协议开关，即useCursorFetch=true。部分第三方可能存在兼容问题导致迁移时间转换出错，可以关闭此开关；开源MySQL
重复性工作。在这种情况下，我们可以使用For Each节点进行循环作业，节省开发工作量。 配置方法 准备源表和目的表。为了便于后续作业运行验证，需要先创建DLI源数据表和目的表，并给源数据表插入数据。 创建DLI表。您可以在DataArts Studio数据开发中，新建DLI S
保存版本时，一分钟内多次保存只记录一次版本。对于中间数据比较重要时，可以通过“新增版本”按钮手动增加保存版本。 支持单击右键，可快速复制作业名称，同时可以快速的关闭已打开的作业页签。 在MRS API连接模式下，单任务MRS Spark SQL和MRS Hive SQL运行完以后，在执行结果中查看运行日志，增加一键跳转MRS
数据架构页面。 （可选）在数据架构控制台，单击左侧导航树中的“配置中心”，在功能配置下选择是否开启“时间限定生成使用动态表达式”功能，默认关闭。 图1 功能配置 在数据架构控制台，单击左侧导航树中的“技术指标”，选择“时间限定”页签。 进入时间限定页面后，单击“新建”按钮。 在新
贯标与评估流程 贯标流程 DCMM贯标流程主要分为三个阶段： 差距分析：贯标启动，进行差距分析。 能力提升：建立数据管理组织，完善制度，内部运行并开展自评估。 评估确认：组建评估队伍，开展第三方评估，获取评估报告和能力证书。 图1 DCMM贯标流程 评估流程 DCMM评估流程分为如下步骤：
建议在配置文件或者环境变量中密文存放，使用时解密，确保安全； // 本示例以ak和sk保存在环境变量中来实现身份验证为例，运行本示例前请先在本地环境中设置环境变量SDK_AK和SDK_SK。 String ak = System.getenv("SDK_AK");
为实现DWS数据源的数据访问审计，需要满足如下条件： 已开启DWS集群的审计功能开关audit_enabled。 审计功能开关默认开启，如果已关闭则请参考修改数据库参数章节将audit_enabled设置为ON。 已开启需要审计的审计项。 DWS各类审计项及其开启方法，请参考设置数据库审计日志章节。
Client节点中的发送数据定义为#{Job.getNodeOutput("count95")}，然后作业运行后查看Kafka Client节点日志，则可以验证MRS Hive SQL节点返回的结果为二维数组[["2"]]。 图4 查看Kafka Client节点日志 通过For Each节点提取输出结果值
Client节点中的发送数据定义为#{Job.getNodeOutput("count95")}，然后作业运行后查看Kafka Client节点日志，则可以验证MRS Hive SQL节点返回的结果为二维数组[["2"]]。 图4 查看Kafka Client节点日志 通过For Each节点提取输出结果值
action操作。compaction操作一定程度会影响实时任务的写入性能，为了保证Migration作业的稳定性可以考虑设置为false关闭compaction操作，将Hudi Compaction单独拆成Spark作业交由MRS执行，具体可以参考如何配置Hudi Compaction的Spark周期任务？。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
