检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
作业运行资源 否 选择作业运行的资源规格: 8核32G内存 16核64G内存 32核128G内存 作业主类 是 Spark作业的主类名称。当应用程序类型为“.jar”时,主类名称不能为空。 Spark程序资源包 是 运行spark作业依赖的jars。可以输入jar包名称,也可以输入
算术和逻辑计算,引用内嵌对象,包括作业对象和一些工具类对象。 环境变量:环境变量是在操作系统中一个具有特定名字的对象,它包含了一个或者多个应用程序所使用到的信息。 补数据:手工触发周期方式调度的作业任务,生成某时间段内的实例。 父主题: 数据开发
持目录),文件内容示例如下: /mrs/job-properties/application_1634891604621_0014/job.properties /mrs/job-properties/application_1634891604621_0029/job.properties
“查看授权”,即可进入API完整信息界面,并对工作流进行授权。 注意,当入口API的安全认证方式为APP认证或IAM认证时,在调用API工作流前需要完成创建应用和将API授权给应用。工作流授权方式与API授权方式基本一致,可参考授权API调用或申请API授权。 调试API工作流:
ORACLE_7 ORACLE_8 驱动包下载地址:https://www.oracle.com/database/technologies/appdev/jdbc-downloads.html 历史版本驱动包下载地址:https://repo1.maven.org/maven2/co
Studio实例或增量包时,是否将资源放在同一可用区内,主要取决于您对容灾能力和网络时延的要求。 如果您的应用需要较高的容灾能力,建议您将资源部署在同一区域的不同可用区内。 如果您的应用要求实例之间的网络延时较低,则建议您将资源创建在同一可用区内。 详情请参见什么是可用区。 工作空间
单击可以选中某个作业实例: 图8 选中作业实例 选中时,该作业实例及其上下游实例的背景颜色加深显示。 DAG视图右下角展示该实例的概要信息,且实例名称和实例ID支持直接复制。 单击概览信息的“展开详情”打开详情面板,详情面板包含实例属性、作业参数、节点列表、历史实例等信息,支持调整高度并关闭详情面板。
性层数据含义和业务规则。其描述了公司层面对某个数据的共同理解,这些理解一旦确定下来,就应作为企业层面的标准在企业内被共同遵守。 模型设计:应用逻辑模型、关系建模、维度建模和数据集市的方法,进行分层建模。 逻辑模型:用于创建逻辑模型以及逻辑模型的修改和删除,转化为物理模型。同时,可
同的空间下配置不一样,导出导入后需要重新进行配置。 常量是指在不同的空间下都是一样的,导入的时候,不需要重新配置值。 图1 环境变量 具体应用如下: 在环境变量中已新增一个变量,“参数名”为sdqw,“参数值”为wqewqewqe。 打开一个已创建好的作业,从左侧节点库中拖拽一个“Create
5xx:服务器端错误,服务器未能实现合法的请求。 状态码如表1所示。 表1 状态码 状态码 编码 状态说明 100 Continue 继续请求。 这个临时响应用来通知客户端,它的部分请求已经被服务器接收,且仍未被拒绝。 101 Switching Protocols 切换协议。只能切换到更高级的协议。
成或失败后会删除任务运行参数文件。 DLI引擎的同源静态脱敏任务,运行参数存储在工作空间日志桶中,默认以dlf-log-{Project id}命名。 DLI引擎的跨源静态脱敏任务,运行参数存储在自动创建的加密用户桶dls-dli-{projectId}中。 因此DLI引擎静态脱
功能。 说明: 如果RDS上的“local_infile”参数组不可编辑,则说明是默认参数组,需要先创建一个新的参数组,再修改该参数值,并应用到RDS的MySQL实例上,具体操作请参见《关系型数据库用户指南》。 是 使用Agent Agent功能待下线,无需配置。 - Agent
再写入到目的表中。如果源端数据库与目的端数据库字符编码不一样,但目的表字符类型字段与源表一样,在迁移数据时,可能会有出现长度不足的错误。 应用场景主要是将有中文内容的字符字段导入到DWS时,需要自动将字符长度放大3倍。 在导入中文内容的字符到DWS时,如果作业执行失败,且日志中出现类似“value
步骤2:数据准备 使用DataArts Studio前的准备 如果您是第一次使用DataArts Studio,请参考购买并配置DataArts Studio章节完成注册华为账号、购买DataArts Studio实例(DataArts Studio企业版)、创建工作空间等一系列
为“ON”,开启该功能。 如果“local_infile”参数组不可编辑,则说明是默认参数组,需要先创建一个新的参数组,再修改该参数值,并应用到RDS的MySQL实例上。 单击“保存”回到连接管理界面。 创建整库迁移作业 两个连接创建完成后,选择“整库迁移 > 新建作业”,开始创建迁移任务,如图4所示。
Oracle。此处的“参数”需要在Python脚本中引用,否则配置无效。 在编辑器中编辑Python语句。 本示例定义一个保存公司信息的字符串模板,然后应用该模板输出公司的信息。 import sys Company_Name1=sys.argv[1] Company_Name2=sys.argv[2]
级别压缩,CDM提供了适用I/O读写量大,CPU富足(计算相对小)的压缩场景。更多压缩级别详细说明请参见压缩级别。 存储模式:可以根据具体应用场景,建表的时候选择行存储还是列存储表。一般情况下,如果表的字段比较多(大宽表),查询中涉及到的列不多的情况下,适合列存储。如果表的字段个
功能。 说明: 如果RDS上的“local_infile”参数组不可编辑,则说明是默认参数组,需要先创建一个新的参数组,再修改该参数值,并应用到RDS的MySQL实例上,具体操作请参见《关系型数据库用户指南》。 local_infile字符集 否 “使用本地API”为是时,呈现此
关联维度表质量规则 在弹出的页面中配置关联质量规则参数。配置完成单击确定。 更新已有规则:若勾选此项,新添加的规则会覆盖旧规则。 匹配字段:此参数默认应用于所有字段,依据用户输入的正则表达式对字段进行过滤。 Where条件:可依据用户输入的where条件对字段进行过滤。 生成异常数据:开启此
为更好地识别队列权限,此处加以描述信息。 图2 添加队列资源 单击队列权限目录中的队列,进入队列详情页面。 其中MRS Yarn队列可配置队列属性,主要应用于数据开发服务中的任务管理。实时队列用于运行实时作业,离线队列用于运行批处理作业,默认即不区分队列的作业类型。 图3 MRS Yarn队列详情