检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
案例场景 在某企业的产品数据表中,有一个记录产品销售额的源数据表A,现在需要把产品销售额的历史数据导入的目的表B里面,需要您配置补数据作业的相关操作。 需要导入的列表情况如表1所示。 表1 需要导入的列表情况 源数据表名 目的表名 A B 配置方法 准备源表和目的表。为了便于后续作业运行
识别规则接口 查询识别规则列表 创建识别规则 查询特定识别规则 删除识别规则 修改识别规则接口 批量删除识别规则接口 修改识别规则状态接口 创建组合识别规则 修改组合识别规则 组合识别规则测试 父主题: 数据安全API
用户流量限制(次/min) 查询码表列表 查询码表列表。 21600 240 创建码表 创建码表。 10800 120 删除码表 删除码表。 10800 120 修改码表 修改码表。 10800 120 查看码表详情 通过ID查看码表的详情信息。 21600 240 查看码表字段值 查看码表字段值。 21600
案例场景 在某企业的产品数据表中,有一个记录产品销售额的源数据表A,现在需要把产品销售额的历史数据导入的目的表B里面,需要您配置补数据作业的相关操作。 需要导入的列表情况如表1所示。 表1 需要导入的列表情况 源数据表名 目的表名 A B 配置方法 准备源表和目的表。为了便于后续作业运行
在数据开发主界面的左侧导航栏,选择“数据开发 > 脚本开发”。 在脚本目录中,右键单击目录名称,选择“新建目录”。 在弹出的“新建目录”页面,配置如表1所示的参数。 表1 脚本目录参数 参数 说明 目录名称 脚本目录的名称,只能包含英文字母、数字、中文字符、“_”、“-”,且长度为1~64个字符。
弹出“下载集群客户端”提示框,选择相关下载参数后单击“确定”,下载客户端。 图3 下载集群客户端 选择客户端类型、平台类型(与执行任务的服务器保持一致),如果不修改保存路径,会自动下载客户端到MRS主节点对应路径下,在拷贝客户端软件包到待安装客户端节点的指定目录。以待安装客户端的用户登录将要安装客户端
统计分析。 图1 场景方案 DLI创建OBS外表,对OBS表数据存储格式有所要求: 使用DataSource语法创建OBS表时,支持orc,parquet,json,csv,carbon,avro类型。 使用Hive语法创建OBS表时,支持TEXTFILE, AVRO, ORC,
当前用户身份认证鉴权,从而做到实现不同用户具有不同的数据权限,使角色/权限集中的权限管控生效。 细粒度认证开关对数据开发中的脚本、作业运行影响总结如下: 当关闭细粒度认证时,数据开发中的脚本执行、作业测试运行、执行调度使用数据连接上的账号进行认证鉴权。 当启用开发态细粒度认证后,
停止脚本实例的执行 停止脚本实例的执行。 300 30 资源管理 表4 资源管理 API 说明 API流量限制(次/s) 用户流量限制(次/s) 创建资源 创建资源。 100 10 查询资源列表 查询资源列表。 100 10 修改资源 修改资源。 100 10 删除资源 删除资源。 100 10
维度表 DIMENSION_TABLE_ATTRIBUTE: 维度属性 DIRECTORY: 目录 FACT_ATTRIBUTE: 事实表属性 FACT_DIMENSION: 事实表维度 FACT_LOGIC_TABLE: 事实表 FACT_MEASURE: 事实表度量 FUNCTION:
使用正则表达式分隔字段 选择是否使用正则表达式分隔字段,当选择“是”时,“字段分隔符”参数无效。当“文件格式”选择为“CSV格式”时,才有该参数。 是 正则表达式 当“使用正则表达式分隔字段”选择为“是”时,才有该参数。 分隔字段的正则表达式,正则表达式写法请参考正则表达式分隔半结构化文本。
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
properties 是 列表文件源连接 当“列表文件”选择为“是”时,才有该参数。可选择列表文件所在的OBS连接。 OBS_test_link 列表文件OBS桶 当“列表文件”选择为“是”时,才有该参数。该参数表示列表文件所在的OBS桶名。 01 列表文件或目录 当“列表文件”选择为“是”
of TableInfoV2 objects 下游血缘表列表,列表大小:1至100 column_lineages 否 Array of ColumnLineageV2 objects 字段血缘列表,列表大小:0至100 表5 TableInfoV2 参数 是否必选 参数类型 描述
时,该参数需要填写为DLI。 database_name String 数据库名称。获取方法请参见获取数据源中的表。 table_name String 数据表名称, 获取方法请参见获取数据源中的表。 user_groups String 用户组列表,用户组名称逗号分隔(非必填项
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
勾选需要配置失败重试的作业,单击 > 作业配置,进入作业配置窗口。 对于CDM Job作业,建议仅选择文件类的CDM Job作业或启用了导入阶段表的数据类CDM Job作业。未启用导入阶段表的数据类CDM Job作业可能因作业失败重试引起数据重复写入,导致迁移前后的数据不一致。 图2 作业配置菜单 在作业配置窗口中,配置失败重试策略。
数据架构操作列表 云审计服务(Cloud Trace Service,简称CTS)为用户提供了云账户下资源的操作记录,可以帮您记录相关的操作事件,便于日后的查询、审计和回溯。 表1 支持云审计的关键操作列表 操作名称 资源类型 资源名称 事件名称 查看主题设计 DAYU_DS dsSubject
规格自动创建一个数据服务专享集群。 单击已开通实例卡片上的“购买增量包”。 进入购买DataArts Studio增量包页面,参见表1进行配置。 表1 购买数据服务专享版实例参数说明 参数项 说明 增量包类型 选择数据服务专享集群增量包。 计费方式 实例收费方式,当前支持“包年包月”。
配置MongoDB源端参数 表1 MongoDB作为源端时的作业参数 参数类型 参数名 说明 是否必须填 取值样例 基本参数 数据库 输入或选择数据库名称,单击输入框后面的按钮可进入集合的选择界面。 是 default 集合名 输入或选择集合名,单击输入框后面的按钮可进入集合的选择界面。