检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
维度表数据量一般整表数据规模较小,以更新数据为主,新增较少,表数据量比较稳定,且读取时通常需要全量读取做join之类的ETL计算,因此通常使用非分区表性能更好。 确认表内桶数。 使用Hudi BUCKET表时需要设置Bucket桶数,桶数设置关系到表的性能,需要格外引起注意。 非分区表桶数 = MAX(单表数据量大小(G)/2G*2,再向上取整,4)。
维度表数据量一般整表数据规模较小,以更新数据为主,新增较少,表数据量比较稳定,且读取时通常需要全量读取做join之类的ETL计算,因此通常使用非分区表性能更好。 确认表内桶数。 使用Hudi BUCKET表时需要设置Bucket桶数,桶数设置关系到表的性能,需要格外引起注意。 非分区表桶数 = MAX(单表数据量大小(G)/2G*2,再向上取整,4)。
执行成功。 注意,此处不会为Spark增加对应的batch或streaming模式参数,您还需要为Spark作业指定对应参数。 Jar包资源 是 选择Jar包。在选择Jar包之前,您需要先将Jar包上传至OBS桶中,并在“资源管理”页面中新建资源将Jar包添加到资源管理列表中,具体操作请参考新建资源。
符。 作业类型 是 选择 Flink SQL作业 Flink 自定义作业 脚本路径 是 选择Flink SQL作业时,可配置此参数。 选择需要执行的Flink SQL脚本。如果脚本未创建,请参考新建脚本和开发SQL脚本先创建和开发Flink SQL脚本。 脚本参数 否 选择Flink
当“资源类型”选择了“DLI程序包”时,需要设置。可选择“已有分组”,“创建新分组”或“不分组”。 组名称 否 当“资源类型”选择了“DLI程序包”时,需要设置。 选择“已有分组”:可选择已有的分组。 选择“创建新分组”:可输入自定义的组名称。 选择“不分组”:不需要选择或输入组名称。 主类入口参数
API工作流发布前,需确保其中的普通API均已处于已发布状态。 开发API工作流1:对返回消息进行映射或格式转换 某API默认返回的是JSON数据,现需要将API调用结果转换为EXCEL格式。 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。 在DataArts
首次进入数据治理中心的数据标准页面,会显示制定数据标准模板的页面,在“可选项”中勾选所需要的选项,添加自定义项,完成后单击“确定”。 保存模板后,如需修改,您也可以进入“配置中心 > 标准模板管理”页面修改模板,详情请参见标准模板管理。在新建数据标准时,将需要设置此处模板中选中的选项。 在“数据标准”页面,在目录
great security risks. It is recommended that the AK and SK be stored in ciphertext in configuration files or environment variables and decrypted
great security risks. It is recommended that the AK and SK be stored in ciphertext in configuration files or environment variables and decrypted
great security risks. It is recommended that the AK and SK be stored in ciphertext in configuration files or environment variables and decrypted
退订方式 DataArts Studio DataArts Studio计费说明 DataArts Studio实例仅支持包周期计费。您可以根据需要参考云服务退订退订DataArts Studio包年包月套餐。 OBS OBS计费说明 OBS服务支持按需和包周期计费,套餐包暂不支持退订
响应参数 状态码:200 表3 响应Body参数 参数 参数类型 描述 id Long 作业ID。 name String 作业名称。 description String 作业描述。 category_id Long 所属目录ID。 level String 告警级别,SUGGEST表
按如下配置,新建采集任务transport_all。配置采集任务后,单击“下一步”。 图2 新建采集任务-基本配置 图3 新建采集任务-元数据采集 根据需要配置调度方式,配置完成后单击“提交”,完成采集任务的创建。 图4 调度方式 在采集任务列表中,找到刚才新建的采集任务,单击其所在行的“启动调度”按钮,启动周期采集任务。
数据安全风险诊断的操作步骤如下,请您根据需要定期扫描处理,建议至少每月进行一次扫描,以保障数据使用过程的安全可靠。 在DataArts Studio控制台首页,选择对应工作空间的“数据安全”模块,进入数据安全页面。 单击左侧导航树中的“数据安全诊断”,进入数据安全诊断页面。 图2 数据安全诊断 根据需要,选择敏
great security risks. It is recommended that the AK and SK be stored in ciphertext in configuration files or environment variables and decrypted
"standardLevel", "fd_value" : "domain" }, { "fd_name" : "description", "fd_value" : "这是一个demo" } ] } } } 状态码:400 BadRequest
单击“解绑”,将无需绑定的API删除。 如果需要调试已绑定的API,单击“测试”,进入调试页面。 如果需要对已绑定的API延长授权时间,单击“续约”。 相关操作 批量授权应用:您可以在专享版的“开发API > API管理”页面,勾选需要授权应用的API后,依次单击API列表上方的“批量操作
String 工作空间id。 如果不设置该参数,默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据,需要带上该消息头。 说明: 多个DataArts Studio实例需要指定工作空间。 当工作空间里面没有default工作空间时,工作空间为必填参数,否则会报错。
复合指标ID,ID字符串。更新时必填。 name_en String 复合指标英文名称。 name_ch String 复合指标名称。 description String 描述 dimension_group String 统计维度ID,更新时不可修改此值。 group_name String
是 可以选择SQL语句或SQL脚本。 SQL语句 单击“SQL语句”参数下的文本框,在“SQL语句”页面输入需要执行的SQL语句。 SQL脚本 在“SQL脚本”参数后选择需要执行的脚本。如果脚本未创建,请参考新建脚本和开发SQL脚本先创建和开发脚本。 说明: 若选择SQL语句方式,