检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
linkConfig.database 是 String MongoDB的数据库名称。 linkConfig.userName 是 String 连接MongoDB服务器的用户名。 linkConfig.password 是 String 连接MongoDB服务器的密码。 父主题: 连接参数说明
DN参数值均为“enable_data_redaction”,用于启用DWS动态脱敏能力,修改操作详见修改数据库参数。 数据连接中的账户要具备待控制表的GRANT权限(数据库对象创建后,默认只有对象所有者或者系统管理员可以通过GRANT命令将对象的权限授予其他用户)。 MRS H
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
Hive SQL和Spark SQL脚本执行失败,界面只显示执行失败,没有显示具体的错误原因? 可能原因 Hive SQL和Spark SQL脚本执行失败,界面只显示执行失败,没有显示具体的错误原因,可能是由于连接方式导致的。 解决方案 请确认当前Hive SQL和Spark SQL脚本使用的数据连接为“MRS
当前用户未同步至DWS数据源,或者不具备DWS Database Access权限。 解决方案 您可以通过同步用户重新将当前登录用户同步到DWS数据源,然后为其授予DWS Database Access权限,再次进行联通性测试。 父主题: 数据安全
由公司数据Owner定期发布公司数据质量报告,牵引各业务领域持续改进数据质量。 图1 华为数据治理愿景与目标 图2 华为数据治理能力 父主题: 华为数据治理案例
仅周期调度才显示。周期调度配置的具体运行时间。 起始日期 仅周期调度才显示。周期调度的生效时间。 后N个实例 作业运行调度的实例个数。 单次调度场景默认为1。 事件驱动调度场景默认为1。 周期调度场景 当实例数大于10时,系统最多展示10个日期实例,系统会自动提示“当前参数预览最多支持查看10个实例”。
录。 文件格式:同源端相同,选择“二进制格式”。 其它可选参数保持默认即可。 单击“下一步”进行任务配置,其中抽取并发数默认为3,适当增加可以增加迁移速率,本例中设置为8,其它参数保持默认即可。 重复上述步骤创建其它迁移目录的作业,参数配置都相同。2个CDM集群的作业个数平均分配,并发执行。
dw_type String 数据连接类型,对应表所在的数仓类型,取值可以为DWS、MRS_HIVE、POSTGRESQL、MRS_SPARK、CLICKHOUSE、MYSQL、ORACLE和DORIS等。 create_time String 创建时间,只读,格式遵循RFC33
安全管理员的权限当且仅当在数据安全组件生效,对于周边组件和其他服务,此身份无效。 图1 配置安全管理员 查看数据概况 在总览页,用户可以根据日期,根据不同数据源类型。例如查看数据仓库服务(DWS)、数据湖探索(DLI)或MapReduce服务(MRS Hive)类型的下所包含的数据
"totalGetBytes": 0, "totalGetRecords": 0, "totalPutBytes": 0, "totalPutRecords": 0 } ], "status": "NORMAL"
"type":"DLISQL", "content":"show tables", "connectionName":"dliCon1", "database":"testDatabase1", "queueName":"queue1" } name:脚本的名称,由您自行定义,例如取名为dlisql1。
首先在数据目录组件完成元数据采集任务,当数据开发作业满足自动血缘解析要求或已手动配置血缘,然后成功完成作业调度后,则可以在数据目录模块可视化查看数据血缘关系。 父主题: 节点数据血缘
通过逆向数据库导入码表 通过逆向数据库,您可以从其他数据源中将一个或多个已创建的数据库表导入到码表目录中,使其变成码表。 在数据架构控制台,单击左侧导航树中的“码表管理”,进入码表管理页面。 在左侧的码表目录树中,选中一个目录,然后在码表列表上方,单击“逆向数据库”。 在“逆
ckHouseSQL、ImpalaSQL、HetuEngineSQL、RDSSQL其中之一时,这个参数是必选的。用户可以通过查询连接列表(待下线)接口获取当前系统中已经存在的连接。默认值为空。 database 否 String 执行SQL语句所关联的数据库,当type参数值为D
脚本目录最多5000个,目录层级最多为10层。 单工作空间允许创建的作业个数最多1万个,作业目录最多5000个,目录层级最多为10层。 RDS SQL、DWS SQL、HIVE SQL、SPARK SQL、DLI SQL脚本执行结果页面展示最多1千条,且数据量少于3MB。超过1千
对于DWS、DLI、RDS、MRS Presto、MRS Hive、MRS Spark、MRS ClickHouse等数据源,您可以在数据开发组件执行对应类型的统计表行数的SQL脚本,来查看表行数。 select count(*) from tablename 对于DWS、DLI、RDS、MRS
MRS HetuEngine MRS Impala SQL MRS Flink Job MRS MapReduce CSS Shell RDS SQL ETL Job Python DORIS SQL GBase SQL ModelArts Train Http Trigger OCR
数据连接 是 选择管理中心中已创建的MRS Kafka连接。 Topic名称 是 选择需要上传数据的Topic,如果有多个partition,默认发送到partition 0。 节点名称 是 节点名称,可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符,长度为1~128个字符。
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]