检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
过SQL语句来实现统计前一天的销售额。 图1 开发脚本 关键说明: 图1中的脚本开发区为临时调试区,关闭脚本页签后,开发区的内容将丢失。您可以通过“提交”来保存并提交脚本版本。 数据连接:创建DWS的数据连接中已创建的连接。 开发DWS SQL作业 DWS SQL脚本开发完成后,我们为DWS
CDM集群与ECS主机处于不同区域的情况下,需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP,数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 此外,您还必须确保该ECS主机与CDM集群所属的企业项目必须相同,如果不同,需要修改工作空间的企业项目。
在“创建用户组”界面,输入“用户组名称”DQC。 图4 用户组名称 单击“确定”,用户组创建完成,用户组列表中显示新创建的用户组。 您最多可以创建20个用户组,如果当前资源配额无法满足业务需要,您可以申请扩大配额,具体方法请参见:如何申请扩大配额? 在用户组列表中,单击新建用户组右侧的“授权”。 图5 进入用户组权限设置页面
如果作业被低权限的用户启动,也会因为权限不足导致作业执行失败。 若需解决以上两个问题,则可配置作业调度身份。配置作业调度身份后,作业执行过程中,以配置的调度身份与其他服务交互,可以避免上述两种场景下作业执行失败。 在作业进行周期调度时,该作业的默认用户被删除后,如果使用其他用户对该作业进行版本提交并执行调度,那该作业的执行用户就默认为提交版本的用户。
通过KMS加解密数据源认证信息,选择KMS中已创建的密钥。 绑定Agent 是 选择CDM集群作为网络代理,必须和ClickHouseServer网络互通才可以成功创建连接。 说明: CDM集群作为管理中心数据连接Agent时,单集群的并发活动线程最大为200。即当多个数据连接共用同一Agent时
rts Studio工作空间角色决定了其在工作空间内的权限,当前有管理员、开发者、部署者、运维者和访客这五种预置角色可被分配。如果预置角色可以满足您的使用需求,则无需自定义工作空间角色,直接将用户添加到工作空间成员、配置预置角色即可;否则,请您创建自定义角色,再将用户添加到工作空
主键取值方式为“联合主键”时,显示主键分隔符配置项,用于将多选的主键用主键分隔符拼接写入id。 _ 高级属性 管道ID 需要先在kibana中创建管道ID,这里才可以选择,该参数用于数据传到Elasticsearch后,通过Elasticsearch的数据转换pipeline进行数据格式变换。 pipeline_id
BC连接器与关系型数据库通信使用二进制协议开关,即useCursorFetch=true。部分第三方可能存在兼容问题导致迁移时间转换出错,可以关闭此开关。 trustServerCertificate=true:在创建安全连接的时候可能会报PKIX错误,建议设置为true。 sslmode=require
dcount.py为脚本存放路径; obs://obs-tongji/python/in.txt为wordcount.py的传入参数路径,可以把需要统计的单词写到里面; obs://obs-tongji/python/out为输出参数文件夹的路径,并且会在OBS桶中自动创建该目录(如已存在out目录,会报错)。
特征不够导致提取失败。常见的适合嵌入水印的列如地址、姓名、UUID、金额、总数等。 数值整型字段嵌入水印可能会出现数据被修改的情况,请选择可以接受值发生改变的字段插入水印。 结构化数据文件的水印提取与数据水印的水印溯源任务无关。仅支持同一账号下用户对已通过水印注入或管理动态水印策
配置源端MySQL库表与目的端Kafka Topic的映射规则,可指定为固定的一个Topic,也可使用内置变量做映射,将不同源表数据同步到不同的Topic中。 可以使用的内置变量有: 源库名:#{source_db_name} 源表名:#{source_table_name} 分库分表 无该配置项,默
据连接时,请选择一个CDM集群。如果没有可用的CDM集群,请先通过数据集成增量包进行创建。 CDM集群作为网络代理,必须和RDS网络互通才可以成功创建MRS连接,为确保两者网络互通,CDM集群必须和RDS处于相同的区域、可用区,且使用同一个VPC和子网,安全组规则需允许两者网络互通。
"schema_name"."table_name" ADD SUPPLEMENTAL LOG DATA (ALL) COLUMNS; 设置成功后通过以下SQL可以查询到ALL_COLUMN_LOGGING说明该表已经开通补充日志。 SELECT 'KEY', LOG_GROUP_TYPE FROM ALL_LOG_GROUPS
CDM与其他数据迁移服务有什么区别,如何选择? DataArts Studio是否支持私有化部署到本地或私有云? 如何选择DataArts Studio版本 可以免费试用DataArts Studio吗? 免费试用即将到期,如何续费? DataArts Studio是否支持版本升级? DataArts
在导入记录中,可查看导入状态,显示为成功后即成功导入。 图18 查看对账作业导入结果 搬迁后验证 在新空间的规则模板、质量作业、对账作业导入完成后,您可以在新空间查看并验证规则模板、质量作业、对账作业是否与旧空间一致,以确保导入成功。 父主题: DataArts Studio配置数据搬迁实践
Spark这三种数据源,如果在创建数据连接时选择同一个集群资源,则需要在同一个数据湖服务下配置两套数据库,进行开发与生产环境隔离,具体请参见DB配置。 对于数据源为DLI时,可以通过企业模式环境隔离配置两套DLI队列和DB数据库进行生产与开发环境的隔离。具体请参见配置DataArts Studio企业模式环境隔离。
DWI: 数据整合层 DWR: 数据报告层 DM: 数据集市层 dw_type 否 String 数据连接类型,对应表所在的数仓类型,取值可以为DWS、MRS_HIVE、POSTGRESQL、MRS_SPARK、CLICKHOUSE、MYSQL、ORACLE和DORIS等。 create_by
DWI: 数据整合层 DWR: 数据报告层 DM: 数据集市层 dw_type 否 String 数据连接类型,对应表所在的数仓类型,取值可以为DWS、MRS_HIVE、POSTGRESQL、MRS_SPARK、CLICKHOUSE、MYSQL、ORACLE和DORIS等。 create_by
尝试重启集群(逐个节点重启可避免业务影响)。 DLM.4094 Call api failed. 调用API失败。 确认调用所执行的SQL正确,可以正常使用(所执行SQL详见访问日志,仅API方可见)。 CDM中代理异常,错误原因详见返回的DLG错误信息。 调用超时,若为DWS数据库,建议API采用自定义分页。
请求要求代理的身份认证,与401类似,但请求者应当使用代理进行授权。 408 Request Time-out 服务器等候请求时发生超时。 客户端可以随时再次提交该请求而无需进行任何更改。 409 Conflict 服务器在完成请求时发生冲突。 返回该状态码,表明客户端尝试创建的资源已经