云服务器内容精选
-
WatchMicroServiceKey 表1 参数说明 参数 是否必选 参数类型 描述 appId 否 String 应用app唯一标识，字符长度为1~160。正则表达式为^[a-zA-Z0-9]*$|^[a-zA-Z0-9][a-zA-Z0-9_\-.]*[a-zA-Z0-9]$。 serviceName 否 String 微服务名称。作为provider支持为*，表示依赖同一租户下的所有服务。当服务名称为*时，appId和version可以省略。consumer不支持*。 version 否 String 微服务版本。作为provider支持+、固定版本和latest（当前最新版本），如1.0.1+，表示1.0.1以上的版本，包括1.0.1。作为consumer只能为固定版本。 父主题： 公共响应参数
-
DependencyMicroService 表1 参数说明 参数 是否必选 参数类型 描述 appId 是 String 应用app唯一标识，字符长度为1~160。正则表达式为^[a-zA-Z0-9]*$|^[a-zA-Z0-9][a-zA-Z0-9_\-.]*[a-zA-Z0-9]$。 serviceName 是 String 微服务名称。作为provider支持为*，表示依赖同一租户下的所有服务。当服务名称为*时，appId和version可以省略。consumer不支持*。字符长度为1~128。正则表达式为^[a-zA-Z0-9]*$|^[a-zA-Z0-9][a-zA-Z0-9_\-.]*[a-zA-Z0-9]$。 version 是 String 版本规则，若为微服务引擎专业版，此参数必填；否则，无此参数。 表示精确版本匹配，如：0.0.1 表示后续版本匹配，如：0.0.1+ 表示最新版本，如：latest 表示版本范围，如：0.1.0-0.2.0 environment 是 String 微服务的环境信息。包括： 空 development testing acceptance production 父主题： 公共请求参数
-
HealthCheck 表1 参数说明 参数 是否必选 参数类型 描述 mode 是 String check模式，push/pull。 port 否 Integer 端口，字符长度不超过65536。正则表达式为^[0-9]*$。 interval 是 Integer 心跳间隔（秒），当值小于5秒时，按5秒注册。字符长度不超过4294967296。正则表达式为^[0-9]+$。 times 是 Integer 最大尝试请求次数，字符长度不超过4294967296。正则表达式为^[0-9]+$。 父主题： 参数说明
-
GaussDB （MySQL兼容模式）数据库GUC参数 当使用MySQL兼容模式，可以设置GUC参数提高GaussDB的兼容性，迁移涉及的GUC参数和影响范围可参见表1 GaussDB（MySQL兼容模式）的GUC参数。 GaussDB数据库 提供了许多运行参数，配置这些参数可以影响数据库系统的行为。在修改这些参数时请确保用户理解了这些参数对数据库的影响，否则可能会导致无法预料的结果。 表1 GaussDB（MySQL兼容模式）的GUC参数 兼容MySQL行为配置项 兼容性配置项 兼容性配置项名字 支持的数据库 是否建议打开 b_format_behavior_compat_options enable_set_variables 仅限主备版会话变量生效。 主备版 是 b_format_version 5.7 数据库平台兼容性行为配置项。 505.0主备版/分布式 是 b_format_dev_version S1 数据库平台迭代小版本兼容性行为配置项。 505.0主备版/分布式 是 S2 数据库平台迭代小版本兼容性行为配置项。 505.1主备版/分布式 是 b_format_dev_version参数设置： GaussDB 8.0企业版，设置为s1。 GaussDB 8.100企业版，设置为s2。 版本号对应参考自建GaussDB内核版本号与UGO界面显示GaussDB版本号对应关系。 S1兼容性配置项所影响的内容： NEW()函数、last_day()函数、date_sub(date, INTERVAL expr unit)、datediff(expr1, expr2)、day()/dayofmonth()、dayname() dayofweek()、dayofyear()、extract(unit FROM date)、from_days(days)、from_unixtime(unix_timestamp[,format])、get_format({DATE | TIME | DATETIME | TIMESTAMP}, {'EUR' | 'USA' | 'JIS' | 'ISO' | 'INTERNAL'})、 hour()、makedate(year,dayofyear)、microsecond()、minute()、month()、monthname()、 period_add(period, month_number) TIMESTAMPDIFF、yearweek(date[, mode])、year()、weekofyear(date)、 weekday()、week(date[, mode])、utc_timestamp()、utc_time()、period_diff(p1,p2)、second(). quarter()、str_to_date(str, format)、subdate(expr, days)、time_format(time, format)、ifnull(expr1, expr2)、database()、current_date、current_time、current_timestamp round(arg1, arg2)、localtime([precision])、localtimestamp、dbtimezone、timenow()、numtodsinterval(num, interval_unit)、numtoyminterval(num, interval_unit) new_time(date, timezone1,timezone2)、sysdate([precision])、add_months(d,n)、months_between(d1, d2)、convert_tz(dt, from_tz, to_tz) adddate(date, INTERVAL expr unit)、date_format(date, format) S2兼容性配置项所影响的内容： 包含s1控制的兼容性行为。 影响如下功能： AUTO_INCREMENT自动增长列在导入数据或者进行BATCH INSERT执行计划的插入操作时，对于混合0、NULL和确定值的场景，确定值插入时会立即更新自增计数，后续的0/NULL将在确定值的基础上自增。 like操作符对于匹配串末尾是转义符的场景不再报错。 字符集、字符序的排序规则优先级将发生变更。 影响如下语法： CREATE TABLE table_name LIKE source_table语法。 CREATE TABLE table_name LIKE source_table和“CREATE TABLE table_name (LIKE source_table)”语法不支持指定INCLUDING和EXCLUDING选项，缺省等同于指定INCLUDING ALL。 支持LOAD DATA语法，gs_loader中部分与LOAD DATA语法一致的语法功能会发生变化。 支持set names指定collate子句。 涉及ALTER TABLE，RENAME TABLE等更改表名的语法，影响场景如：新表名对应字符串开头为“#MySQL50#”，且其后有其他字符，“#MySQL50#”将被忽略。 父主题： GaussDB数据库设置GUC参数对迁移的影响
-
SAP HANA数据连接参数说明 表1 SAP HANA数据连接 参数 是否必选 说明 数据连接类型 是 RDS(SAP HANA)连接固定选择为RDS(SAP HANA)。 数据连接名称 是 数据连接的名称，只能包含字母、数字、下划线和中划线，且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后，便于统一管理。 说明： 标签的名称，只能包含中文、英文字母、数字和下划线，不能以下划线开头，且长度不能超过100个字符。 适用组件 是 选择此连接适用的组件。勾选组件后，才能在相应组件内使用本连接。 说明： 当开启数据集成作业特性后，可勾选数据集成组件，勾选后在数据开发组件创建集成作业时支持选择本数据连接。 离线处理集成作业功能当前需申请白名单后才能使用。如需使用该特性，请联系客服或技术支持人员。 基础与网络连通配置 IP或 域名 是 关系型数据库数据源的访问地址，可填写为IP或域名。 如果为RDS或GaussDB等云上数据源，可以通过管理控制台获取访问地址： 根据注册的账号登录对应云服务的管理控制台。 从左侧列表选择实例管理。 单击某一个实例名称，进入实例基本信息页面。在连接信息标签中可以获取到内网IP、域名和端口等信息。 说明： 仅GaussDB数据源支持多域名的方式， 多个域名 之间用“,”分隔。 如果为MySQL、PostgreSQL或达梦数据库 DM等线下数据源，可以通过数据库管理员获取相应的访问地址。 端口 是 关系型数据库数据源的访问端口。 如果为RDS或GaussDB等云上数据源，可以通过管理控制台获取访问地址： 根据注册的账号登录对应云服务的管理控制台。 从左侧列表选择实例管理。 单击某一个实例名称，进入实例基本信息页面。在连接信息标签中可以获取到内网IP、域名和端口等信息。 说明： 仅GaussDB数据源支持多域名的方式，多个域名之间用“,”分隔。 如果为MySQL、PostgreSQL或达梦数据库 DM等线下数据源，可以通过数据库管理员获取相应的访问地址。 KMS密钥 是 通过KMS加解密数据源认证信息，选择KMS中已创建的密钥。 绑定Agent 是 RDS类型数据源为非全托管服务， DataArts Studio 无法直接与非全托管服务进行连接。 CDM 集群提供了DataArts Studio与非全托管服务通信的代理，所以创建RDS类型的数据连接时，请选择一个CDM集群。如果没有可用的CDM集群，请先进行创建。 CDM集群作为网络代理，必须和RDS网络互通才可以成功创建RDS连接，为确保两者网络互通，CDM集群必须和RDS处于相同的区域、可用区，且使用同一个VPC和子网，安全组规则需允许两者网络互通。 说明： CDM集群作为管理中心数据连接Agent时，单集群的并发活动线程最大为200。即当多个数据连接共用同一Agent时，通过这些数据连接提交SQL脚本、Shell脚本、Python脚本等任务的同时运行上限为200，超出的任务将排队等待。建议您按照业务量情况规划多个Agent分担压力。 数据集成配置 数据库名称 是 要连接的数据库。 单次请求行数 否 指定单次请求获取的行数。默认1000。 连接属性 否 可选参数。单击“添加”可增加多个指定数据源的JDBC连接器的属性（属性名称和值），参考对应数据库的JDBC连接器说明文档进行配置。 引用符号 否 配置引用符号，例如"。 数据库包围标识符。对某些数据库意味着大小写敏感，如不需用请置空。 数据源驱动配置 驱动程序名称 是 驱动程序名称： com.mysql.jdbc.Driver：连接RDS for MySQL或MySQL数据源时，选择此驱动程序名称。 org.postgresql.Driver：连接RDS for PostgreSQL或PostgreSQL数据源时，选择此驱动程序名称。 com.microsoft.sqlserver.jdbc.SQLServerDriver: 连接RDS for SQL Server数据源时，选择此驱动名称。 dm.jdbc.driver.DmDriver：连接达梦数据库 DM数据源时，选择此驱动程序名称。 com.huawei.opengauss.jdbc.Driver：连接GaussDB数据源时，选择此驱动程序名称。 驱动文件来源 是 选择驱动文件的来源方式。 驱动文件路径 是 “驱动文件来源”选择“OBS路径”时配置。 驱动文件在OBS上的路径。需要您自行到官网下载.jar格式驱动并上传至OBS中。 MySQL驱动：获取地址https://downloads.mysql.com/archives/c-j/，建议5.1.48版本。 PostgreSQL驱动：获取地址https://mvnrepository.com/artifact/org.postgresql/postgresql，建议42.3.4版本。 SQL Server驱动：获取地址https://learn.microsoft.com/zh-cn/sql/connect/jdbc/download-microsoft-jdbc-driver-for-sql-server?view=sql-server-ver16，建议8.4.1版本。 达梦数据库驱动： DM JDBC驱动jar包请从DM安装目录/dmdbms/drivers/jdbc中获取DmJdbcDriver18.jar。 GaussDB驱动：请在GaussDB官方文档《GaussDB 用户指南》中搜索“JDBC包、驱动类和环境类”，然后选择实例对应版本的资料，参考文档获取驱动包。 说明： 驱动文件所在的OBS路径中不能包含中文。 如果需要更新驱动文件，则需要先在数据集成页面重启CDM集群，然后通过编辑数据连接的方式重新选择新版本驱动，更新驱动才能生效。 驱动文件 是 “驱动文件来源”选择“本地文件”时配置。 驱动文件请根据驱动类型去相关官网上下载，并在选择弹窗中上传驱动，或在该弹窗中指定已上传的驱动文件。 数据源认证及其他功能配置 用户名 是 数据库的用户名，创建集群的时候，输入的用户名。 密码 是 数据库的访问密码，创建集群的时候，输入的密码。 父主题： 配置DataArts Studio数据连接参数
-
源端抽取慢 检查源端负载是否已到达源端数据源上限，如Mysql、Oracle、SqlServer数据源，优先查看源端数据源的监控指标，查看CPU、内存、IO等参数是否处于高负载状态。 在排除源端负载的情况情况下，如果源端是Mysql\Oracle\SqlServer\PostGres\OpenGauss等的全量+增量作业且作业处于全量抽取阶段，或者Kafka\hudi等数据源抽取速度慢，请优先尝试加大作业并发数，以提高作业的并发抽取速率。 Mysql\Oracle\SqlServer\PostGres\OpenGauss等关系型数据为保证事务有序，在增量阶段是单并发抽取，加大并发一般不会提升抽取性能。 如果第2步也无法有效提升性能，请根据源端优化尝试进行参数优化。 如果上述步骤仍然无法提升作业速度，请联系技术支持人员协助解决。
-
源端优化 Mysql优化 表1 全量阶段 参数名 类型 默认值 说明 scan.incremental.snapshot.backfill.skip boolean true 全量阶段是否跳过读取binlog数据，默认为true。跳过读取binlog数据可以有效降低内存使用。需要注意的是，跳过读取binlog功能只提供at-least-once保证。 scan.incremental.snapshot.chunk.size int 50000 分片大小，决定了全量阶段单个分片最大数据的数据条数以及分片个数。分片大小越大，单个分片数据条数越多，分片个数越小。 当表的条数过多时，作业会划分较多的分片，从而占用过多的内存导致内存问题，请解决表的条数适当调整该值。 当scan.incremental.snapshot.backfill.skip为false时，实时处理集成作业会缓存单个分片的数据，此时分片越大，占用内存越多，引发内存溢出，在此场景小，可以考虑降低分片大小。 scan.snapshot.fetch.size int 1024 全量阶段抽取数据时，从Mysql侧单次请求抽取数据的最大条数，适当增加请求条数可以减少对Mysql的请求次数提升性能。 debezium.max.queue.size int 8192 数据缓存队列条数，默认为8192，当源表中单条数据过大时（如1MB），缓存过多数据会导致内存溢出，可以考虑减小该值。 debezium.max.queue.size.in.bytes int 0 数据缓存队列大小，默认为0，即表示缓存队列不考虑数据大小，只按照数据条数计算。在debezium.max.queue.size无法有效限制内存占用时，考虑显式设置该值来限制缓存数据的大小。 jdbc.properties.socketTimeout int 300000 全量阶段连接Mysql的socket超时时间，默认为5分钟。当Mysql负载较高，作业出现SocketTimeout异常时，考虑增大该值。 jdbc.properties.connectTimeout int 60000 全量阶段连接Mysql的连接超时时间，默认为1分钟。当Mysq负载较高，作业出现ConnectTimeout异常时，考虑增大该值。 表2 增量阶段 参数名 类型 默认值 说明 debezium.max.queue.size int 8192 数据缓存队列条数，默认为8192，当源表中单条数据过大时（如1MB），缓存过多数据会导致内存溢出，可以考虑减小该值。 debezium.max.queue.size.in.bytes int 0 数据缓存队列大小，默认为0，即表示缓存队列不考虑数据大小，只按照数据条数计算。在debezium.max.queue.size无法有效限制内存占用时，考虑显式设置该值来限制缓存数据的大小。 Oracle优化 表3 全量阶段 参数名 类型 默认值 说明 scan.incremental.snapshot.backfill.skip boolean true 全量阶段是否跳过读取Redo log数据，默认为true。由于Oracle初始化LogMiner 较慢，因此在Oracle场景下，跳过读取Redo log数据可以有效提升全量抽取的性能，同时减低内存的使用。需要注意的是，跳过读取binlog功能只提供at-least-once保证。 scan.incremental.snapshot.chunk.size int 50000 分片大小，决定了全量阶段单个分片最大数据的数据条数以及分片个数。分片大小越大，单个分片数据条数越多，分片个数越小。 当表的条数过多时，作业会划分较多的分片，从而占用过多的内存导致内存问题，请解决表的条数适当调整该值。 当scan.incremental.snapshot.backfill.skip为false时，实时处理集成作业会缓存单个分片的数据，此时分片越大，占用内存越多，引发内存溢出，在此场景小，可以考虑降低分片大小。 scan.snapshot.fetch.size int 1024 全量阶段抽取数据时，从Mysql侧单次请求抽取数据的最大条数，适当增加请求条数可以减少对Oracle的请求次数而提升性能。
-
目的端写入慢 检查目的端负载是否已达到目的端数据源上限，如DWS、Doris，优先查看目的端监控指标，查看CPU、内存、IO等参数是否处于高负载状态。 在排除目的端负载的情况下，加大作业并发，以提高写入速度。 如果第2步也无法有效提升性能，请根据源端抽取慢排查源端的性能因素。 如果排除了源端的情况下，请根据目的端优化尝试进行参数优化。 如果上述步骤仍然无法提升作业速度，请联系技术支持人员协助解决。
-
整库场景 源端配置。 添加数据源，选择需要迁移的MySQL表。 图1 选择库表 库与表均支持自定义选择，即可选择一库一表，也可选择多库多表。 目标端配置。 图2 配置目标端参数 设置源表与Topic映射规则： 目标Topic名称规则：源端表名与目的端Topic名的映射规则，可以指定为单一Topic，也可使用内置字段做映射。 可以使用的内置变量有： #{source_db_name}：源库名。 #{source_table_name}：源库名。 同步kafka partition策略：支持以下三种投递策略，源端无主键情况下，目的端默认投递到partition 0。 按库名+表名的hash值投递到不同Partition。 全部投递到Partition 0。 按表的主键值hash值投递到不同的Partition。 需要同步的数据库操作：支持同步的数据库操作为DDL和DML。 投递到Kafka的数据格式：投递到Kafka的数据格式有Debezium JSON和Canal JSON。 源表与目标表映射：支持用户根据实际需求修改映射后的目的端topic名称，可以配置为一对一、多对一的映射关系。 图3 配置源表与目标表映射
-
分库分表场景 源端配置。 图4 添加逻辑表 逻辑表名：即最终写入到DMS Kafka的表名。 源库过滤条件：支持填入正则表达式，在所有Mysql实例中通过该正则表达式过滤出要写入目标端DWS汇聚表的所有分库 源表过滤条件：支持填入正则表达式，在过滤出的源端分库中再次过滤出要写入目标端DWS汇聚表的所有分表 已添加的逻辑表支持预览，单击操作列的预览即可。 预览逻辑表，源表数量越多，等待时间可能越长，请耐心等待。 图5 逻辑表预览 目标端配置。 图6 配置目标端参数 设置源表与Topic映射规则： 目标Topic名称规则：源端表名与目的端Topic名的映射规则，可以指定为单一Topic，也可使用内置字段做映射。 可以使用的内置变量有： #{source_db_name}：源库名。 #{source_table_name}：源库名。 同步kafka partition策略：支持以下三种投递策略，源端无主键情况下，目的端默认投递到partition 0。 按库名+表名的hash值投递到不同Partition。 全部投递到Partition 0。 按表的主键值hash值投递到不同的Partition。 需要同步的数据库操作：支持同步的数据库操作为DDL和DML。 投递到Kafka的数据格式：投递到Kafka的数据格式有Debezium JSON和Canal JSON。 源表与目标表映射：支持用户根据实际需求修改映射后的目的端topic名称，可以配置为一对一、多对一的映射关系。 图7 配置源表与目标表映射
-
操作场景 您可以复制您创建的自定义数据库参数模板。当您已创建一个数据库参数模板，并且想在新的数据库参数模板中包含该组中的大部分自定义参数和值时，复制参数模板是一个方便的解决方案。您还可以导出某数据库实例应用的参数列表，生成一个新的参数模板，供您后期使用。 复制数据库参数模板之后，新参数模板可能不会立即显示，建议您等待5分钟再使用。 您无法复制默认参数模板。不过，您可以创建基于默认参数模板的新参数模板。
-
修改自定义参数模板并应用到实例 您也可以通过修改自定义参数模板中的参数值后，将该自定义参数模板应用到实例来实现实例参数的修改。 在“参数管理”页面的“自定义模板”页签，选择目标参数模板，单击参数模板名称。 默认在“参数”页签下，根据需要修改相关参数值。 图3 修改自定义参数模板值 根据参数列表中“是否需要重启”提示，进行相应操作： 是：参数修改完成后，需要重启实例使之生效。 修改主实例的某些参数，需重启主实例使之生效。如果是高可用实例，备节点的参数也会被同步修改 修改只读实例的某些参数，需要重启该只读实例使之生效。 否：无需重启，立即生效。 单击“保存”，在弹出框中单击“是”，保存修改。 单击“取消”，放弃本次设置。 单击“预览”，可对比参数修改前和修改后的值。 参数修改完成后，您可以单击“参数修改历史”查看参数的修改详情。 自定义参数模板中参数修改后，不会立即应用到当前使用的实例，您需要手动进行应用操作才可生效，具体操作请参见应用GaussDB(for MySQL)标准版参数模板。
-
设置指定用户的密码过期策略 创建用户的同时设置密码过期策略 create user 'script'@'localhost' identified by '*********' password expire interval 90 day; 创建用户后设置密码过期策略 ALTER USER 'script'@'localhost' PASSWORD EXPIRE INTERVAL 90 DAY; 设置密码永不过期 CREATE USER 'mike'@'%' PASSWORD EXPIRE NEVER; ALTER USER 'mike'@'%' PASSWORD EXPIRE NEVER; 设置密码遵从全局到期策略 CREATE USER 'mike'@'%' PASSWORD EXPIRE DEFAULT; ALTER USER 'mike'@'%' PASSWORD EXPIRE DEFAULT;
-
GUC参数设置 GUC参数设置有两种方式： 方式一：集群创建成功后，用户可以登录GaussDB(DWS) 管理控制台，根据实际需要修改集群的数据库参数。 具体操作请参见修改数据库参数。 方式二：成功连接集群后，通过SQL命令的方式设置SUSET或USERSET类型的参数。 修改指定数据库，用户，会话级别的参数。 设置数据库级别的参数 1 ALTER DATABASE dbname SET paraname TO value; 在下次会话中生效。 设置用户级别的参数 1 ALTER USER username SET paraname TO value; 在下次会话中生效。 设置会话级别的参数 1 SET paraname TO value; 修改本次会话中的取值。退出会话后，设置将失效。
-
操作步骤 设置参数，以设置explain_perf_mode参数为例。 查看explain_perf_mode参数。 1 2 3 4 5 SHOW explain_perf_mode; explain_perf_mode ------------------- normal (1 row) 设置explain_perf_mode参数。 使用以下任意方式进行设置： 设置数据库级别的参数 1 ALTER DATABASE gaussdb SET explain_perf_mode TO pretty; 当结果显示为如下信息，则表示设置成功。 ALTER DATABASE 在下次会话中生效。 设置用户级别的参数 1 ALTER USER dbadmin SET explain_perf_mode TO pretty; 当结果显示为如下信息，则表示设置成功。 ALTER USER 在下次会话中生效。 设置会话级别的参数 1 SET explain_perf_mode TO pretty; 当结果显示为如下信息，则表示设置成功。 SET 检查参数设置的正确性。 1 2 3 4 5 SHOW explain_perf_mode; explain_perf_mode -------------- pretty (1 row)
更多精彩内容
CDN加速
GaussDB
文字转换成语音
免费的服务器
如何创建网站
域名网站购买
私有云桌面
云主机哪个好
域名怎么备案
手机云电脑
SSL证书申请
云点播服务器
免费OCR是什么
电脑云桌面
域名备案怎么弄
语音转文字
文字图片识别
云桌面是什么
网址安全检测
网站建设搭建
国外CDN加速
SSL免费证书申请
短信批量发送
图片OCR识别
云数据库MySQL
个人域名购买
录音转文字
扫描图片识别文字
OCR图片识别
行驶证识别
虚拟电话号码
电话呼叫中心软件
怎么制作一个网站
Email注册网站
华为VNC
图像文字识别
企业网站制作
个人网站搭建
华为云计算
免费租用云托管
云桌面云服务器
ocr文字识别免费版
HTTPS证书申请
图片文字识别转换
国外域名注册商
使用免费虚拟主机
云电脑主机多少钱
鲲鹏云手机
短信验证码平台
OCR图片文字识别
SSL证书是什么
申请企业邮箱步骤
免费的企业用邮箱
云免流搭建教程
域名价格
