检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
执行程序Jar包或sql文件地址。 约束限制: 不涉及 取值范围: 最多为1023字符,不能包含;|&>,<'$特殊字符,且不可为空或全空格。 文件可存储于HDFS或者OBS中,不同的文件系统对应的路径存在差异。 OBS:以“obs://”开头。不支持KMS加密的文件或程序。 HDFS:以“/”开头。
执行程序Jar包或sql文件地址。 约束限制: 不涉及 取值范围: 需要满足如下要求: 最多为1023字符,不能包含;|&>,<'$特殊字符,且不可为空或全空格。 文件可存储于HDFS或者OBS中,不同的文件系统对应的路径存在差异。 OBS:以“s3a://”开头。不支持KMS加密的文件或程序。
filter(_.contains("ERROR")) errors.cache() errors.count() textFile算子从HDFS读取日志文件,返回file(作为RDD)。 filter算子筛出带“ERROR”的行,赋给errors(新RDD)。filter算子是一个Transformation操作。
个用户可指定哪些用户允许查看自己应用程序的运行状态或者控制应用程序。此外,MRS集群管理员可指定队列管理员和集群系统管理员。 动态更新配置文件。MRS集群管理员可根据需要动态修改配置参数以实现在线集群管理。 Capacity Scheduler中每个队列可以限制资源使用量。队列间
MRS_Spark_ClientConfig.tar 由于不兼容老版本客户端,建议用户获取与服务端集群相同版本的客户端安装包进行安装部署。 进入解压文件夹,即“MRS_Spark_ClientConfig”,执行下列命令安装客户端 sh install.sh /opt/client 其中“
ClickHouse应用程序运行完成后,可通过以下方式查看程序运行情况: 通过运行结果查看程序运行情况。 通过ClickHouse日志获取应用运行情况,即logs目录下的日志文件:clickhouse-example.log。 运行clickhouse-examples的完整样例后,控制台显示部分运行结果如下: Connected
可通过以下方式查看程序运行情况: 通过运行结果查看程序运行情况。 通过ClickHouse日志获取应用运行情况,即“logs”目录下的日志文件:clickhouse-example.log。 运行clickhouse-examples的完整样例后,控制台显示部分运行结果如下: Connected
ClickHouse应用程序运行完成后,可通过以下方式查看程序运行情况: 通过运行结果查看程序运行情况。 通过ClickHouse日志获取应用运行情况,即logs目录下的日志文件:clickhouse-example.log。 运行clickhouse-examples的完整样例后,控制台显示部分运行结果如下: Connected
可通过以下方式查看程序运行情况: 通过运行结果查看程序运行情况。 通过ClickHouse日志获取应用运行情况,即“logs”目录下的日志文件:clickhouse-example.log。 运行clickhouse-examples的完整样例后,控制台显示部分运行结果如下: Connected
not supported. 不支持此操作! 请避免进行此操作 400 12000055 Failed to open the file. 打开文件失败! 请尝试重新发起调用,或联系技术支持 400 12000059 Key pair xxx does not exist. 用户密钥对xxx不存在。
ger策略,通过之前Hive权限插件的方式,给角色添加权限,然后把角色赋予对应用户。如果HDFS Ranger策略可以匹配到Hive库表的文件或目录权限,则优先使用HDFS Ranger策略。 Ranger策略中的URL策略是hive表存储在obs上的场景涉及,URL填写对象在o
replaceAll() 的规则相同。 Regex Filtering Interceptor 该拦截器通过将Event的Body体解释为文本文件,与配置的正则表达式进行匹配来选择性的过滤Event。提供的正则表达式可用于排除或包含事件。 Regex Extractor Interceptor
key的角色,以分担group key中热点的负担。bucket key使Job具有可伸缩性来解决不同聚合中的数据倾斜/热点。 【示例】 资源文件配置: table.optimizer.distinct-agg.split.enabled: true table.optimizer.distinct-agg
LECT和DATA_DEFINITION等类型,匹配到不同的资源组,分配不同的资源来执行查询。 启用资源组 在创建计算实例的时候,增加参数文件“resource-groups.json”的自定义配置参数,具体操作请参见3.e。 资源组属性 资源组属性配置请参见表2。 表2 资源组属性
不涉及 取值范围: 不涉及 默认取值: 不涉及 config_file_name 是 String 参数解释: 配置文件名,仅支持MRS组件配置页面上所展示的文件名。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 表16 StepConfig 参数 是否必选 参数类型
在“计算实例”页签,在待操作的实例所属租户所在行的“操作”列单击“配置”,进入“配置实例”页签,添加如下自定义参数。 表1 自定义参数 名称 值 参数文件 materialized.view.rewrite.enabled true coordinator.config.properties
可使用gs_om -t status --detail查询Coordinator数据路径,在该路径下的“postgresql.conf”文件中查看端口号信息。 创建用于接受数据的空表,如表“customer_t1”: CREATE TABLE customer_t1 (
单击操作列的“启动”,等待作业启动。 观察数据传输是否生效,例如在MySQL数据库中对作业中指定的表进行插入数据操作,查看Hudi导入的文件内容是否正常。 父主题: 创建CDL作业
single_replica_load_download_port 8050 29989 单副本数据导入功能中,Slave副本通过HTTP从Master副本下载数据文件的端口。 Guardian常用端口 表中涉及端口的协议类型均为:TCP和HTTP。 配置参数 开源默认端口 定制默认端口 端口说明 ranger
集群版本。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 nodePublicCertName String 参数解释: 密钥文件名称。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 masterNodeIp String 参数解释: Master节点IP。