-
开发和部署HetuEngine UDF - MapReduce服务 MRS
userver/”路径中。 当前HetuEngine仅支持UDF JAR文件存放在“hdfs://资源URI”的HDFS中。 因修改函数或增加函数而导致的重新上传JAR文件,HetuEngine会默认缓存5分钟,不会即时生效,5分钟后才会进行JAR文件的更新和重新加载。 使用HetuEngine
-
Linux中未安装客户端时提交Storm拓扑 - MapReduce服务 MRS
Linux中未安装客户端时提交Storm拓扑 操作场景 Storm支持拓扑在未安装Storm客户端的Linux环境中运行。 前提条件 客户端机器的时间与MRS集群的时间要保持一致,时间差要小于5分钟。 当Linux环境所在主机不是集群中的节点时,需要在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。
-
在IDEA中提交Storm拓扑 - MapReduce服务 MRS
ntTopology实现远程提交函数。 前提条件 已执行打包Storm样例工程应用。 调整IntelliJ IDEA客户端机器时间,和Storm集群时间差不超过5分钟。 确保本地的hosts文件中配置了远程集群所有主机的主机名和业务IP映射关系。 操作步骤 修改WordCountTopology
-
在Linux环境中调测Doris应用 - MapReduce服务 MRS
clean install”编译 编译完成,打印“BUILD SUCCESS”,生成target目录,生成Jar包在target目录中。 是否运行Doris对接SpringBoot样例: 是,执行以下步骤运行样例: 在Linux环境新建运行目录,将“target”目录下的“dor
-
修改Manager系统域名 - MapReduce服务 MRS
至少需要包含大写字母、小写字母、数字、特殊字符中的三种类型字符。支持的特殊字符为`~!@#$%^&*()-_=+|[{}];:',<.>/?和空格。 是否需要同时执行“配置跨Manager集群互信”。 是,参考配置跨Manager集群互信章节进行操作,无需执行该章节后续步骤。 否,执行5。
-
开源sqoop-shell工具使用示例(SFTP - HDFS) - MapReduce服务 MRS
含有单引号时可用双引号进行转义,非加密密码中含有双引号应使用反斜杠\进行转义。可参考Shell的转义字符规则。 - use.keytab 是否使用keytab方式登录。 true,表示使用keytab文件登录 false,表示使用密码登录。 true client.principal
-
开源sqoop-shell工具使用示例(Oracle - HBase) - MapReduce服务 MRS
含有单引号时可用双引号进行转义,非加密密码中含有双引号应使用反斜杠\进行转义。可参考Shell的转义字符规则。 - use.keytab 是否使用keytab方式登录。 true,表示使用keytab文件登录 false,表示使用密码登录。 true client.principal
-
开源sqoop-shell工具使用示例(SFTP - HDFS) - MapReduce服务 MRS
命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 - use.keytab 是否使用keytab方式登录。 true,表示使用keytab文件登录 false,表示使用密码登录。 true client.principal
-
开源sqoop-shell工具使用示例(Oracle - HBase) - MapReduce服务 MRS
命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 - use.keytab 是否使用keytab方式登录。 true,表示使用keytab文件登录 false,表示使用密码登录。 true client.principal
-
配置并导入Flink样例工程 - MapReduce服务 MRS
在IDEA主页,选择“File>Project Structures...”进入“Project Structure”页面。 选择“Libraries”,然后单击“+”,增加“Java”的依赖包。 图18 Add Java 在“Select Library Files”页面,选中“lib”目录下的所有Jar包,然后单击“OK”。
-
同步Kafka数据至ClickHouse - MapReduce服务 MRS
[kafka_schema = '',] [kafka_num_consumers = N] 参数说明 表1 Kafka引擎表参数说明 参数名 是否必选 参数说明 kafka_broker_list 是 Kafka集群broker实例的IP和端口列表。例如:kafka集群broker实例IP1:9092
-
查询SQL结果 - MapReduce服务 MRS
/v2/{project_id}/clusters/{cluster_id}/sql-execution/{sql_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目编号。获取方法,请参见获取项目ID。 cluster_id 是 String
-
MRS 1.9.0.6补丁说明 - MapReduce服务 MRS
MRS 1.9.0.6补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 1.9.0.6 发布时间 2020-05-20 解决的问题 MRS 1.9.0.6 修复问题列表: MRS Manager MRS Manager支持包周期集群指定节点缩容 MRS 大数据组件 解决Hivese提交sql卡顿问题
-
批量写入Hudi表 - MapReduce服务 MRS
BULK_INSERT(批量插入):用于初始数据集加载, 该操作会对主键进行排序后直接以写普通parquet表的方式插入Hudi表,该操作性能是最高的,但是无法控制小文件,而UPSERT和INSERT操作使用启发式方法可以很好的控制小文件。 UPSERT(插入更新): 默认操作类
-
使用Spark Shell创建Hudi表 - MapReduce服务 MRS
urce Hudi的component_env。 使用spark-shell --master yarn-client,引入Hudi包生成测试数据: 引入需要的包 import org.apache.hudi.QuickstartUtils._ import scala.collection
-
Java样例代码 - MapReduce服务 MRS
参数解析: // <batchTime>为Streaming分批的处理间隔。 // <windowTime>为统计数据的时间跨度,时间单位都是秒。 // <topics>为Kafka中订阅的主题,多以逗号分隔。 // <brokers>为获取元数据的kafka地址。
-
配置HetuEngine物化视图改写能力 - MapReduce服务 MRS
WITH(xxx) AS”,完整语句模板可参考表1。 表2 物化视图改写场景示例 场景 描述 创建物化视图SQL样例 用户查询SQL样例 查询SQL是否能被改写 备注 全表查询 最基本的全表查询场景 select * from tb_a; select * from tb_a; 否 创建全表扫描的物化视图没有实际意义,不支持
-
包年/包月 - MapReduce服务 MRS
包年/包月MRS集群的计费周期是根据您购买的时长来确定的(以UTC+8时间为准)。一个计费周期的起点是您购买的MRS集群启动成功或续费资源的时间(精确到秒),终点则是到期日的23:59:59。 未到期的包年/包月集群也支持退订,则计费终点为集群退订成功的时间点,详细请参见云服务退订规则概览。 例如,如果您在2023/06/08
-
编译并调测Flink应用 - MapReduce服务 MRS
name] [ssl.truststore.location] [ssl.truststore.password] 表2 参数说明 参数名称 说明 是否必须配置 topic 表示Kafka主题名。 是 bootstrap.server 表示broker集群ip/port列表。 是 security
-
Spark读写Hudi开发规范 - MapReduce服务 MRS
query.type","read_optimized") .load("tablePath") 对查询性能有要求,但是可以接受一定时间的数据时延。 对于mor表来说,这种读方式性能比读实时表快很多。该读取方式不会读log数据,这些log中新增数据compaction之后才能读到,因此使用该模式读取数据有一定的数据时延。