-
真正让你明白Hive参数调优系列1:控制map个数与性能调优参数
本系列几章系统地介绍了开发中Hive常见的用户配置属性(有时称为参数,变量或选项),并说明了哪些版本引入了哪些属性,常见有哪些属性的使用,哪些属性可以进行Hive调优,以及如何使用的问题。以及日常Hive开发中如何进行性能调优。...
06月25日[编码文章]浏览:3
-
Springboot整合K8s读取ConfigMap刷新配置
1 前言之前介绍了Spring Cloud Config的用法,但对于Kubernetes应用,可能会需要读取ConfigMap的配置,我们看看Springboot是如何方便地读取ConfigMap和Secret。2 整合Spring Cloud KubenetesSpring Cloud Kube...
06月25日[编码文章]浏览:1
-
dump 日志收集与分析(jmap 和 jstack 工具)讲解与实战操作
一、概述dump 通常指的是从一个系统或应用程序中生成一份详细的信息快照,以便进行调试、分析或故障排除。在不同的上下文中,...
06月25日[编码文章]浏览:2
-
遍历多个数组!6个MAP函数高阶用法,EXCEL数据处理一招搞定!
遍历多个数组传递参数!6个MAP函数高阶用法,EXCEL数据处理一招搞定!场景1:A 列为带有美元符号的价格(如 $100, $200),需要批量转换为纯数字。公式:=MAP(A2:A10,LAMBDA(x,--(SUBSTITUTE(x,"#34;,"" ...
06月25日[编码文章]浏览:2
-
-
36.JAVA方法间少用map来传递数据
有时候代码上线了才报异常,有次就是因为使用map来传递数据,因为疏忽使线上的功能异常。举个例子:/*赋值**/ public void set( { Map<String,Object> map=new HashMap<>( ; map.put("...
06月25日[编码文章]浏览:2
-
MapReduce扩展:应用程序如何运行于Hadoop Yarn之上
1. 背景“应用程序运行于Hadoop Yarn之上”的需求来源于微博运维数据平台中的调度系统,即调度系统中的任务需要运行于Hadoop Yarn之上。这里的应用程序可以简单理解为一个普通的进程(这里特指Java进程),调度系统中的任务执行实际也是一个进程的运行过程,这里我们不讨论为什么调度系统中的...
06月25日[编码文章]浏览:2
-
Hadoop :map+shuffle+reduce和YARN分析笔记
今天在公司做了一个hadoop分享,包括mapreduce,及shuffle深度讲解,还有YARN框架的详细说明等。 一 引言1、海量日志数据,提取出某日访问百度次数最多的那个IP算法思想:分而治之+Hash1.IP地址最多有2^32=4G种取值情况,所以不能完全加载到内存中处理; 2.可以考虑采用...
06月25日[编码文章]浏览:2