HAProxy를 사용한 리버스 프록시 서버와 무중단 배포 환경 구축(1)

🏁 들어가기 전

프로젝트를 진행하며 Nginx를 사용해 리버스 프록시 서버를 구축해 본 경험이 있다. Nginx를 사용해 간단하게 리버스 프록시 세팅과 로드 밸런스 서버를 구축할 수 있었지만 2% 아쉬운 부분이 존재했다. 이에 대한 대안으로 HAProxy를 사용하여 로드밸런싱이 가능한 고가용성 리버스 프록시 서버를 구축하고 더 나아가 무중단 배포환경까지 만들어보고자 한다.

---

✅ HAProxy

HAProxy는 고가용성 로드밸런서와 리버스 프록시 서버를 지원하는 오픈소스 소프트웨어이다. Nginx 일반 버전과 차별화된 HAProxy의 강력한 기능은 health check 그리고 failover 기능이다. 간단히 설명하면, HAProxy 서버가 백엔드 서버의 상태를 지속적으로 확인하고 문제가 있는 노드(서버)가 있다면 해당 서버로 요청을 보내지 않고 정상적인 노드로 트래픽을 전달하는 지원 한다. 이 같은 기능을 활용해 이중화 백엔드 서버를 로드밸런싱 하는 기능과 무중단 배포환경을 구성해보고자 한다.

---

🗺 인프라 구성

 

• 모든 인프라 및 어플리케이션은 컨테이너 형태로 만든다
• HAProxy를 활용해 2개의 Spring Boot 애플리케이션으로 로드밸런싱이 가능한 환경 구축
• Gitlab Runner를 활용해 Blue Green 무중단 배포 환경 구축
• 배포 이후 롤백 스크립트 구축

 

이번 포스팅에서는 HAProxy를 사용해 로드밸런싱을 할 수 있는 인프라까지 만들 것이다.

---

⚙️ Spring Boot 애플리케이션 이미지

1. 다음과 같이 간단하게 GET /hello 요청에 "hello"로 응답하는 API를 만든다.

@RestController
@RequiredArgsConstructor
@Slf4j
public class HelloController {
	@GetMapping("/hello")
	public ResponseEntity<String> hello() {
		log.info("hello controller requested!");
		return ResponseEntity.ok().body("hello");
	}
}

• 요청 로그를 확인하기 위해 hello controller requestd! 를 출력하도록 만들었다.

 

2. health check를 위해 acturator의 의존성을 추가하고 다음과 같이 설정한다.

참고 http://forward.nhnent.com/hands-on-labs/java.spring-boot-actuator/06-health.html

//build.gradle
dependencies {
    // actuator
    implementation 'org.springframework.boot:spring-boot-starter-actuator:3.0.4'

}

//application.yml
management:
  endpoints:
    web:
      base-path: /application
  endpoint:
    health:
      show-details: always

 

3. Spring boot 애플리케이션은 이미지 형태로 배포해야 되기 때문에 다음과 같이 Dockerfile을 작성하고 빌드 후 이미지를 생성한다.

FROM openjdk:17-jdk-slim-buster
ARG JAR_FILE=build/libs/*.jar
COPY ${JAR_FILE} app.jar
ENTRYPOINT ["java","-jar","/app.jar"]

docker build . -t backend:latest

 

4. 컨테이너로 만들어진 서비스들이 통신할 수 있는 네트워크를 만든다.

docker network create haproxy-net

 

5. 백엔드 서버 컨테이너를 두 개 띄운다(Blue server group)

docker run -d --name blue-server-1 -p 8081:8080 --net haproxy-net backend:latest

docker run -d --name blue-server-2 -p 8082:8080 --net haproxy-net backend:latest

---

🚧 테스트

1. 컨테이너 확인

docker ps

 

2. api 테스트

curl -X GET localhost:8081/hello

 

3. health check 테스트

curl -X GET localhost:8081/application/health

---

⚙️ HAProxy 리버스 프록시 서버 구축

1. 리버스 프록시 세팅을 위해 다음과 같이 haproxy.cfg 파일을 만들었다.

#---------------------------------------------------------------------
# Global settings
#---------------------------------------------------------------------
global
    log	127.0.0.1 local1
    maxconn	4000 # 프로세스 당 최대 연결 수치
    daemon       # Background 실행
    
    stats socket /var/lib/haproxy/stats mode 660 level admin expose-fd listeners # 통계 관련 정보에 대한 위치를 지정
#---------------------------------------------------------------------
# common defaults that all the 'listen' and 'backend' sections will
# use if not designated in their block
#---------------------------------------------------------------------	
defaults # front, back, listen에 관한 전역 섹션
    mode	http # http 프로토콜 사용하는 로드밸런싱 모드
    log	global   # 로그는 global 설정을 따름
    option httplog # 로그 디테일을 높임
    option	dontlognull # 로그 비대화 방지를 위해 probe(정찰, 스캔) 잡다한 기록은 남기지 않음
    retries	3 # 백엔드 서버가 다운되었다고 판단하는 요청 횟수
    option forwardfor # X-Forwarded-For를 헤더에 추가
    option	http-server-close # 실제 서버와 클라이언트 간 연결이 종료 될 시 유휴상태로 대기하지 않고 서버에서 Handshake를 종료하여 더 빠르게 새로운 세션을 준비할 수 있도록 하는 옵션
    timeout http-request	2m # 요청타임아웃 시간 설정
    timeout	queue	2m 
    timeout connect	2m
    timeout client	2m
    timeout server	2m
    timeout http-keep-alive	2m
    timeout check	2m
#---------------------------------------------------------------------
# FrontEnd Configuration
#---------------------------------------------------------------------
frontend http # 들어오는 요청에 대한 설정
    bind *:8080 # 8080 번으로 들어오는 요청을 처리
    http-request set-header X-Forwarded-Proto http 
    use_backend backend_blue

#---------------------------------------------------------------------
# BackEnd Platform Configuration
#---------------------------------------------------------------------
backend backend_blue
    balance roundrobin # 부하분산 알고리즘

    # health check
    option httpchk
    http-check send meth GET uri /application/health
    http-check expect status 200
    
    # configure platform instances
    server s1 blue-server-1:8080 check inter 1s fastinter 500ms # 평상시엔 1초 단위로 체크 하고 서버의 상태가 변동이 있을 때 .5초 마다 체크 
    server s2 blue-server-2:8080 check inter 1s fastinter 500ms
#---------------------------------------------------------------------
# HAProxy Monitoring Config
#---------------------------------------------------------------------
listen stats
    bind *:9000
    mode  http
    option dontlog-normal
    stats enable
    stats uri /haproxy

• 8080 포트로 들어오는 요청을 backend_blue로 보낸다
• backend_blue에서는 라운드 로빈 방식으로 위에서 세팅한 2개의 backend 서버로 분배한다
• /application/health로 서버의 상태를 health check 한다.
• 9000 포트로 haproxy로 연결된 서버들의 상태를 확인할 수 있다.

 

2. HAProxy 컨테이너 실행

docker run -d --name haproxy -p 8080:8080 -p 9000:9000 -v $(pwd)/haproxy.cfg:/usr/local/etc/haproxy/haproxy.cfg --net haproxy-net haproxy:alpine

 

---

🚧 테스트

1. 컨테이너 로그 확인

docker logs 명령어로 컨테이너 로그를 확인할 수 있다.

docker logs -f haproxy

haproxy 서버가 정상적으로 작동함을 확인할 수 있다

 

2. HAProxy 상태 브라우저 확인

로컬에서 HAProxy를 실행할 경우 브라우저에서 서버의 상태를 확인할 수 있다.

http://localhost:9000/haproxy

---

🚧 로드 밸런싱 테스트

컨테이너 로그를 확인하여 클라이언트 요청이 백엔드 서버로 분배되어 처리되는지 확인한다.

 

1. 백엔드 서버 로그 확인

docker logs -f blue-server-1

docker logs -f blue-server-2

2. 100번의 요청을 보내는 스크립트 작성

다음 쉘 스크립트를 실행하면 100번의 요청을 haproxy 서버로 보낼 수 있다

#!/bin/bash
#load_balancing.sh
url="http://localhost:8080/hello"

count=0

# Loop 100 times
for i in {1..100}
do
  # Send an HTTP GET request and capture the response status code
  status=$(curl -s -o /dev/null -w "%{http_code}" $url)
done

 

3. 결과 확인

다음과 같이 모든 요청이 라운드 로빈 방식으로 이중화된 서버로 균일하게 로드밸런싱 되는 것을 확인할 수 있다.

• 좌측 터미널은 스크립트를 실행(sh load_balancing.sh)
• 우측은 백엔드 서버의 로그를 확인(blue-server-1, blue-server-2)

---

🚧 failover 기능 테스트

1. 백엔드 서버 도커 컨테이너 정지

docker stop blue-server-1

s1 서버가 죽은 것을 확인할 수 있다.

2. 100번 요청을 보내는 스크립트 작성(fail_over_test.sh)

• GET /hello로 100번의 요청을 보내는 스크립트를 작성한다.
• 상태코드가 200번임을 확인하고 count를 올린다.
• 모든 요청이 성공적이면 count 값을 100으로 출력한다.

#!/bin/bash
#fail_over_test.sh

url="http://localhost:8080/hello"

count=0

# Loop 100 times
for i in {1..100}
do
  # Send an HTTP GET request and capture the response status code
  status=$(curl -s -o /dev/null -w "%{http_code}" $url)

  # If the status code is 200, increment the counter
  if [ "$status" -eq "200" ]; then
    ((count++))
  fi
done

# Output the count of successful requests
echo "Number of successful requests: $count"

3. 테스트 결과 확인

100번의 요청 모두 성공

이를 통해 하나의 서버에 문제가 발생했을 경우 HAProxy가 다른 서버로 모든 요청을 라우팅 해주는 것을 확인할 수 있다.

 

---

🪢 마치며

HAProxy로 이중화된 서버에 로드밸런싱 환경을 만들고 테스트해보았다. 기존에 사용하던 Nginx와 비교해 봤을 때 설정 파일의 옵션들이 조금 더 이해하기 쉬웠고 간단하게 컨테이너 환경에서 리버스 프록시 서버를 구축할 수 있었다. 로드밸런싱 이외에도 failover과 같은 고가용성 서버 구성을 위한 강력한 기능을 가지고 있다. HAProxy가 장점만 있는 것은 아니다. Nginx는 그 자체로 웹 서버로서 동작할 수 있고 정적 콘텐츠를 빠르게 클라이언트에게 제공하고 더 많은 connection을 감당할 수 있다.

 

다음 포스팅에서는 HAProxy와 Gitlab-CI 파이프라인을 활용해 Blue-Green 무중단 배포 환경을 구축해보고자 한다.

To Be Continue...