Hnev.log

[Spring Boot] Redis로 세션 클러스터링 적용하기

hnev — Tue, 24 Jan 2023 14:29:18 +0900

프로젝트에 세션 로그인 처리가 되어있는 가정하에 진행되었습니다.

[Spring Boot] 로그인 처리 with Spring Security

들어가기에 앞서..

다양한 방식의 세션 클러스터링 방법이 있지만 해당 프로젝트는 jar로 패키징되는 내장형 톰캣 실행으로 별도의 WAS 없이 실행하고, 또 스프링 부트에서는 간단한 방법으로 Redis를 통해 세션 정보를 등록하는 방법을 사용할 수 있습니다.

Redis 설치 방법

[윈도우] Redis 설치 및 기본 명령어

[도커] Redis 생성 및 redis-cli 접속하기

build.gradle

implementation 'org.springframework.boot:spring-boot-starter-data-redis'
implementation 'org.springframework.session:spring-session-data-redis'

application.yml

spring:
  redis:
    host: localhost
    port: 6379
    session:
      store-type: redis

@EnableRedisHttpSession

SpringBootApplication에 해당 어노테이션을 추가합니다.

@SpringBootApplication
@EnableRedisHttpSession
public class AdminApplication {
	public static void main(String[] args) {
		SpringApplication.run(AdminApplication.class, args);
	}
}

redis-cli
keys *

기존의 로그인을 통해 세션 정보가 Redis에 정상적으로 등록되는지 확인합니다.

127.0.0.1:6379> keys *
1) "spring:session:index:org.springframework.session.FindByIndexNameSessionRepository.PRINCIPAL_NAME_INDEX_NAME:tester"
2) "spring:session:sessions:expires:cebc32c2-bc3c-4b7b-8361-7724566a0f2a"
3) "spring:session:sessions:cebc32c2-bc3c-4b7b-8361-7724566a0f2a"
4) "spring:session:expirations:1674537120000"

❗ 마무리

이제는 해당 프로젝트의 jar를 포트별(java -Dserver.port=포트 -jar demo.jar) 로 각각 실행하고 다른 포트로 로그인을 시도해도 Redis에 등록된 세션 정보를 공통으로 바라봄으로써 세션이 유지되는걸 확인 할 수 있다. 여기서 그 앞 단에 Nginx의 로드밸런싱 설정을 통해 부하 분산 또한 간단하게 적용이 가능하다.

[Docker] ubuntu에 java8 설치하기

hnev — Sun, 22 Jan 2023 23:53:52 +0900

1. 설치 가능한 패키지 리스트를 최신화

sudo apt-get update

2. openjdk-8-jdk 설치

Do you want to continue? 가 나오면 Y를 입력

sudo apt-get install openjdk-8-jdk openjdk-8-jre

3. 자바 설치 및 버전 확인

java –version

4. JAVA_HOME 환경변수를 설정

vi 편집기로 .bashrc 파일을 열어 JAVA_HOME 환경변수 내용을 추가한다.

sudo vi ~/.bashrc

추가 할 내용

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/

저장한 내용을 적용

source ~/.bashrc

[Docker] 우분투 설치하기

hnev — Sun, 22 Jan 2023 19:15:27 +0900

1. ubuntu 이미지 내려받기

docker pull ubuntu

2. 이미지 목록 확인

docker images

3. ubuntu 컨테이너 생성

docker create -it --name ubuntu ubuntu

4. 컨테이너 목록 확인

docker ps -a

5. 컨테이너 시작

docker start ubuntu

6. 컨테이너 접속

docker attach ubuntu

7. ubuntu 업데이트 및 업그레이드

apt-get update
apt-get upgrade

# 포트 포워딩해서 ubuntu 컨테이너 생성 및 접속

docker run -it --name ubuntu -p 8080:8080 ubuntu

[Docker] 로컬 ↔ 도커 파일 복사

hnev — Fri, 20 Jan 2023 18:40:26 +0900

Docker → Local

docker cp 컨테이너명:/경로/파일명 /로컬경로

docker cp mysql:/var/lib/mysql/binlog.000001 C:\Users\hnev\Downloads

설명)

mysql 컨테이너의 /var/lib/mysql/ 경로에 있는 binlog.000001 파일을 로컬 경로의 C:\Users\hnev\Downloads 경로에 복사한다.

Local → Docker

docker cp /경로/파일명 컨테이너명:/도커 경로

docker cp user_a.xls mysql:/var/lib/mysql

설명)

현재 경로에 있는 user_a.xls 파일을 mysql 컨테이너의 /var/lib/mysql 경로에 복사한다.

[Docker] 이미지, 컨테이너 도커 허브에 업로드하기

hnev — Fri, 20 Jan 2023 17:14:04 +0900

→ image 가져오기

docker pull 이미지 이름:태그

docker pull redis:latest

도커허브에서 가져오기

docker pull 도커허브ID/이미지 이름:태그

docker pull user/redis:latest

→ Docker image 조회

docker images

→ Docker image 실행 - 컨테이너 생성

docker run --name 컨테이너 이름 -p 호스트 포트:컨테이너 포트 이미지 이름 또는 이미지ID

docker run --name redis -p 6379:6379 redis

*옵션 적용

docker run --name redis -p 6379:6379 --network redis-network -v C:/DockerDesktop/data/redis:/data -d redis redis-server --appendonly yes

＆ 옵션

명칭	설명
--name	컨테이너명
-p	포트연결
--network	네트워크 연결 할 이름 설정
-v	볼륨 연결 [volume name]:[container directory]
-d	백그라운드에서 실행
--appendonly yes	AOF방식으로 데이터를 저장한다. (참고: Redis Persistence Introduction) 데이터는 기본적으로 /data 하위에 저장되며 외부에서 해당 폴더를 공유함으로써 해당 컨테이너를 지우고 새로 만들어도 해당 volume을 참고하게 하면 동일한 데이터를 유지할 수 있다.

→ 실행 중인 Docker container 조회

docker ps

→ 전체 Docker container 조회

docker ps -a

→ Docker container 안으로 들어가기

docker exec -it 컨테이너 이름 또는 컨테이너ID shell

docker exec -it 5d2b13119018 /bin/bash

→ Docker container 를 images 로 만들기

docker commit 컨테이너 이름 또는 컨테이너ID 계정/이미지 이름:태그

docker commit redis user/redis-image:1.0.0

docker commit -m 코멘트 -a 작성자 컨테이너 이름 또는 컨테이너ID 이미지 이름:태그

docker commit -m "message blah blah" -a "user@gmail.com" 5d2b13119018 redis-image:1.0.0

Name, shorthand	Default	Description
--author , -a		작성자
--change, -c		생성 된 이미지에 Dockerfile 명령 적용
--message, -m		Commit message
--pause , -p	true	커밋 중 컨테이너 일시 중지

→ Docker images 에 tag 생성

docker tag 이미지 이름 또는 이미지ID 도커허브ID 또는 private registry ip:port/생성 할 이미지이름:태그

docker tag 5d2b13119018 hnev/redis-image:1.0.0

→ Docker 허브에 로그인

docker login

→ Docker hub 에 이미지 올리기

docker push 도커허브ID/이미지 이름:태그

docker push hnve/redis-image:1.0.0

[Docker] 레디스(Redis) 생성 및 redis-cli 접속 하기

hnev — Thu, 19 Jan 2023 22:23:59 +0900

1. Redis Image 내려받기

이미지를 이미 내려받아 놓은 경우에는 생략한다.

docker image pull redis

2. Redis network 생성

redis-network란 이름으로 Docker network를 생성한다.

docker network create redis-network

network의 종류

bridge: 네트워크는 하나의 호스트 컴퓨터 내에서 여러 컨테이너들이 서로 소통할 수 있도록 해준다.
host: 네트워크는 컨터이너를 호스트 컴퓨터와 동일한 네트워크에서 컨테이너를 돌리기 위해서 사용된다.
overlay: 네트워크는 여러 호스트에 분산되어 돌아가는 컨테이너들 간에 네트워킹을 위해서 사용된다.

2-1. network 생성 확인

docker network ls

3. Redis 서버 실행

docker run --name redis -p 6379:6379 --network redis-network -v C:/DockerDesktop/data/redis:/data -d redis redis-server --appendonly yes

명칭	설명
--name	컨테이너명
-p	포트연결
--network	네트워크 연결 할 이름 설정 (2번에서 생성한 network 이름이 들어간다.)
-v	볼륨 연결 [volume name]:[container directory]
-d	백그라운드에서 실행
--appendonly yes	AOF방식으로 데이터를 저장한다. (참고: Redis Persistence Introduction) 데이터는 기본적으로 /data 하위에 저장되며 외부에서 해당 폴더를 공유함으로써 해당 컨테이너를 지우고 새로 만들어도 해당 volume을 참고하게 하면 동일한 데이터를 유지할 수 있다.

4. Redis-cli 접속

현재 실행 중인 Redis에 Redis-cli로 접속한다.

-h 뒤에 컨테이너 명
--rm: 컨테이너 id가 존재하면 삭제 후 시작

 docker run -it --network redis-network --rm redis redis-cli -h redis

[MySQL] Ubuntu(우분투), MySQL 8.0↑ Replication 설정

hnev — Tue, 17 Jan 2023 20:44:29 +0900

구성 환경 Master / Slave

Ubuntu 22.04 LTS, MySQL 8.0.31 Community

1. Master 설정

1-1. Replication용 계정 생성 및 replication 권한 부여

[mysql]

특정 아이피를 설정할 경우 % 대신 ip를 입력한다.

create user 유저명@'%' identified by '비밀번호';
grant replication slave on *.* to 유저명@'%';

1-2. Mysql Replication 설정 - mysqld.cnf

[터미널]

vi 명령어로 mysqld.cnf 수정한다.

vi /etc/mysql/mysql.conf.d/mysqld.cnf

[mysqld] 바로 아래 부분에 2줄을 추가한다.

server-id: 서버 아이디로 고유 값 설정

log-bin: 바이너리 로그 파일이 생성될 path/이름 설정, path를 지정하지 않을 경우 /var/lib/mysql에 생성된다.

[mysqld]
server-id = 1
log-bin = mysql-bin

1-3. MySQL 재시작

[터미널]

sudo systemctl restart mysql

1-4. Master 상태 확인

[mysql]

show master status;

*Slave 설정에서 사용될 File명과 Position 번호

+------------------+----------+--------------+------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB |
+------------------+----------+--------------+------------------+
| mysql-bin.000001 |     157  |              |                  | 
+------------------+----------+--------------+------------------+
1 row in set (0.00 sec)

2. Slave 설정

2-1. Master에서 복제 할 데이터베이스 Dump하여 Slave에 복원한다.

[MySQL] 데이터베이스, 테이블 Dump 하기

[Linux] SCP 명령어로 서버 간 파일 복사, 가져오기

2-2. Mysql Replication 설정 - mysqld.cnf

[터미널]

vi /etc/mysql/mysql.conf.d/mysqld.cnf

[mysqld] 아래 부분에 2줄을 추가한다.

server-id: 서버 아이디로 고유 값 설정

log-bin: 바이너리 로그 파일이 생성 될 path/이름 설정, path를 지정하지 않을 경우 default path(/var/lib/mysql)에 해당 이름으로 로그 파일이 생성된다.

[mysqld]
server-id = 2
log-bin = mysql-bin
read-only = 1

2-3. MySQL 재시작

[터미널]

sudo systemctl restart mysql

2-4. Slave - Master 연결

[mysql]

reset slave;

Master 서버로 연결하기 위한 설정을 한다.

change master to
master_host='Master DB IP',
master_user='1-1에서 생성한 replication용 계정',
master_password='계정 비밀번호',
master_log_file='1-4의 File명', 
master_log_pos=1-4의 Position 번호;

2-5. Replication 명령어

시작

[mysql]

start replica;

중지

[mysql]

stop replica;

2-6. Slave 상태 확인

[mysql]

show slave status\G;

❗ 상태에서 필수로 확인

1. Master 관련 설정들
2. Slave_IO_Running: Connection or YES
3. Slave_SQL_Running: YES

[mysql] 프로세스 상태 확인

show processlist\G;

no query specified

Slave 서버에 Error 가 발생하면 발생하였던 시점으로부터 Master 서버로부터 갱신된 쿼리를 실행하지 않는다. 이런 경우 Error를 넘겨야 다음 쿼리를 실행하기 때문에 Slave 서버에 다음과 같이 넣고 restart 해준다.

vi /etc/mysql/mysql.conf.d/mysqld.cnf

→ slave-skip-errors=all 추가

[mysqld]
...
slave-skip-errors=all

Replication 테스트

문제 없이 Replication 설정이 완료되었다면, 실제 잘 동작하는지 확인해본다.
master DB에서 데이터를 생성하고, slave DB에 복제되어 데이터가 조회되는지 확인한다.

[Linux] SCP 명령어로 서버 간 파일 복사, 가져오기

hnev — Tue, 17 Jan 2023 20:42:54 +0900

1) 서버 A에서 서버 B로 파일 복사

scp 경로/파일명 서버B유저명@서버B ip주소:서버B 경로

scp ./test.txt userB@192.0.0.1:/home/userB/Desktop

→ ./는 현재 위치

2) 서버A에서 서버 B 파일 가져오기

scp 서버B유저명@서버B ip주소:/경로/파일명 서버A경로

scp userB@192.0.0.1:/home/userB/Desktop/test.txt /home/userA/Desktop

[MySQL] 데이터베이스, 테이블 Dump 하기

hnev — Tue, 17 Jan 2023 20:16:16 +0900

데이터베이스에 있는 테이블 전체 Dump

mysqldump -u 계정명 -p 데이터베이스명 > 경로/파일명.sql

특정 테이블 Dump

mysqldump -u 계정명 -p 데이터베이스명 테이블명 > 경로/파일명.sql

Dump로 만든 파일 적용

mysql -u 계정명 -p 데이터베이스 < 파일명.sql

[MySQL] Replication(리플리케이션)이란

hnev — Tue, 17 Jan 2023 15:58:34 +0900

데이터베이스 리플리케이션(Database replication)이란

보통 Master/Slave 관계를 갖는 원본과 복사본 사이를 다룬다. 마스터는 변경 사항을 기록하고 그 결과는 슬레이브에게 전달된다. 라고 위키백과 레플리케이션에서 설명하고 있다.

보편적으로는 데이터베이스의 부하 분산과 데이터 백업을 위해 복제본을 만드는것이라고 한다. 웹 서버의 부하 분산을 위해 여러대의 서버를 두고 로드밸런서를 통해 로드밸런싱 하는 것과 비슷하다.

이제 Master/Slave의 주로 사용되는 역할에 대해 알아본다.

Master 서버:

데이터 등록/수정/삭제 요청을 담당하며, 변경된 데이터를 바이너리로그(Binarylog)를 생성하여 Slave 서버로 전달한다.

Slave 서버:

조회 요청을 담당하며, Master 서버로 부터 전달받은 바이너리로그(Binarylog)를 데이터로 반영, 또는 데이터 백업용으로 사용한다.

Slave 서버를 원하는 용도에 따라 데이터 백업용으로 사용할 지, 조회 요청을 담당하여 Master 서버의 부하를 분산할지 정한다. Master 서버에 장애가 생겼을 경우 대체 서버로 Slave를 사용할 수 있다.

❗️ Master/Slave 구성 시 주의 사항

1. Master 서버, Slave 서버의 MySQL 버전을 동일하게 맞추는게 좋지만, 부득이할 경우에는 Slave 서버의 버전을 더 높은 버전으로 사용한다.

2. 서버를 재기동해야 한다면 Master -> Slave 순서로 한다.

Reference

Real MySQL 8.0
https://ko.wikipedia.org/wiki