The Nirsa Way

실시간 메시지 병렬 처리 실험 - 2 (Partition과 Consumer 인스턴스의 상관 관계)Partition과 Consumer 인스턴스의 차이를 확인하기 위한 부하 테스트 입니다. 셋팅은 실시간 메시지 병렬 처리 실험 - 1 (셋팅, JMeter, plugins-manager) 을 참고해주세요.코드는 적절한 파티션 수를 구하는 방법에서 작성한 그대로 사용하며 OrderConsumer만 처리 지연을 발생시키기 위해 아래와 같이 변경합니다.@Componentpublic class OrderConsumer { @KafkaListener(topics = "order-topic", groupId = "order-group", concurrency="1") public void listen(Orde..

실시간 메시지 병렬 처리 실험 - 1 (셋팅, JMeter, plugins-manager)병렬 처리 실험을 위한 셋팅입니다. 스프링 부트에 간단한 주문 시스템을 만들어 두었으니 해당 컨트롤러로 요청하여 부하 테스트를 진행하기 위해 셋팅하는 포스팅입니다.우선 https://jmeter.apache.org/download_jmeter.cgi으로 접속하여 다운로드 받아주세요. 저는 윈도우 환경이므로 zip 파일을 다운로드 받았습니다. 이후 jmeter-plugins 설치를 위해 https://jmeter-plugins.org/install/Install/으로 접속하여 다운로드 받아주시고 JMeter의 lib/ext 폴더 안에 설치한 jmeter-plugins-manager-1.11.jar를 넣어주세요. 설치..

적절한 파티션 수를 구하는 방법컨플루언트 Docs를 보면 max(t/p, t/c) partitions와 같은 공식을 기준으로 파티션 수를 계산하라는 언급이 있습니다. 현재 저는 Key 기반으로 카프카를 실습중이며 컨플루언트의 기술 블로그 중 내용을 보면 Key 기반으로 메시지를 전송하는 경우 주의해야 한다는 내용이 작성되어 있습니다. 해시 함수를 이용해 Key를 라우팅하게 되는데 파티션 수가 증가하면 다른 파티션으로 라우팅 될 가능성이 생겨 순서 보장이 깨질 수 있다는 내용입니다.그렇기 때문에 보통 오버 파티셔닝을 하여 파티션 수를 계산할 때 현재가 아니라 향후 1~2년간의 예상 처리량을 기준으로 파티션을 결정한다고 합니다. 이제 파티션 수를 결정해 볼텐데, 아래와 같은 예상 시나리오를 기반으로 진행합..

Spring Boot와 연동하여 간단한 주문 시스템 만들기 - (요청/응답 받기)이제 스프링부트와 연동하여 아주 간단한(요청/응답 받기 수준) 주문 시스템을 만들 예정입니다. html, css, js 파일은 올려두었으니 혹시 필요하신분이 계시다면 다운로드 받아 스프링 부트 환경에 셋팅해주시면 됩니다. 참고로 현재 셋팅은 타임리프 기준입니다. 현재 저는 스프링 부트 3.5.3 버전을 사용중이며 아래와 build.gradle에 개발 시 필요한 web, devtool, lombok, thymeleaf 의존성을 주입 받고 카프카를 사용할 예정이기에 spring-kafka도 추가하여 주세요.dependencies { implementation 'org.springframework.boot:spring-boo..

리눅스에 카프카 설치하기현재 저는 VMware에 리눅스 서버(Rocky 9.6)를 준비해두었으며 테스트를 위한 서버이므로 selinux, firewalld를 모두 disabled 해두었습니다. 우선 kafka의 바이너리를 다운로드 받기 위해 vim, wget, tar을 설치해두겠습니다.dnf -y install vim wget tar※ 만약 자바가 설치되어 있지 않은 경우 설치 진행저의 경우 dnf -y install java-17-openjdk java-17-openjdk-devel -y 을 입력하여 jdk 17을 설치해두었습니다. 이후 https://downloads.apache.org/kafka/ 으로 이동하여 원하는 버전의 폴더를 클릭합니다. (저는 3.9.0으로 진행하겠습니다) 소스 다운로드와 ..

카프카의 핵심 요소카프카의 핵심 요소는 크게 Topic, Partition, Offset, Consumer Group, KRaft, Replication, Durability으로 구성되어 있습니다. 1. Topic메시지를 분류하는 논리적 단위입니다. 생산자는 Topic에 메시지를 발행(Publish) 하고, 소비자는 Topic을 구독(Subscribe)하여 메시지를 가져갑니다. 2. Parttion, Offset각각의 Topic은 여러 개의 Partition으로 분할되어 병렬 처리가 가능합니다. Partition은 메시지를 물리적으로 저장하는 단위로써 메시지는 파티션 내에서 Offset을 기준으로 정렬됩니다.또한 Offset은 파티션 내 메시지의 고유한 순번으로써 Consumer는 각 partition에..

Apache Kafka란?실시간의 스트리밍 데이터를 수집하고 처리하는 분산형 스트리밍 플랫폼 입니다. 이미 많은 기업에서 도입하여 사용되고 있으며 대용량 트래픽을 처리하기 위한 해결 방안으로써 많이 주목을 받고 있습니다.이번 포스팅에서는 Kafka를 공부하기 전 밑바탕이 되는 개념인 메시지 브로커와 Pub/Sub & 스트리밍에 대한 내용을 다룹니다.메시지 브로커(Message Broker)메시지 브로커는 송신자(Producer)와 수신자(Consumer)간에 메시지를 중계하며 비동기적으로 데이터를 주고받게 하는 시스템입니다. 시스템간 직접 통신을 대신하여 중간에서 메시지를 효율적으로 전달해주는 역할을 수행합니다.메시지 브로커의 구성요소는 아래와 같으며 Topic은 Pub/Sub 패턴으로써 여러 수신자(C..

영속성 컨텍스트(Persistence Context)란?JPA에서 엔티티 객체를 보관하는 저장소로써 EntityManager를 통해 엔티티를 관리하는 1차 캐시라고 볼 수 있습니다. 영속성 컨텍스트를 사용함으로써 아래와 같은 특징을 가지게 됩니다.1차 캐시 (First-Level Cache) : 동일한 엔티티를 여러 번 조회하면 DB에 재접근 하지 않고 캐시에서 반환동일성 보장 (Write-behind SQL Store) : 동일한 식별자를 가진 엔티티에 대해 항상 같은 인스턴스 반환 (== 비교 연산자로도 동일한 인스턴스로 인식함)쓰기 지연 (SQL 저장소) : 엔티티의 필드 변경 시 SQL이 즉시 실행되지 않고 트랜잭션 커밋 시 한번이 실행변경 감지 (Dirty Checking) : 엔티티의 값이 변..

Eager Loading vs Lazy LoadingEager Loading(이하 즉시 로딩)과 Lazy Loading(이하 지연 로딩)은 연관된 엔티티를 언제 불러올 것인지에 대해 결정하게 됩니다. 각각 연관 관계에 따라 기본값을 가지는게 다릅니다. 즉시 로딩(Eager Loading)즉시 로딩은 EAGER를 사용 합니다. ManyToOne은 즉시 로딩을 기본값을 가지기 때문에 fetch를 설정하지 않아도 되지만, 예시 코드임으로 명시적으로 하기 위해 작성하였습니다.@Entitypublic class Member { @Id @GeneratedValue private Long id; private String name; @ManyToOne(fetch = FetchType.EAGER..

기타 관계 (@OneToOne, @ManyToMany)ManyToOne, OneToMany 보다 상대적으로 사용 빈도가 낮은 OneToOne, ManyToMany를 기타 관계라고 표현하기도 합니다. 네이밍 그대로 1:1, N:N 관계를 가지는 어노테이션이며 특히 ManyToMany의 경우 중간 매핑 테이블을 따로 분리하는 것이 좀 더 좋은 케이스인 경우가 많으므로 거의 사용되지 않습니다. 1. @OneToOne한 명의 학생(student)은 하나의 사물함(rocker)만 사용해야하는 경우와 같이 1:1로 매핑되어야 하는 상황에서 사용되는 어노테이션 입니다. 단방향을 기준으로 작성된 엔티티는 다음과 같습니다.@Entitypublic class Student { @Id @GeneratedValue ..