컨텐츠로 이동
Orange GRE

Orange GRE 웹

개요

Orange GRE는 대규모 데이터셋을 처리하기 위해 설계된 분석 플랫폼입니다. 통상의 CPU 연산과 함게 다수의 GPU 연산 능력을 활용하여 고성능 분석 퍼포먼스를 달성합니다. Orange GRE는 데이터 분석을 위한 통합 플랫폼을 제공하기 위해 오픈소스 SQL 엔진, 서버사이드 렌더링, 그리고 웹기반 데이터 가시화 기능을 통합합니다.

아키텍처

소개

Orange GRE 웹은 GRE DB와 연동하는 브라우저 기반의 데이터 가시화 클라이언트입니다. 클라이언트는 GRE상의 데이터를 즉시 표현하여 기본적인 차트에서 다양하고 복합적인 가시화가 가능케 해줍니다.

Orange GRE 웹은 Orange GRE 서버 구성요소와 함께 웹 서비스로 설치됩니다.

소개

웹기반 데이터 가시화 사용자 인터페이스로서 GRE DB와 서버렌더링을 사용하여 가시화 및 상호작용을 제공합니다. Orange GRE 웹은 라인 차트, 바 차트에서 지도 포인트맵, 히트맵, 점도표와 같은 복잡한 데이터 가시화까지 일관성있는 표준화된 가시화 방법을 제공하므로써 사용방법이 직관적이고 쉽습니다. Orange GRE 웹은 쉽게 데이터가 의미하는 바를 인식할 수 있게 함으로써 빠르게 인사이트를 얻도록 해줍니다.

대시보드

Orange GRE 웹은 차트를 생성하고 관리하기 위해 대시보드를 사용합니다. 데이터와 상호작용할 때 대시보드는 자동적으로 크로스필터(cross-filter)을 수행하여 차트를 갱신하며 지연이 발생하지 않습니다. 대시보드에서 일반적인 차트와 데이터 테이블부터 서버렌더링을 활용하는 점도표와 지도 차트까지 생성할 수 있습니다. SQL editor를 이용하면 사용자 SQL 쿼리를 직접 수행할 수도 있습니다.

차트

Orange GRE 웹은 다양한 종류의 차트 타입을 만들 수 있습니다. 포인트맵, 히트맵, 그래프, 테이블 등을 표시할 수 있습니다. 지도를 확대하거나 축소하면 지리적인 컨텍스트로 필터링된 데이터가 즉각 가시화에 반영되어 갱신됩니다. 다수의 원본으로부터 데이터가 중첩된 레이어들을 동일한 맵에 표시할 수 있기 때문에 데이터들 간의 공간적인 관계성을 찾기 쉬워집니다.

지리공간적인 인자들의 관계성을 가시화하기 위해 여러 레이어로 구성된 지도 차트를 생성합니다. 각 레이어는 동일한 맵에 중첩된 별개의 메트릭을 나타냅니다. 서로 다른 메트릭은 동일하거나 다른 기본 데이터셋에서 발생할 수 있습니다. 레이어를 재정렬, 표시 또는 숨기기, 불투명도 조정, 범례 추가 또는 제거 등 다양한 방법으로 맵을 조작할 수 있습니다.

다양한 원본 사용

Orange GRE 웹은 지속적으로 스트리밍되는 고속 데이터에 적합하도록 설계되었습니다. (예: 센서, 클릭 실시간통계, 텔레매틱스, 네트워크 데이터) 최신 데이터를 확인하여 이상 및 추세 분산을 빠르게 발견할 수 있습니다. 사용사례에 맞게 데이터 새로고침 간격을 유연하게 조정하여 적용합니다.

FAQ

  • 텍스트 차트 사용법
  • 포인트맵 사용법
  • 테이블 차트에서 데이터 추출하기
  • 지도 히트맵 사용법
  • 시계열 차트 사용법
  • 색상과 색상 팔레트 추가하기
  • 액션 파라메터
  • 테이블 차트 사용법
  • 넘버 차트 사용법
  • 뉴콤보차트 사용법

설치

소프트웨어 요구사항

  • Linux / Unix / Windows / MacOS
  • Java 8 Runtime Environment

패키지 설치

  • orangegre-assembly-bin.zip 설치파일
# 압축풀기
tar -xvf orangegre-assembly-bin.tar
# OR
7z x orangegre-assembly-bin.zip


# ls -l orangegre-assembly
total 20
drwxr-xr-x 5 root root 4096 Mar 21 06:38 ./
drwxr-xr-x 1 root root 4096 Mar 21 06:38 ../
drwxr-xr-x 2 root root 4096 Mar 21 06:38 bin/
drwxr-xr-x 2 root root 4096 Mar 21 06:38 config/
drwxr-xr-x 2 root root 4096 Mar 21 06:38 lib/
  • 환경 설정

/config/application-prod.properties

namedefault
log filelogback.orangegre.file/home/orangegre/logs/orangegre.log
rolling filelogback.orangegre.rolling-file/home/orangegre/logs/orangegre.%d{yyyy-MM-dd}.%i.log
GRE servergre.protocolhttp
gre.hostIP
gre.portJDBC PORT
gre.connector.portHTTP PORT
gre.databasesheavyai
gre.adminIdadmin
gre.adminPwadmin
storage server SSH configfile.upload.hostIP
file.upload.portPORT
file.upload.usernameUSERNAME
file.upload.passwordPASSWORD
file.upload.path/data2/omnisci/data/mapd_import/
dashboard thumbnails pathupload.local.path/data2/gre/
jupyter notebook servicegre.jupyter.enablefalse
kafka configgre.kafka.enablefalse
alluxio configgre.alluxio.enablefalse
  • GWS WEB 서버는 GWS DB에서 서비스하는 gre.port와 gre.connector.port 두 가지 포트를 사용함.
  • gre.databases는 초기값 heavyai이며 다수 사용시 콤마 구분자로 나열할 수 있음.
  • gre.adminId와 gre.adminPw는 현재 변경할 수 없음.
  • storage server SSH 설정은 사용자 데이터 업로드시, 데이터가 적재될 원격 스토리지를 설정함.
  • upload.local.path 는 대시보드 썸네일 이미지 파일을 저장하기 위한 로컬 경로임. (SSH 원격이 아닌 로컬 경로임)

테스트

root@f9d68b81147d:/usr/local/orange/orangegre-assembly/bin# ./start.sh
root@f9d68b81147d:/usr/local/orange/orangegre-assembly/bin#
.   ____          _            __ _ _
/\\ / ___'_ __ _ _(_)_ __  __ _ \ \ \ \
( ( )\___ | '_ | '_| | '_ \/ _` | \ \ \ \
\\/  ___)| |_)| | | | | || (_| |  ) ) ) )
'  |____| .__|_| |_|_| |_\__, | / / / /
=========|_|==============|___/=/_/_/_/
:: Spring Boot ::        (v2.2.4.RELEASE)


[2024-03-21 11:22:20.473] [INFO] [367] [kr.co.stlogic.orangegre.OrangegreApplication] [main] : The following profiles are active: dev
[2024-03-21 11:22:20.874] [INFO] [367] [org.springframework.data.repository.config.RepositoryConfigurationDelegate] [main] : Multiple Spring Data modules found, entering strict repository configuration mode!
[2024-03-21 11:22:20.876] [INFO] [367] [org.springframework.data.repository.config.RepositoryConfigurationDelegate] [main] : Bootstrapping Spring Data Redis repositories in DEFAULT mode.
[2024-03-21 11:22:20.892] [INFO] [367] [org.springframework.data.repository.config.RepositoryConfigurationDelegate] [main] : Finished Spring Data repository scanning in 8ms. Found 0 Redis repository interfaces.
[2024-03-21 11:22:20.947] [WARN] [367] [org.springframework.boot.actuate.endpoint.EndpointId] [main] : Endpoint ID 'hystrix.stream' contains invalid characters, please migrate to a valid format.
[2024-03-21 11:22:21.047] [INFO] [367] [org.springframework.cloud.context.scope.GenericScope] [main] : BeanFactory id=ff5455df-3bd7-358e-ab86-32afa3f8d070
[2024-03-21 11:22:21.529] [INFO] [367] [org.springframework.boot.web.embedded.tomcat.TomcatWebServer] [main] : Tomcat initialized with port(s): 8081 (http)
[2024-03-21 11:22:21.535] [INFO] [367] [org.apache.coyote.http11.Http11NioProtocol] [main] : Initializing ProtocolHandler ["http-nio-8081"]
[2024-03-21 11:22:21.535] [INFO] [367] [org.apache.catalina.core.StandardService] [main] : Starting service [Tomcat]
[2024-03-21 11:22:21.535] [INFO] [367] [org.apache.catalina.core.StandardEngine] [main] : Starting Servlet engine: [Apache Tomcat/9.0.30]
[2024-03-21 11:22:21.536] [INFO] [367] [org.apache.catalina.core.AprLifecycleListener] [main] : Loaded APR based Apache Tomcat Native library [1.2.23] using APR version [1.5.2].
[2024-03-21 11:22:21.536] [INFO] [367] [org.apache.catalina.core.AprLifecycleListener] [main] : APR capabilities: IPv6 [true], sendfile [true], accept filters [false], random [true].
[2024-03-21 11:22:21.536] [INFO] [367] [org.apache.catalina.core.AprLifecycleListener] [main] : APR/OpenSSL configuration: useAprConnector [false], useOpenSSL [true]
[2024-03-21 11:22:21.538] [INFO] [367] [org.apache.catalina.core.AprLifecycleListener] [main] : OpenSSL successfully initialized [OpenSSL 1.1.0k  28 May 2019][2024-03-21 11:22:21.570] [INFO] [367] [org.apache.catalina.core.ContainerBase.[Tomcat].[localhost].[/]] [main] : Initializing Spring embedded WebApplicationContext
[2024-03-21 11:22:21.570] [INFO] [367] [org.springframework.web.context.ContextLoader] [main] : Root WebApplicationContext: initialization completed in 1086 ms
[2024-03-21 11:22:21.627] [WARN] [367] [com.netflix.config.sources.URLConfigurationSource] [main] : No URLs will be polled as dynamic configuration sources.
[2024-03-21 11:22:21.627] [INFO] [367] [com.netflix.config.sources.URLConfigurationSource] [main] : To enable URLs as dynamic configuration sources, define System property archaius.configurationSource.additionalUrls or make config.properties available on classpath.
[2024-03-21 11:22:21.635] [INFO] [367] [com.netflix.config.DynamicPropertyFactory] [main] : DynamicPropertyFactory is initialized with configuration sources:
com.netflix.config.ConcurrentCompositeConfiguration@24105dc5
[2024-03-21 11:22:22.875] [INFO] [367] [org.springframework.security.web.DefaultSecurityFilterChain] [main] : Creating filter chain: any request, [org.springframework.security.web.context.request.async.WebAsyncManagerIntegrationFilter@4f9a2c08, org.springframework.security.web.context.SecurityContextPersistenceFilter@4b79ac84, org.springframework.security.web.header.HeaderWriterFilter@336f1079, org.springframework.security.web.authentication.logout.LogoutFilter@7e4204e2, org.springframework.security.web.authentication.UsernamePasswordAuthenticationFilter@68b32e3e, org.springframework.security.web.savedrequest.RequestCacheAwareFilter@6dab9b6d, org.springframework.security.web.servletapi.SecurityContextHolderAwareRequestFilter@5460cf3a, org.springframework.security.web.authentication.AnonymousAuthenticationFilter@a87f8ec, org.springframework.security.web.session.SessionManagementFilter@34158c08, org.springframework.security.web.access.ExceptionTranslationFilter@55493582, org.springframework.security.web.access.intercept.FilterSecurityInterceptor@7f132176]
[2024-03-21 11:22:22.946] [WARN] [367] [org.springframework.cloud.netflix.archaius.ArchaiusAutoConfiguration] [main] : No spring.application.name found, defaulting to 'application'
[2024-03-21 11:22:22.947] [WARN] [367] [com.netflix.config.sources.URLConfigurationSource] [main] : No URLs will be polled as dynamic configuration sources.
[2024-03-21 11:22:22.947] [INFO] [367] [com.netflix.config.sources.URLConfigurationSource] [main] : To enable URLs as dynamic configuration sources, define System property archaius.configurationSource.additionalUrls or make config.properties available on classpath.
[2024-03-21 11:22:23.061] [INFO] [367] [org.springframework.scheduling.concurrent.ThreadPoolTaskExecutor] [main] : Initializing ExecutorService 'applicationTaskExecutor'
[2024-03-21 11:22:23.839] [INFO] [367] [org.springframework.cloud.netflix.zuul.ZuulFilterInitializer] [main] : Starting filter initializer
[2024-03-21 11:22:23.844] [INFO] [367] [org.springframework.boot.actuate.endpoint.web.EndpointLinksResolver] [main] : Exposing 2 endpoint(s) beneath base path '/actuator'
[2024-03-21 11:22:23.865] [INFO] [367] [org.apache.coyote.http11.Http11NioProtocol] [main] : Starting ProtocolHandler ["http-nio-8081"]
[2024-03-21 11:22:23.876] [INFO] [367] [org.springframework.boot.web.embedded.tomcat.TomcatWebServer] [main] : Tomcat started on port(s): 8081 (http) with context path ''
[2024-03-21 11:22:23.878] [INFO] [367] [kr.co.stlogic.orangegre.OrangegreApplication] [main] : Started OrangegreApplication in 3.947 seconds (JVM running for
4.221)

메인메뉴

메인메뉴

  • 대시보드

    대시보드를 추가하려면 좌측 메뉴에서 대시보드를 선택하고 + 새로운 대시보드 만들기 버튼을 선택합니다.

  • 데이터 소스

    Orange GRE DB테이블 및 원격 저장소, 혹은 실시간 스트리밍 데이터에 연결합니다.

    사용자 데이터를 업로드하여 연결합니다.

  • SQL Editor

    Orange GRE DB테이블에 SQL 쿼리를 편집하고 실행합니다.

  • 사용자 관리

    GRE 사용자를 등록하고 관리합니다.

  • Jupyter

    주피터 노트북을 통해 Orange GRE DB테이블을 Python 라이브러리에 직접 로드합니다.

관리메뉴

메인메뉴

프로필

사용자의 정보를 확인합니다.

모니터링

모니터링 페이지는 GRE information_schema 데이터베이스에 포함된 관리자 대시보드 컬렉션입니다. 이 대시보드들은 현재 GRE 플랫폼 리소스와 시스템 사용 현황을 보여줍니다.

모니터링

information_schema 데이터베이스와 관리자 대시보드, 시스템 테이블은 GRE 설치시 생성됩니다. 모니터링에서는 다음과 같은 정보를 제공합니다:

  • 데이터베이스 모니터링과 웹 서버 로그
  • 시스템의 실시간 데이터 보고
  • 현재 리소스 통계와 유저 활성 대시보드

시스템 대시보드에 접근하기 위해서는 GRE 관리자 권한이 필요합니다. information_schema 데이터베이스에 접근권한이 있는 유저만 시스템 대시보드에 접근할 수 있습니다.

  • 데이터베이스 로그 및 모니터링 대시보드

모니터링 대시보드는 다음 차트를 포함합니다

데이터베이스 모니터링 데이터베이스 로그

  • 시스템 리소스 대시보드

시스템 리소스 대시보드는 다음 차트를 포함합니다.

데이터베이스 카탈로그 메모리 점유율 스토리지 점유율

  • 유저 대시보드

유저 대시보드는 다음과 같은 차트를 포함합니다.

유저 리스트

  • 로그아웃

    시스템에서 로그아웃합니다.

대시보드

대시보드 생성, 검색, 수정 조작에 관한 전반적인 내용을 다룹니다.

대시보드 리스트

5837 포트를 통해 Orange GRE 웹에 접속할 수 있습니다.

로그인

Web에 접속하면 서버에 저장된 대시보드 리스트를 보여줍니다.

대시보드 리스트 대시보드 리스트

대시보드 검색박스

  • 검색박스를 입력하여 제목, 생성자, 설명으로 대시보드를 검색할 수 있습니다.

대시보드 정렬컨트롤

  • 정렬컨트롤을 사용하여 즐겨찾기, 제목, 생성자, 수정일 순으로 대시보드 항목을 정렬할 수 있습니다. 각 컨트롤를 한번 더 클릭하면 역순으로 정렬합니다.

대시보드 기간필터

  • 기간필터를 사용하여 손쉽게 원하는 기간에 최종 수정된 대시보드 항목을 필터링 할 수 있습니다. 기간을 설정하여 필터를 적용하면, 기간 필터링 태그가 추가됩니다. 필터링을 취소하려면 기간 필터링 태그를 눌러 제거합니다.

대시보드 생성

대시보드를 생성하는 과정은 세 단계입니다:

대시보드 생성

  • 대시보드 리스트에서 + 새로운 대시보드 만들기을 선택합니다.

대시보드 차트

  • 하나 이상의 차트 추가

대시보드 저장

  • 대시보드의 제목을 입력하고 저장을 선택합니다.

한번 저장된 대시보드는 다른 유저들에게 공유할 수 있습니다.

차트 추가

  • 차트를 추가하기 위해서는 아이템 추가를 선택하고, 차트 종류를 선택합니다.

차트 원본 데이터

  • 원본 데이터를 설정합니다
    • Orange GRE에 연동된 DB테이블 중에 선택합니다.

차트 범주와 지표

  • 범주(dimensions)와 지표(measures)를 설정합니다.
    • 예시에선 범주로 데이터 기준일(DATE_TIME) 필드를 선택하고, 일간으로 구간을 그룹화합니다.
    • 예시에선 지표로 건 수(Records)를 선택합니다.

대시보드 차트

  • 설정 사항은 자동으로 반영되며, 해당 차트의 필수정보가 만족되면 차트가 생성됩니다. 필수정보는 입력항목명 뒤에 붉은 애스테리크(*) 기호로 표시됩니다.

차트 삭제

대시보드 차트

  • 대시보드 화면에서 삭제하려는 차트 아이템의 우상단의 휴지통 버튼을 선택합니다. 휴지통 버튼
  • 대시보드를 저장합니다. 저장되지 않은 변경사항은 반영되지 않습니다.

대시보드 삭제

  • 대시보드 목록 화면으로 이동

대시보드 목록 아이템

  • 삭제하려는 대시보드 아이템의 중간의 휴지통 버튼을 선택합니다. 휴지통 버튼

차트 이동 및 크기 변경

차트 이동

대시보드 차트

  • 대시보드 상에서 차트의 위치를 이동하려면 차트의 제목바를 드래그 앤 드롭해서 새로운 위치로 이동시킵니다. 만약 해당 위치에 다른 차트가 이미 있다면, 그 차트는 옆으로 밀려납니다.

차트 크기변경

  • 차트의 크기를 변경하려면 마우스 오버시 차트 아이템의 하단에 표시되는 크기변경 버튼을 드래그하여 크기를 늘이거나 줄입니다.

차트 크로스필터

사용자가 차트나 그래프의 축을 클릭하면 즉각 데이터를 필터링하고 새로운 데이터 컨텍스트를 반영하여 대시보드 내에서 같은 데이터를 공유하는 모든 차트들의 화면을 갱신합니다. 진정한 몰입감과 한계 없는 시각적 분석 경험을 제공합니다.

대시보드에 하나 이상의 차트를 추가하면, 차트 하나에 적용된 필터가 대시보드의 모든 차트에 자동으로 적용하는 크로스필터(Cross-filtering) 기능이 동작합니다.

예를 들어, 다음 대시보드는 서울시 개별 공시지가 지표를 다양한 범주 설정을 통해 여러 차트로 표현합니다.

차트 크로스필터

만약, 구별 평균가, 최고가 테이블에서 행정구 서초구를 선택하면, 대시보드 안의 모든 차트는 행정구 서초구 필터링이 적용됩니다. 모든 차트는 서초구 범주로 데이터 범위가 재설정되며 각종 지표를 재계산하며, 지도 역시 서초구 권역 공간데이터만 표출합니다.

차트 크로스필터 서초구

더 자세한 예제는 크로스필터 활용 참고

다중 데이터 대시보드

대시보드에서 개별 차트마다 다른 데이터 테이블을 지정할 수 있습니다. 그러면 직접적으로 연관되지 않은 데이터들간에 시각적인 상관관계를 탐색가능합니다.

예를 들어, 아래 차트는 서울시 공시지가와 유동인구 데이터의 비교입니다:

대시보드 새로고침

데이터셋이 갱신된다면, 대시보드 새로고침 버튼을 눌러서 차트들을 새로고침 할 수 있습니다. 대시보드 새로고침

만약 사용하는 데이터셋의 데이터가 지속적으로 스트리밍된다면, 자동 새로고침 주기를 지정하여 대시보드가 자동으로 새로고침하도록 설정합니다.

자동 새로고침을 끄려면 새로고침 주기를 OFF로 설정합니다.

대시보드 복제 및 공유

필터링 사용

Orange GRE 웹은 다양한 범주들을 통해 데이터의 범위 줄이기 위해 가시화 차트를 클릭하는 방법으로 직접 상호작용하여 필터를 설정하게 해줍니다.

브러싱

라인 차트와 히스토그램 차트에서 차트 내 그래프를 좌측이나 우측으로 브러싱는 방법으로 데이터 범위를 선택합니다. 브러싱이 적용되면 차트는 선택된 범위로 필터링된 결과를 보여줍니다.

맵과 점도표 차트 필터링

맵과 점도표 차트는 구역을 확대하거나 축소하는 방법으로 데이터를 필터링합니다. 키를 누른채로 마우스를 드래그하면 사각 영역을 선택하여 확대할 수 있습니다. 또한 마우스휠이나 트랙패드를 사용해 확대하거나 축소할 수 있습니다.

크로스필터 사용

크로스필터 사용

대시보드 수준에서 차트 하나에 필터를 적용하면, 그 필터는 대시보드상에서 동일한 데이터 테이블을 사용하는 모든 다른 차트에도 반영됩니다. 예를 들어 맵에서 행정구역 서울을 선택하면, 모든 다른 차트는 행정구역 필드가 서울인 데이터만으로 범위가 재설정됩니다.

크로스필터를 제거하고 싶다면, 각 차트의 상단에 필터 제거버튼을 선택합니다 크로스필터 사용

데이터소스

테이블 목록

데이터소스

  • 테이블: 탐색할 데이터 테이블을 선택합니다.
  • 데이터 프리뷰: 선택한 테이블의 정보를 보여줍니다.

Kafka Brokers

카프카 커넥트를 사용하면 Apache Kafka®를 Orange GRE 웹와 통합할 수 있습니다. Orange GRE는 널리 사용되는 커넥터 설정들을 확장하여 전체 데이터 아키텍처를 보다 신속하게 현대화할 수 있도록 지원합니다.

Broker 목록화면

  • Uptime

    • Total Brokers: 총 브로커 개수입니다.
    • Active Controllers: 활동 컨트롤러
    • Version: 2.0-IV1

  • Partitions

    • Online: 현재 온라인 개수는 1로 설정되어 있습니다.
    • URP: 복제가 덜 된 파티션 수 (Un Replication Partitions)
    • In Sync REplicas: 싱크 리플리카 3개로 현재 모두 싱크가 되어 있음을 알 수 있습니다.
    • Out of Sync Replicas: 싱크가 맞지 않는 리플리카 개수. 현재는 0개입니다.

  • 상세정보

    • Broker: 각각 브로커를 구분해서 볼 수 있습니다.
    • Segment Size(Mb): 세그먼트 크기. 초기이므로 0바이트. 세그먼트는 파티션 내부에 분리된 영역을 나타냅니다.
    • Segment Count: 세그먼트 개수
    • Port: 현재 브로커의 포트 번호
    • Host: 현재 브로커의 호스트 이름

Kafka Topics

Topics 목록화면

  • 현재 생성된 모든 토픽을 나타냅니다.
  • __consumer_offsets은 메트릭 정보를 공유하기 위한 내장 토픽입니다.
  • 상세정보
    • Topic Name: 현재 존재하는 토픽 이름
    • Total Partitions: 토픽의 총 파티션 개수
    • Out of sync replicas: 복제 싱크가 맞지 않는 복제 개수
    • Replication Factor: 복제 팩터 (복제 개수는 브로커 개수보다 작게 설정하는 것이 일반적입니다.)
    • Number of messages: 메시지 수
    • Size: 메시지 총 크기
  • 토픽 목록화면에서 이름을 클릭하면 토픽의 상세 정보를 확인할 수 있습니다.

Kafka Consumers

Consumers 목록화면

  • 클러스터에 연동된 컨슈머 정보를 나타냅니다.
  • 상세정보
    • Consumer Group ID: 컨슈머 그룹 아이디
    • Number Of Members: 컨슈머 그룹의 멤버 수
    • Number Of Topics: 컨슈머 그룹의 토픽 수
    • Message Behind:
    • Coordinator
    • State: 컨슈머 상태
  • 컨슈머 목록화면에서 이름을 클릭하면 컨슈머의 상세 정보를 확인할 수 있습니다.

Connectors 목록화면

  • 클러스터에 연동된 커넥터 정보를 나타냅니다.
  • 상세정보
    • Connector Name: 커넥터 명
    • State: 커넥터 상태
    • Worker: 작업노드
    • Type: 커넥터 타입
  • 커넥터 목록화면에서 이름을 클릭하면 커넥터의 상세 정보를 확인할 수 있습니다.

Kafka Topic Detail

Topic 상세정보

  • Topic Overview
    • Partitions: 토픽의 파티션 개수
    • Replication Factor: 복제 계수
    • URP(Un Replication Partition): 복제가 되지 않은 파티션 개수
    • In Sync Replicas: 복제 싱크 개수
    • Type: External
    • Segment Size: 세그먼트 크기
    • Segment Count: 세그먼트 개수
    • Clean Up Policy: 메시지 보관 기간 이후 제거 정책. 현재 정책 DELETE: 삭제 처리
    • Message Count: 메시지 개수
    • 파티션 상세정보
      • Partition ID: 파티션 아이디
      • Broker Leader: 브로커 리더 번호
      • First Offset: 첫 번째 오프셋
      • Next Offset: 다음 오프셋
      • message Count: 메시지 카운트
  • Messages
    • 토픽 내부의 메시지 정보
    • Offset: 메시지 오프셋
    • Partition: 파티션 번호
    • Timestamp: 메시지 타임스템프
    • Key: 키가 존재하는 경우 키가 노출됩니다.
    • Content: 메시지 내용
  • Consumers
    • 토픽에 연결된 컨슈머를 노출한다.
    • Consumer Group ID: 컨슈머 그룹 아이디
    • Num Of Member: 컨슈머 그룹내 컨슈머 개수
    • Message Behind:
    • Coordinator:
    • State: (STABLE)로 안정적임을 표시합니다.
  • Settings
    • 토픽의 상태 정보를 확인할 수 있습니다.

Kafka Topic Detail

Consumer 상세정보

  • 컨슈머 상세정보
    • State: (STABLE)로 안정적임을 표시합니다.
    • Members: 컨슈머 그룹내 컨슈머 개수
    • Assigned Topics: 컨슈머 그룹에 할당된 토픽 개수
    • Assigned Partitions: 컨슈머 그룹에 할당된 파티션 개수
    • Coordinator ID: 0
    • Topics: 컨슈머 그룹내에 할당된 토픽 목록

Kafka Topic Detail

Connector 상세정보

  • 커넥터 상세정보
    • Connector.Class: 커넥터 클래스명
    • Table.Name.Format: 적재대상 테이블명
    • Topics: 토픽명
    • Key.Converter.Schemas.Enable: (true)
    • Delete.Enabled: 커넥터 삭제가능 여부 (false)
    • Auto.Evolve: (false)
    • Value.Converter.Schemas.Enable: (true)
    • Name: 커넥터명
    • Auto.Create: 자동생성 (false)
    • Connection.Url: 적재대상 JDBC URL
    • Value.Converter: 밸류 컨버터 클래스명
    • Pk.Mode: 프라이머리 키 사용 모드 (none)
    • Key.Converter: 키 컨버터 클래스명

테마

블루모드

블루모드

다크모드

다크모드

라이트모드

라이트모드