분류 전체보기40 [ELK Stack] 데이터 파이프라인 구축 (Linux) window에서 elkstack 데이터 파이퍼라인을 구축했던 적이 있다.그 경험을 살려 Linux에도 이를 적용해 보고자 한다.ELK stack에 대해 이전 문서에서 간단히 다룬 부분이 있으니 필요시 참조.https://odls.tistory.com/11?category=1113284 [ELK stack] 데이터 파이프라인 구축 (window)이전 포스팅에서 ELK stack을 사용하기 위한 기본 환경을 구축한 적이 있다. 이를 통해 데이터 파이프 라인을 구축해보고자 한다. Beats가볍고 시스템 자원을 적게 사용하며, 다양한 위치에서odls.tistory.com 0. 데이터 구성 파악데이터는 csv파일 형식의 데이터를 사용하고자 한다. 이러한 형식을 가진 data를 echo로 보내면, fileb.. 2024. 7. 19. [ELK stack] 데이터 파이프라인 구축 (window) 이전 포스팅에서 ELK stack을 사용하기 위한 기본 환경을 구축한 적이 있다. 이를 통해 데이터 파이프 라인을 구축해보고자 한다. Beats가볍고 시스템 자원을 적게 사용하며, 다양한 위치에서 로그 , 메트릭, 네트워크 트래픽 등의 데이터를 수집할 수 있다. 대표적으로 로그파일을 수집할 수 있는 filebeat가 있다.Logstash다양한 소스에서 데이터를 수집하며, 데이터의 정제, 변환, 필터링 들을 수행한다. 예를 들어 text인 로그 데이터를 구조화된 json으로 변환하고, 필요 없는 정보를 제거할 수 있다.Elasticsearch분산 검색 및 분석 엔진, json 형식의 데이터를 저장하며 데이터를 샤딩하고 복제하여 높은 가용성과 확장성이 특징이다. 또한 실시간 검색과 분석을 제공한다. 그.. 2024. 7. 19. [Elasticsearch] CRUD Elasticsearch는 http프로토콜로 접근이 가능한 REST API를 지원하는 RESTFul 시스템 자원별로 고유 URL로 접근 가능하다. PostMan, curl, Kibana 등등을 통해 쿼리 요청을 보낼 수 있다. CRUDrequest body의 "id" 와 "name" : 임의로 설정한 field 명 Index는 매핑(mapping)과 설정(settings) 을 통해 구조와 설정을 정의한다. index는 RDBMS의 테이블같은 개념이다. Document는 JSON 형식으로 표현되며, 인덱스에 저장되는 각각의 데이터 항목이다. RDBMS의 "행(row)" 또는 "레코드(record)"에 해당 {"id" : "tester" , "name" : "kim"} : json 형식의 doc 데.. 2024. 7. 18. [ubuntu] Mysql 설치 Ubuntu 22.04.4 LTS 버전 사용 중MySQL 8.0.37 설치 mysql 활용 단계 1. 설치 및 접속 2. database 생성3. 생성한 database진입후 table 생성 및 CRUD 1. 설치 가능 리스트 updateapt update는 운영체제에서 사용 가능한 패키지들과 그 버전에 대한 정보를 업데이트하는 명령어다.apt update는 /var/lib/apt/lists/ 디렉터리에 있는 패키지 목록 파일을 업데이트한다. 이 디렉터리는 루트 권한이 필요하므로 sudo 키워드를 사용한다.sudo apt update 2. 설치 가능 목록 중 최신 버전 설치패키지 설치 작업은 루트 권한이 필요하므로 sudo 키워드 필수sudo apt install mysql-server 3. 설치.. 2024. 7. 18. [DBeaver] Windows에서 Linux 서버의 MySQL 데이터베이스에 연결 https://dbeaver.io/ 접속 DBeaver 실행 파일 -> 새로 만들기 데이터베이스 연결 선택 연결할 데이터베이스 종류 선택현재는 Linux server의 MySQL 데이터베이스에 연결 하려는 것이므로 MySQL 선택 Linux서버의 IP를 확인하고 그에 해당하는 IP주소를 Host/IP 에 입력Port 는 내 리눅스 서버의 ssh 서비스 포트를 입력한다. (default 22) ssh 서비스 포트 확인 netstat - 네트워크 연결, 라우팅 테이블, 네트워크 인터페이스 통계, 멀티캐스트 멤버십 등을 표시하는데 사용한다. 일반 옵션-a: 모든 네트워크 연결 및 소켓을 표시-t: TCP 프로토콜 연결을 표시-u: UDP 프로토콜 연결을 표시-x: UNIX 도메인 소켓을 표시-p:.. 2024. 7. 17. [Linux] Timezone 변경하기 virtualbox에 ubuntu를 설치하여 사용하는 상태이다.시스템의 시간은 데이터베이스 datetime 컬럼과 웹프로그램 등에 직접 사용되며 로그 기록, 파일 타임스탬프, 예약 작업 등 다양한 작업에 영향을 미친다. 따라서 정확한 시간 설정이 필요하여 이를 확인해보고자 한다.Timezone이란?시스템 시간에 적용되는 지역 별 시간대 설정을 의미한다.기본 값으로 linux를 설치하는 경우 UTC Timezone으로 설정되어 있을 수 있다.이 경우 현재 지역에 해당하는 Timezone으로 변경이 필요하다. timedatectlsystemd를 사용하는 시스템에서 시간과 날짜 설정을 관리하는 도구현 시스템 시간 확인timedatectl시스템 시간 변경 전 해당 지역 지원 여부 확인 timedatectl li.. 2024. 7. 17. 이전 1 ··· 3 4 5 6 7 다음
