행복한 프로그래머

리눅스 디렉토리 사용률 정렬하는 방법

쁘로그램어 — Tue, 5 Dec 2023 14:39:42 +0900

리눅스에서 디렉토리의 사용 현황을 확인하고 정렬하는 방법을 알아보겠습니다. 여러 명령어를 사용하여 간편하게 디스크 사용량을 확인할 수 있습니다.

1. du 명령어와 sort 명령어

du -h --max-depth=1 /path/to/your/directory | sort -rh

-h: 결과를 인간이 읽기 쉬운 형식(예: KB, MB, GB)으로 표시합니다.
--max-depth=1: 최상위 디렉토리만 포함하여 결과를 표시합니다.
/path/to/your/directory: 원하는 디렉토리 경로를 지정합니다.
sort -rh: 결과를 역순으로(-r) 정렬하고, 숫자 크기로(-h) 정렬합니다.

2. ncdu 명령어

# ncdu 설치
sudo apt-get install ncdu  # Ubuntu/Debian 기반 시스템
sudo yum install ncdu      # CentOS/RHEL 기반 시스템

# ncdu 실행
ncdu /path/to/your/directory

ncdu는 ncurses를 사용하여 시각적으로 디스크 사용 현황을 표시합니다. 키보드로 쉽게 탐색하고 크기별로 정렬할 수 있습니다.

aws-shell: AWS CLI의 대화식 생산성 향상 도구

쁘로그램어 — Sun, 2 Aug 2020 02:20:22 +0900

aws-shell은 AWS CLI의 대화식 생산성 향상 도구입니다.

# 지원되는 파이썬 버전

aws-shell은 AWS CLI에서 지원하는 것과 동일한 Python 버전에서 작동합니다.

- 2.6.5 이상

- 2.7.x 이상

- 3.3.x 이상

- 3.4.x 이상

# aws-shell 설치

$ pip install aws-shell

# 기본 사용법

aws 접두사를 제공할 필요가 없다는 점을 제외하고 aws-shell은 AWS CLI와 동일한 명령을 허용합니다 .

$ aws-shell

aws> ec2 describe-regions

{

"Regions": [

{

"Endpoint": "ec2.eu-west-1.amazonaws.com",

"RegionName": "eu-west-1"

...

aws> s3 ls

2015-12-07 15:03:34 bucket1

2015-12-07 15:03:34 bucket2

aws> dynamodb list-tables --output text

TABLENAMES First

TABLENAMES Second

TABLENAMES Third

# 참고사이트

https://github.com/awslabs/aws-shell

jupyter, jupyterlab 설치

쁘로그램어 — Sat, 1 Aug 2020 15:49:38 +0900

# python3, pip3 설치

$ sudo yum update

$ sudo yum install -y python3 pip3

# jupyter, jupyter lab 설치

$ pip3 install --user jupyter

$ pip3 install --user jupyterlab

$ jupyter notebook --generate-config

# jupyter 설정

$ vi /home/ec2-user/.jupyter/jupyter_notebook_config.py

c.NotebookApp.ip = '*' # 어디서든 접속 가능

c.NotebookApp.port = 8888 # 접속에 사용할 포트

c.NotebookApp.token = '' # token 없이 접속

#c.NotebookApp.notebook_dir = '' # 경로 설정

# jupyter lab 시작

$ jupyter lab &

# 접속

http://X.X.X.X:8888/lab

# 여러줄 복사시 hang 걸리는 현상 해결 버전 (2000줄 이상 복사시)

jupyter==1.0.0

jupyter-client==6.0.0

jupyter-console==6.1.0

jupyter-core==4.6.3

jupyterlab==2.0.0

jupyterlab-server==1.0.7

리눅스 한국시간 설정하는 방법

쁘로그램어 — Tue, 28 Jul 2020 23:22:00 +0900

리눅스에서 한국시간으로 설정하는 방법입니다.

리눅스에서 타임존(Timezone) 정보를 변경하시면 됩니다.

# TIMEZONE 파일 확인

$ ls /usr/share/zoneinfo/Asia

# Localtime 심볼릭 링크 설정

$ sudo ln -sf /usr/share/zoneinfo/Asia/Seoul /etc/localtime

# 적용 확인

$ date

Fri Oct 28 11:10:43 KST 2016

리눅스 타임존 utc 변경

리눅스 시간 변경

리눅스 시간 동기화

리눅스 시간 변경 안됨

리눅스 시스템 시간

리눅스 시간 빨라짐

리눅스 시간 맞추기

리눅스 시간 동기화 해제

리눅스 시간 UTC

Linux timezone UTC

슬랙 이모지(Emoji) 사용하기

쁘로그램어 — Tue, 28 Jul 2020 21:38:00 +0900

인기있는 슬랙 커스텀 이모지를 사용하는 방법입니다.

아래 사이트를 접속하면 여러가지 인있는 슬랙 이모지(Emoji)를 다운로드 할수 있습니다.

https://slackmojis.com/emojis/popular

https://revelry.co/custom-slack-emoji/

슬랙 이모지를 추가하는 방법은 아래 사이트를 참고해주세요.

https://kim.tistory.com/17

슬랙 이모지 다운로드

슬랙 이모지 삭제

슬랙 이모지 gif

슬랙 이모지 사이즈

슬랙 한글 이모지

슬랙 커스텀 이모지

slack 이모지 추가

슬랙 이모지 사이트

슬랙 이모지 제거

Slack emoji 추가

슬랙 한글 이모지

Slack emoji list

Slack Emoji Generator

슬랙 이모지 삭제

슬랙 이모지 다운로드

Slack emoji size

윈도우10 동영화 녹화하는 방법

쁘로그램어 — Tue, 28 Jul 2020 19:34:34 +0900

윈도우에 기본으로 설치된 게임바(Game Bar)를 사용하면

영상 캡쳐 및 동영상 녹화가 가능합니다.

"단축키 윈도우 로고 + G"를 통해서 게임바(Game Bar)를 실행할수 있습니다.

윈도우10 녹화 안됨

윈도우 녹화 단축키

윈도우10 녹화 시간

윈도우10 녹화 소리

윈도우10 녹화 설정

윈도우 녹화 경로

윈도우10 바탕화면 녹화

게임녹화

녹화 프로그램

윈도우10 전체 화면 녹화

cat 명령어로 파일에 여러줄 입력하기

쁘로그램어 — Mon, 29 Jun 2020 22:51:49 +0900

cat 명령어를 이용해서 print.sh 라는 파일에 여러줄을 입력하는 방법이다.

$ cat <<EOF > print.sh

#!/bin/bash

echo \$PWD

echo $PWD

EOF

# 참고사이트

https://en.wikipedia.org/wiki/Here_document#Unix_shells

https://stackoverflow.com/questions/2500436/how-does-cat-eof-work-in-bash

https://www.cyberciti.biz/faq/using-heredoc-rediection-in-bash-shell-script-to-write-to-file/

AWS Real-time Analytics 웨비나 정리

쁘로그램어 — Thu, 18 Jun 2020 17:03:40 +0900

# AWS Real-time Analytics 웨비나(2020.06.18)

발표자료: https://www.slideshare.net/ksmin23/realtime-analytics-on-aws-235822016

# 주요 내용

1. 배치 처리 아키텍처에서 실시간 처리 아키텍처로 변화 방법

2. Kinesis Data Streams, MSK(Kafka) 등 Streming storage 소개 및 운영 tip 소개

3. Streaming storage에 데이터를 넣는 방법 소개

4. Kinesis Data Firehose 소개

5. Spark, Flink의 아키텍처 구조 설명

6. Spark, Flink의 Streaming Programing 모델 설명

7. Streaming 데이터의 Transform, Aggregate, Join 방법 설명

8. 실시간 데이터 처리 사용 사례 소개

AWS Online Analytics Immersion Day Webinar 정리

쁘로그램어 — Thu, 18 Jun 2020 17:03:00 +0900

# AWS Online Analytics Immersion Day Webinar (2020.03.18 ~ 2020.03.19)

- AWS Analytics Services (ex. Kinesis, Athena, Redshift, EMR, etc)의 기본 개념을 알고 있지만, 이러한 서비스 활용 방법 및 데이터 분석 시스템 구축 과정이 궁금하신 분

- 데이터 분석 시스템을 구축한 경험은 있지만, 자신이 만든 시스템을 아키텍처 관점에서 어떻게 평가하고 확인할 수 있는지 궁금하신 분

# AWS를 통한 빅데이터 기반 비즈니스 인텔리전스(BI) 구축 방법 (선행 학습)

- 발표 영상 https://youtu.be/27LwZIaJtVQ

- 발표 자료 https://www.slideshare.net/awskorea/1-bigdata-bi-configuration

# AWS Online Analytics Immersion Day

• 발표 영상

https://tinyurl.com/y7ek3jdk

https://tinyurl.com/y8mxf9xa

• 발표 자료

https://tinyurl.com/ybxkb74b

• github

https://github.com/ksmin23/aws-analytics-immersion-day

# AWS Online Analytics Immersion Day1

1. 고객 사례 소개: 데이터 분석 시스템을 구축하려고 하는 가상의 고객 사례 소개 및 아키텍처 리뷰

2. Batch Layer - 수집/저장: Kinesis Data Firehose와 S3를 이용해서 데이터를 수집 및 저장 방법 소개

3. Demo: Kinesis Data Firehose와 S3를 이용한 데이터 수집

4. Batch Layer - 분석/시각화: Athena와 QuickSight를 이용한 데이터 분석 및시각화 방법 소개

5. Demo: Athena를 이용한 대화식 분석 및 QuickSight를 활용한 시각화

# AWS Online Analytics Immersion Day2

1. 3가지 실시간 데이터 분석 아키텍처 소개

- Spark/Flink on EMR

- Kinesis Data Analytics

- Elasticsearch Service

2. Batch와 Speed Layer를 통합한 데이터 분석 시스템 아키텍처 소개

- Lambda vs Kapa Architecture

3. Elasticsearch Service와 Kibana를 이용한 실시간 데이터 분석 및 시각화

4. 데이터 분석 시스템의 확장 사례 소개

- Network analysis (with Amazon Neptune)

- Recommendation (with Amazon Personalize)

- Machine Learning (with Amazon SageMaker)

[AWS] Elastic Cache Eviction 정책

쁘로그램어 — Fri, 1 Nov 2019 10:42:06 +0900

Elastic Cache(클러스터 활성화) 모드에서 데이터를 저장하는 일부 데이터가 누락하는 현상이 발생했다.

데이터가 누락하는 원인을 분석해보면,

Elastic Cache의 노드 타입이 cache.m4.xlarge이면 메모리는 14.28G이다.

메모리를 다 쓰게되면 eviction 정책에 따라 자동으로 데이터가 삭제되기 때문이다.

(캐시 메모리 사용 제한에 도달 할 때 캐시 엔진은 새로운 쓰기위한 공간을 확보하기 위해 항목을 제거 할 수있다.)

# 예약된 메모리

예약된 메모리는 비데이터 사용을 위해 구분된 메모리입니다.

백업 또는 장애 조치를 수행할 때 클러스터의 데이터가 .rdb 파일에 작성되는 동안 Redis에서는 사용 가능한 메모리를 사용하여 클러스터에 쓰기 작업을 기록합니다.

# 예약된 메모리를 관리하기 위한 파라미터

기본 파라미터 그룹을 사용하여 Redis 클러스터 또는 복제 그룹을 생성할 때 메모리 관리 파라미터는 reserved-memory-percent입니다.

이 경우 노드 maxmemory 값의 25%가 비데이터 용도로 예약됩니다.

따라서 cache.m4.xlarge이면 메모리는 14.28G이지만,

25%(약 3.6G)가 비데이터 용도로 예약되므로 실제로는 약 10.7G만 사용가능하다.

redis-cli에서 아래 명령으로 maxmemory 확인이 가능하다.

$ redis-cli -h {REDIS_ENDPOINT} -c info | grep maxmemory

maxmemory:11496376320

maxmemory_human:10.71G

maxmemory_policy:volatile-lru ---> 최대 메모리 사용량에 도달했을 때 키에 대한 제거 정책

# Eviction Policy

noeviction : 메모리 제한에 도달하고 클라이언트가 사용할 메모리를 더 많이 만들 수있는 명령 (대부분의 쓰기 명령이지만 DEL 및 몇 가지 예외) 을 실행하려고하면 오류를 반환합니다 .

allkeys-lru : 추가 된 새 데이터를위한 공간을 확보하기 위해 LRU (최근에 덜 사용 된) 키를 먼저 제거하여 키를 제거합니다.

volatile-lru : 추가 된 새 데이터를위한 공간을 확보하기 위해 LRU (최근에 덜 사용 된) 키를 먼저 제거하지만 만료가 설정된 키 중 하나만 제거하여 키를 제거합니다 .

allkeys-random : 추가 된 새 데이터를위한 공간을 만들기 위해 무작위로 키를 제거합니다.

volatile-random : 추가 된 새 데이터를위한 공간을 만들기 위해 무작위로 키를 제거하지만 만료가 설정된 키만 제거합니다 .

volatile-ttl : 만료가 설정된 키를 제거하고 새로운 데이터를 추가 할 공간을 확보하기 위해 TTL (짧은 사용 시간)이있는 키를 먼저 제거합니다.

# Eviction 통계 모니터링

$ redis-cli -h {REDIS_ENDPOINT} -c info

maxmemory_policy:volatile-lru

used_memory_peak_human:10.73G

maxmemory_human:10.71G

evicted_keys:9801898 --> 제거된 키의 개수

Cloud Watch의 경우 Evictions(Count)로 조회 가능하다.

# 참고사이트

https://docs.aws.amazon.com/ko_kr/AmazonElastiCache/latest/mem-ug/CacheMetrics.Memcached.html

https://redis.io/topics/lru-cache

https://docs.aws.amazon.com/ko_kr/AmazonElastiCache/latest/red-ug/redis-memory-management.html