전체 글 (124) 썸네일형 리스트형 백엔드 개발자를 위한 핵심: 디스크 접근 시간 완벽 이해 (HDD 랜덤 vs. 순차 액세스) 백엔드 개발을 하거나 데이터 엔지니어링 분야에 발을 들이면서, 데이터베이스나 파일 시스템 성능에 대해 고민해 본 적 있으신가요? 특히 하드 디스크 드라이브(HDD)의 성능을 이야기할 때 '디스크 접근 시간'이라는 개념은 매우 중요합니다. 왜 어떤 데이터는 빠르게 읽히고, 어떤 데이터는 느리게 읽히는지 궁금했다면, 이 글이 답이 될 것입니다. 디스크 접근 시간을 구성하는 핵심 요소들과, 랜덤 액세스와 순차 액세스의 차이를 명확히 알려드리겠습니다!목차디스크 접근 시간, 왜 중요할까요?HDD 성능을 좌우하는 두 가지 핵심 시간탐색 시간(Seek Time): 헤드의 움직임회전 지연 시간(Rotational Latency): 플래터의 회전랜덤 액세스(Random Access): 느린 이유 파헤치기순차 액세스(Se.. OLAP의 비밀: 컬럼 기반 저장으로 빅데이터 분석을 빠르게! OLAP(Online Analytical Processing) 시스템은 빅데이터 분석의 핵심 기술 중 하나입니다. 여러분이 데이터 분석가나 데이터 엔지니어링 분야를 꿈꾸고 있다면, OLAP의 효율적인 데이터 저장 방식에 대해 아는 것은 필수적이에요. 특히 OLAP가 데이터를 컬럼 기반으로 저장한다는 사실은 놀라운 분석 성능의 비밀이기도 합니다. 이 글에서는 OLAP의 컬럼 기반 저장 방식이 무엇인지, 왜 이렇게 저장하는지, 그리고 어떤 장점과 단점이 있는지 쉽고 자세하게 알아보겠습니다!목차OLAP란 무엇이며, 왜 특별할까요?OLAP의 핵심: 컬럼 기반 저장 방식 이해하기컬럼 기반 저장 방식은 무엇인가요?왜 컬럼 기반 저장이 분석에 유리할까요? (vs. 행 기반)컬럼 기반 저장 방식의 세 가지 큰 장점!분.. IP 주소의 모든 것: 사설 IP (private), 공인 IP (public), CIDR 완벽 이해 가이드 IP 주소는 인터넷 세상에서 컴퓨터나 스마트폰 같은 장치들이 서로를 찾아 소통하게 해주는 주소라고 생각하면 쉬워요. 우리가 택배를 보낼 때 주소가 필요한 것처럼, 인터넷에서도 데이터가 정확히 목적지에 도달하려면 주소가 필요한 거죠. 이 IP 주소는 크게 '사설(Private) IP'와 '공인(Public) IP'로 나뉩니다. 이 두 가지 IP가 어떻게 다르고, 왜 필요한지, 그리고 개발자들이 알아두면 좋은 CIDR 같은 개념까지 쉽고 재미있게 알아보겠습니다!목차IP 주소, 왜 필요할까요? (사설 IP vs. 공인 IP)우리 집 네트워크의 주소, 사설(Private) IP 완벽 파헤치기사설 IP는 언제, 어디서 사용될까요?전 세계 어디서든 똑같은 사설 IP를 쓸 수 있다고요? (RFC 1918)인터넷 세상.. 스파크 RDD(메타코드, 데이터 엔지니어링) 스파크 RDD (Resilient Distributed Dataset)란?Apache Spark는 대규모 데이터 처리를 위한 강력한 분산 컴퓨팅 플랫폼입니다. 그 핵심 구성 요소 중 하나인 **RDD (Resilient Distributed Dataset)**는 스파크의 기본 데이터 처리 단위로, 분산 환경에서 데이터를 효율적으로 처리할 수 있도록 설계되었습니다. 이번 포스팅에서는 스파크 RDD의 개념, 특징, 장점 및 주요 API에 대해 살펴보겠습니다.1. RDD란 무엇인가?RDD (Resilient Distributed Dataset)는 불변(Immutable)하고 분산(Distributed)된 데이터셋으로, Spark에서 데이터를 표현하는 기본 단위입니다. RDD는 Spark의 가장 기초적인 데이터.. Apache Spark: 주요 개념 정리 (메타코드, 데이터엔지니어링) Apache Spark는 빅데이터 분석과 처리를 위해 설계된 오픈소스 분산 컴퓨팅 프레임워크입니다. 속도, 확장성, 다양한 언어 지원으로 인해 데이터 엔지니어링과 데이터 과학 분야에서 널리 사용되고 있습니다. 본 글에서는 Spark의 주요 개념과 구성 요소를 간략히 정리합니다.1. RDD (Resilient Distributed Dataset)RDD는 Spark의 핵심 데이터 구조로, 분산된 데이터셋을 다룰 수 있도록 설계되었습니다. RDD는 다음과 같은 특징을 가집니다:불변성: 생성된 RDD는 변경할 수 없으며, 변환 작업(transformations)을 통해 새로운 RDD를 생성합니다.분산성: 데이터는 여러 노드에 분산 저장됩니다.내결함성: 노드 장애가 발생해도 복구가 가능하도록 설계되었습니다.RDD.. 실용주의 프로그래머 2장 1. ETC, DRY원칙 => easy to change, don't repeat yourself 가. ETC -> 단일책임, 가독성을 높이기 위해 변수명을 잘 지어라. - 변수명 tip 1) 명사를 사용하며 동사는 사용하지 않는다. 2) 단수, 복수 구분에 유의한다. 3) 전치사 사용을 지양한다. 4) 간결하고 읽기 편해야한다. 5) 언리얼, 마소의 오픈소스 코드 등을 읽으며 공부해라 참고: https://youtu.be/ZtkIwGZZAq8 나. DRY -> 같은것을 주석과 같이 두 군데 이상 표현하지 마라, 지식의 중복과 의도의 중복을 지양하라 Q1. 실무에서는 함수마다 주석달고있지 않은가? Q2. 변수명을 잘 짖기 위해 어떤 고민을 하고있는가? Q3. 스타트업에서, 제한된 자원으로 위의 원칙을 .. 항해 세미나, 실용주의 프로그래머 발표자 : 제한재 멘토님 주제 : 주니어 개발자 10년동안 공부하는 이유와 방법 기술도 반감기가 있다. (기술의 효용이 절반으로 떨어지는데 걸리는 시간) c++도, 자바도, 자바스크립트도, cs지식도 10년이면 내용이 바뀐다. => 리액트도, nodejs 10년 후에도 건재하긴 어려울 것. 꾸준히 공부해야 한다. 꾸준히 공부할 수 있는 팁! 1. 공부할 수 있는 루틴을 만들어라 특히 장소! => 사무실 괜찮다 2. 재미있어야 한다 3. 너무 부담스럽지 않게 => 직장인이 스터디를 오래 할 수 있는 방법이다. 4. 절대 빠지지 않는다 회사에서 업무로 성장하기 vs 개인 스터디 - 회사업무로 성장하는데는 한계가 있다.(기술이 익숙해지고, 유지보수 단계로 접어들 때) - 다시 성장이 가능한 회사로 가기 위해 .. vue 설치 에러 mac에서 vue 설치시 폴더 권한 문제로 에러 발생 터미널에 아래와 같이 입력하여 폴더 수정 권한 부여 sudo chown -R 맥북유저명: 에러발생한경로 참고: https://codingapple.com/unit/vue-3-installation-with-vue-cli/?id=139 이전 1 ··· 7 8 9 10 11 12 13 ··· 16 다음
