본문 바로가기

전체 글

 (155)
데이터 변환(Transformation) & 결측값 대치법(Imputation) [1] 데이터 변환의 4가지 기법 차이데이터 정제 과정 중, 데이터를 분석 가능한 형태로 가공하는 전처리 단계의 주요 기법들이다.[2] 결측값 대치법 간의 차이 비교결측치를 임의로 대체할 경우 데이터의 편향(Bias)이 발생하여 결과의 신뢰성이 저하될 수 있으므로, 데이터의 특성에 기반한 적절한 대치법 선택이 필수적이다.1 | 단순 대치법 (Simple Imputation) 내 세부 기법 비교결측치를 완전 무작위 결측(MCAR) 또는 무작위 결측(MAR)으로 간주하고 처리하는 방식이다.2 | 다중 대치법 (Multiple Imputation)의 차별점단순 대치법이 지닌 통계적 효율성 및 일치성 하락 문제를 근본적으로 보완하기 위해 만들어진 방법이다.단일 값으로 대치하는 단순 대치와 달리, 복수 개(n개)..
인코딩 기법 비교 인코딩 기법 3가지 요약 기법별 심화 분석 및 실전 통찰1 | 레이블 인코딩 (Label Encoding)의 크기 오인 문제변환 예시: 옷 사이즈 데이터를 S →0, M →1, L →2로 변환. 레이블 인코딩은 할당된 정수에 대소 관계가 생기게 된다. 따라서 옷 사이즈(S, M, L)나 성적(A, B, C)처럼 애초에 순서형(Ordinal) 데이터일 경우에는 사용해도 무방하다. 그러나 '사과(0), 바나나(1), 딸기(2)'처럼 순서나 크기에 아무런 의미가 없는 명목형(Nominal) 데이터에 이를 적용하면, 알고리즘이 "딸기가 사과보다 3배 더 크거나 중요하다"라고 잘못 학습하게 되는 심각한 오류를 초래한다. 이때 도입하는 것이 바로 원-핫 인코딩이다.2 | 원-핫 인코딩 (One-Hot Encodin..
불균형 데이터(Imbalanced Data) 처리 기법 불균형 데이터의 치명적 문제점데이터의 비율이 99:1(정상:불량)로 극단적인 경우(Highly-imbalanced Data), 분석 모델이 학습 없이 무조건 모든 데이터를 '정상'이라고만 예측해도 정확도(Accuracy)는 99%로 매우 높게 측정된다.겉보기에는 모형의 성능이 뛰어나 보이지만, 정작 우리가 찾아내야 할 핵심인 소수 클래스(불량, 희귀병)를 맞출 확률인 재현율(Recall-rate)은 '0'으로 급격히 떨어지는 현상이 발생한다. 따라서 불균형 데이터 환경에서는 모형의 성능을 단순히 '정확도'로 판별해서는 안 되며, 정밀도(Precision)와 재현율(Recall)을 함께 고려해야 한다. 불균형 데이터의 처리 방법이러한 불균형을 해소하여 소수 클래스에 대한 모델의 탐지 능력을 끌어올리기 위해..
변수 변환(Variable Transformation) 기법 변수 변환의 개념과 목적 기존의 변수 공간에서는 관찰하기 어렵거나 분석하기 까다로운 데이터를, 수학적 함수를 적용하여 영역을 달리함으로써 해석을 용이하게 하고 취급을 단순화하는 데이터 전처리(Preprocessing) 과정이다.범주형 변환: 연속형 변수를 있는 그대로 사용하기보다, 특정 구간으로 나누어 범주형(Categorical)으로 변환할 때 분석 결과의 명료성과 정확성이 높아지는 경우가 있다.스케일링(Scaling)을 위한 정규화 기법 비교변수들 간의 측정 단위(Scale)가 심하게 차이 날 때, 이를 동일한 범위나 분포로 맞추어 상대적 특성을 반영하는 기법이다.분포 형태에 따른 정규분포화 변환 기법수집된 데이터가 한쪽으로 치우친 비대칭 분포를 이룰 때, 이를 통계적 가정이 통하는 정규분포 형태로 ..
분석 변수 처리 [1] 차원 축소(Dimensionality Reduction)분석 목적에 맞추어 변수(데이터의 종류)의 수를 줄이는 과정이다.차원 축소가 필요한 4가지 이유[2] 요인 분석 (Factor Analysis)다수의 변수들 간에 존재하는 상관관계를 분석하여, 이를 설명할 수 있는 공통 차원(요인)으로 축약하는 통계 분석 과정이다. 독립변수와 종속변수의 구분이 없으며 주로 기술 통계를 활용한다.요인 분석의 주요 목적 [3] 주성분 분석(PCA)과 스케일링(Scaling)의 중요성PCA는 서로 연관성이 있는 고차원 데이터를 선형 연관성이 없는 저차원(주성분)으로 직교 변환하는 기법이다. 사전적 분포 가정이 필요하지 않는다. 본래 변수들의 선형 결합을 통해 새로운 변수를 만들며, 데이터의 분산이 가장 큰 방향을 ..
데이터 탐색의 개요 본격적인 데이터 분석 모델링에 앞서, 수집된 데이터를 다양한 각도에서 관찰하고 직관적으로 이해하는 과정이다.잠재적 문제 인식: 결측치나 이상치 등 데이터의 문제점을 본 분석 전에 파악하여 수집 방향을 재결정할 수 있다.가설의 수정 및 도출: 데이터를 탐색하는 과정에서 초기 문제 정의 단계에서는 인지하지 못했던 새로운 패턴을 발견할 수 있으며, 이를 통해 초기 가설을 수정하거나 새로운 가설을 수립할 수 있다. EDA 분석 절차 4단계분석은 거시적인 속성 파악에서 미시적인 관계 파악의 순서로 진행된다. 이상치(Outlier)의 4가지 검출 기법이상치가 발견되었을 때는 발생 원인(의미)을 먼저 파악한 후, 분석 목적에 따라 제거, 대체, 또는 유지 여부를 결정해야 한다. ① 요약 통계량 활용데이터의 중심을 ..
비모수 통계 (Non-parametric Statistics) 앞서 다루었던 't-검정의 3가지 핵심 가정(정규성, 등분산성, 독립성)' 중 가장 첫 번째 관문인 '정규성 가정'이 심각하게 깨졌을 때 도달하게 되는 종착지가 바로 비모수 통계이다. 개념적 분기점모수 통계 (Parametric Statistics): 데이터가 특정 확률분포(예: 정규분포)를 따른다고 가정하고, 모집단의 특성을 나타내는 모수(Parameter)를 추정하고 검정하는 정통적인 방법론이다.비모수 통계 (Non-parametric Statistics): 모집단의 분포 형태에 대한 엄격한 가정(Assumption)을 전제로 하지 않는다. 데이터의 구체적인 수치(Raw data) 대신 부호(Sign)나 순위(Rank)로 데이터를 변환하여 검정을 수행하는 '분포 무관(Distribution-free)..
추론 통계 (Statistical Inference) [1] 통계적 추론 (Statistical Inference) 추론 통계학은 수집된 표본 데이터를 바탕으로 모집단의 미지의 특성(모수)을 논리적으로 추론하는 분야로, 단순히 데이터 자체를 요약하는 기술 통계학(Descriptive Statistics)과 명확히 구별된다. 그 궁극적인 목적은 제한된 표본 정보를 통해 전체 모집단에 대한 합리적인 결론을 도출하는 데 있으며, 크게 '추정'과 '가설검정' 두 가지 영역으로 나뉜다.추정(Estimation): 표본 통계량을 이용하여 미지의 모수를 예측하는 과정이다.모수를 하나의 구체적인 수치로 예측하는 점추정(Point Estimation)과, 모수가 포함될 것으로 기대되는 확률적 범위를 산출하는 구간추정(Interval Estimation, 신뢰구간 산출)으로..

티스토리툴바