IT

파이썬(Python) 판다스(Pandas) 라이브러리를 활용한 데이터 전처리 기초 문법을 익혔다면, 이제는 실제 비즈니스 환경에서 쓰이는 데이터를 바탕으로 종합적인 인사이트를 도출하는 실습을 진행할 차례입니다. 기업의 데이터 분석 업무나 경영 보고서 작성 시 가장 기본적이면서도 중요한 지표가 바로 ‘월별 매출(Monthly Revenue)’과 ‘전월 대비 성장률(MoM, Month-on-Month Growth Rate)’입니다. 이러한 연산은 대규모 시계열 트랜잭션 데이터를 요약하고, 기업의 성장 추세를 정량적인 … 더 읽기

파이썬(Python) 판다스(Pandas) 라이브러리를 활용해 데이터를 수집하고, 결측치를 처리하며, 정렬 및 구조 변환까지 마쳤다면 그다음 마주하는 중요한 단계는 데이터 시각화(Data Visualization)입니다. 수치와 문자로만 구성된 표 형태의 데이터프레임에서 데이터의 전반적인 분포, 변수 간의 상관관계, 혹은 시계열적 추세와 이상치(Outlier)를 직관적으로 파악하기란 쉽지 않습니다. 이때 판다스 내장 시각화 기능인 plot() 메서드와 파이썬 대표 시각화 라이브러리인 맷플롯립(Matplotlib)을 결합하면 몇 줄의 … 더 읽기

파이썬(Python) 판다스(Pandas) 라이브러리를 활용해 대용량 데이터를 다루다 보면 전체 데이터셋 중 일부를 무작위로 추출해야 하는 상황을 마주하게 됩니다. 모집단이 너무 커서 머신러닝 알고리즘의 학습 속도를 높이기 위해 일부 데이터를 샘플링하거나, 교차 검증을 위한 표본을 무작위로 추출하고, 데이터 분포의 치우침을 해결하기 위해 업샘플링(Upsampling) 혹은 다운샘플링(Downsampling)을 수행하는 작업 등이 대표적입니다. 판다스에서 이처럼 데이터를 임의로 추출하는 가장 효율적인 … 더 읽기

파이썬(Python) 판다스(Pandas) 라이브러리를 활용해 데이터 전처리를 수행하다 보면, 연속적인 수치로 이루어진 데이터를 특정 기준에 따라 그룹화하거나 범주형 변수로 변환해야 하는 상황을 자주 마주하게 됩니다. 예를 들어 비즈니스 환경에서 “매출액에 따라 고객을 고가/저가 구매자로 분류”하거나, “시험 점수를 기준으로 학점(A, B, C)을 부여”하고, “고객의 누적 이용 시간을 기준으로 균등한 비율의 5개 등급을 나누는” 작업 등이 이에 해당합니다. … 더 읽기

파이썬(Python) 판다스(Pandas) 라이브러리를 활용하여 시계열 데이터나 순차적으로 적재되는 트랜잭션 데이터를 분석할 때, 단순한 행 단위의 연산을 넘어 시간의 흐름이나 데이터의 누적 추이를 반영해야 하는 경우가 많습니다. 예를 들어 비즈니스 실무에서 “일별 누적 매출액 흐름 추적”, “최근 7일간의 매출 이동평균(Rolling Average) 계산”, 또는 “영업점별 실적 순위 산출” 등이 대표적인 사례입니다. 이러한 연산은 데이터의 흐름과 선후 관계를 … 더 읽기

파이썬(Python) 판다스(Pandas) 라이브러리를 활용해 데이터를 다루다 보면 데이터의 목적에 따라 테이블의 구조를 가로형에서 세로형으로, 혹은 세로형에서 가로형으로 변환해야 하는 상황이 자주 발생합니다. 데이터의 가독성을 높이기 위해 요약 표를 만드는 작업이나, 머신러닝 알고리즘이나 데이터 시각화 라이브러리에서 활용하기 적합한 형태로 데이터를 변환하는 전처리 과정이 이에 해당합니다. 판다스에서 데이터프레임의 구조를 유연하게 변경하는 대표적인 기능이 바로 pivot()과 melt() 함수입니다. … 더 읽기

파이썬(Python) 판다스(Pandas) 라이브러리를 활용해 실무 데이터 분석이나 머신러닝 모델링을 진행하다 보면, 하나의 데이터프레임만으로는 원하는 결론을 도출하기 어려울 때가 많습니다. 기업의 데이터베이스(RDBMS) 구조처럼 고객 정보 테이블, 주문 이력 테이블, 상품 마스터 테이블 등이 각각 분산되어 저장되어 있기 때문입니다. 이처럼 여러 출처에서 수집된 복수의 데이터프레임을 하나로 결합하여 결합 데이터를 생성하는 과정을 ‘데이터 병합(Data Merging)’ 또는 ‘결합(Join)’이라고 부릅니다. … 더 읽기

파이썬(Python) 판다스(Pandas) 라이브러리를 활용해 데이터를 다루다 보면, 17화에서 다룬 groupby() 연산 결과보다 더 입체적이고 다각적인 형태로 데이터를 요약해야 하는 상황을 마주하게 됩니다. 예를 들어 비즈니스 환경에서 “연도별/월별 매출 현황판”을 만들거나, “성별에 따른 연령대별 구매 빈도수 교차표”를 작성하는 작업 등이 이에 해당합니다. 판다스에서 이처럼 행과 열을 격자 구조로 배치하여 2차원 요약 테이블을 생성하는 대표적인 함수가 바로 … 더 읽기

파이썬(Python) 판다스(Pandas) 라이브러리를 활용한 데이터 분석 작업에서 전체 데이터를 특정 기준에 따라 그룹으로 나누어 요약 통계량을 계산하는 작업은 빈번하게 발생합니다. 예를 들어 기업의 매출 데이터에서 “부서별 평균 급여”, “지역별 총매출액”, 또는 “상품 카테고리별 최고 및 최저 가격”을 도출하는 일련의 과정입니다. 이러한 요약 작업을 판다스에서는 groupby()와 agg() 함수를 통해 제어합니다. 이는 데이터 분석 방법론 중 하나인 … 더 읽기

파이썬(Python) 판다스(Pandas) 라이브러리를 활용해 데이터 전처리를 수행하다 보면, 기존에 제공되는 내장 함수만으로는 해결하기 어려운 복잡한 조건의 데이터 가공 작업을 마주하게 됩니다. 예를 들어 비즈니스 환경에서 “고객의 생년월일을 기반으로 현재 나이대 범주를 세분화”하거나, “특정 텍스트 패턴을 분석하여 맞춤형 위험 점수를 계산”하는 작업 등이 이에 해당합니다. 이처럼 사용자가 직접 정의한 커스텀 함수(사용자 정의 함수)나 람다(lambda) 함수를 데이터의 … 더 읽기