IT

파이썬(Python) 판다스(Pandas) 라이브러리를 활용해 데이터 전처리를 수행하다 보면, 기존에 제공되는 내장 함수만으로는 해결하기 어려운 복잡한 조건의 데이터 가공 작업을 마주하게 됩니다. 예를 들어 비즈니스 환경에서 “고객의 생년월일을 기반으로 현재 나이대 범주를 세분화”하거나, “특정 텍스트 패턴을 분석하여 맞춤형 위험 점수를 계산”하는 작업 등이 이에 해당합니다. 이처럼 사용자가 직접 정의한 커스텀 함수(사용자 정의 함수)나 람다(lambda) 함수를 데이터의 … 더 읽기

파이썬(Python) 판다스(Pandas) 라이브러리를 활용해 데이터를 다룰 때, 각 열(Column)의 데이터 타입을 올바르게 설정하는 것은 데이터 전처리의 기본이자 필수적인 단계입니다. 숫자로 계산되어야 할 매출액 데이터가 문자열(object)로 저장되어 있거나, 범주형 변수가 분석 목적에 맞지 않는 잘못된 타입으로 지정되어 있다면 통계량 산출이나 머신러닝 모델 학습 과정에서 논리 오류가 발생할 수 있습니다. 특히 빅데이터분석기사(빅분기) 실기 시험이나 현업의 데이터 파이프라인 … 더 읽기

기업의 매출 데이터, 웹 서버의 로그 기록, 금융 시장의 주가 지수 등 우리가 실무에서 접하는 수많은 데이터셋에는 ‘시간’ 요소가 포함되어 있습니다. 특정 시점의 변화 추이를 추적하고 트렌드를 분석하는 시계열 데이터 분석(Time Series Analysis)은 데이터 분석과 머신러닝 분야에서 중요한 역할을 담당합니다. 외부 데이터를 판다스(Pandas) 데이터프레임으로 처음 불러오면, 날짜 형식을 가진 데이터임에도 불구하고 단순 문자열(object) 타입으로 인식되는 … 더 읽기

데이터베이스나 공공데이터 포털에서 데이터를 수집하다 보면 숫자가 아닌 문자열(Text) 형태로 저장된 다양한 데이터 요소를 마주하게 됩니다. 고객의 이메일 주소, 주소지 정보, 공백이 섞인 상품 코드 등이 이에 해당합니다. 이러한 텍스트 데이터는 정제되지 않은 상태로 분석에 활용하기 까다롭기 때문에 전처리 단계를 반드시 거쳐야 합니다. 파이썬(Python) 기본 문법에서도 문자열 처리를 위한 다양한 내장 함수를 제공하지만, 데이터프레임의 열(Column) … 더 읽기

데이터 수집 및 적재 파이프라인에서 발생하는 시스템 오류, 로그 누적 또는 여러 웹 페이지에서의 중복 크롤링 등으로 인해 동일한 정보가 여러 번 기록된 ‘중복 데이터(Duplicate Data)’를 마주하게 됩니다. 데이터 가공의 핵심은 이러한 불필요한 행들을 적절히 필터링하고 분석 대상의 고유성(Uniqueness)을 확보하는 것입니다. 중복된 상태의 데이터를 그대로 분석 모델의 훈련에 활용하거나 통계적 수치 도출에 사용하면 특정 데이터 … 더 읽기

수집한 원본 데이터를 데이터프레임으로 변환하여 기술통계를 확인하다 보면 데이터가 비어 있는 빈칸을 자주 발견하게 됩니다. 판다스(Pandas)에서는 이처럼 비어 있는 값을 NaN(Not a Number), None 또는 pd.NA 등의 형태로 표현하며, 이러한 값을 통칭하여 결측치(Missing Value)라고 부릅니다. 현업의 비즈니스 데이터나 빅데이터분석기사(빅분기) 실기 시험 데이터셋에서 결측치는 분석 결과를 왜곡하거나 알고리즘의 정상적인 연산을 방해하는 주요 원인이 됩니다. 따라서 결측치의 … 더 읽기

파이썬(Python) 판다스(Pandas) 라이브러리를 활용해 데이터를 불러오고 정렬하는 방법을 익혔다면, 본격적인 데이터 그룹화나 전처리에 앞서 데이터의 전반적인 분포와 특성을 파악해야 합니다. 이를 데이터 탐색(EDA, Exploratory Data Analysis) 단계라고 하며, 이 과정에서 데이터의 이상치(Outlier) 가능성이나 데이터 분포의 특성, 범주형 데이터의 빈도 분포를 빠르게 파악하는 것이 중요합니다. 판다스에서 데이터의 요약 통계량과 빈도수를 빠르게 제공하여 탐색 시간을 단축해 주는 … 더 읽기

파이썬(Python) 판다스(Pandas)를 활용하여 데이터를 수집하고 전처리하는 과정에서 데이터의 크고 작음을 비교하여 순서를 나열하거나 순위를 매기는 작업은 데이터 탐색의 기본입니다. 예를 들어 비즈니스 환경에서 “가장 매출이 높은 상위 10개 매장”을 선별하거나, “고객별 구매 빈도 순위”를 계산하여 등급을 부여하는 작업 등이 이에 해당합니다. 특히 빅데이터분석기사(빅분기) 실기 시험이나 현업의 데이터 분석 실무에서는 정렬과 순위 계산을 정확히 처리해야 이후 … 더 읽기

파이썬(Python) 판다스(Pandas)를 활용하여 외부 데이터를 불러오고 필터링하는 방법을 익혔다면, 그다음 단계는 본격적으로 데이터를 목적에 맞게 가공하는 것입니다. 정형 데이터 분석 프로젝트나 빅데이터분석기사(빅분기) 실기 시험에서는 주어진 원본 데이터 열(Column)을 그대로 사용하기보다 파생 변수를 새로 만들거나 불필요한 열을 제거해야 하는 상황이 빈번하게 발생합니다. 판다스에서 데이터프레임의 열을 다루는 방법은 여러 가지가 있지만, 실무와 시험에서 가장 널리 쓰이는 효율적인 … 더 읽기

파이썬(Python)을 활용하여 수집한 외부 데이터를 판다스(Pandas) 데이터프레임으로 성공적으로 불러왔다면, 데이터 분석의 다음 단계는 데이터의 구조적 특징을 파악하는 것입니다. 흔히 데이터 탐색(EDA, Exploratory Data Analysis)이라고 부르는 이 과정은 본격적인 전처리나 머신러닝 모델링을 시작하기 전에 반드시 수행해야 하는 필수 절차입니다. 특히 빅데이터분석기사(빅분기) 실기 시험이나 현업의 비즈니스 데이터 분석 환경에서는 원본 데이터가 어떤 인덱스 체계를 가졌는지, 컬럼 이름은 … 더 읽기