하마가 분석하마

안녕하세요. Brightics 서포터즈 노승찬입니다. 이번 주차는 서포터즈 활동을 마무리하면서 지금까지 한 활동에 대한 소감을 적어보려고 합니다. 서포터즈 마무리 소감 서포터즈 시작 사실 4학년까지 대학생활을 하면서 '서포터즈' 관련 활동에는 관심이 없었어요. 교육활동이랑 동아리 등 다른 활동들에만 관심을 가지고 있었죠. 서포터즈를 하면서 무언가를 배울 수 있다는 느낌이 적었다고 생각해서 큰 관심을 가지고 있지 않았습니다. 어느 날 학교에 갔는데 선배가 Brightics 프로그램을 쓰고 있는 걸 봤습니다. 분석 프로그램을 알고 배우는 것을 좋아했기에 선배에게 Brightics studio에 대해서 여러 가지 질문을 했습니다. Brightics studio는 기존에 사용하던 프로그램이랑 너무나도 달랐습니다..

안녕하세요. Brightics 서포터즈 노승찬입니다. 저번 주차에 나이 변수, 고용주 카테고리 변수와 결과변수의 관계를 살펴보았습니다. 이번 주차에는 다른 변수들의 eda를 진행함과 동시에 공백 값 대체에 대해서 생각해보려고 합니다. 현재 데이터에는 많은 white space가 있습니다. 누락된 값인지 입력이 안 된 값인지 알 수 없습니다. 모든 관측치를 지우기에는 데이터 손실이 크기에 각 white space 마다 어떤 식의 접근이 가장 좋을지 생각해보려고 합니다. Replace White Space & EDA 프로젝트 목표 고객의 기본 세부 정보를 바탕으로 잠재 고객을 타겟팅 할 수 있는 알고리즘을 개발하여 보다 나은 리드 전환을 이끌어 내는 것을 목적으로 합니다. 공백 값의 관계 확인 및 eda 이..

안녕하세요. Brightics 서포터즈 노승찬입니다. 지난주에는 도메인 정보에 대해서 면밀하게 알아보고 연속형 변수와 범주형 변수의 요약 통계량을 살펴봤습니다. 이번 포스팅에서는 저번 주에 발견한 연속형 변수와 범주형 변수에서 끌어낼 수 있는 파생변수가 무엇이 있는지 보고, 만들어보겠습니다. 또한 white space 및 null 값의 처리를 어떻게 할지 찾아보겠습니다. 브라이틱스를 사용해서 파생변수를 만들 때, 어떻게 하는지 궁금하시다면 이번 포스팅을 천천히 읽어봐 주세요! 파생변수 생성 및 eda 프로젝트 목표 고객의 기본 세부 정보를 바탕으로 잠재 고객을 타겟팅 할 수 있는 알고리즘을 개발하여 보다 나은 리드 전환을 이끌어 내는 것을 목적으로 합니다. 파생변수 생성 및 eda 1. DOB 변수를 통..

안녕하세요. Brightics 서포터즈 노승찬입니다. 저번 주는 어떤 프로젝트를 할 지에 대해서 생각해보고, 주제를 정한 뒤 캐글에서 관련 데이터를 찾아 소개하는 시간을 가졌습니다. 이와 비슷한 주제로 공모전을 나갈 만큼 고객 관련 데이터를 분석하는 것을 좋아합니다. 지금까지의 데이터 및 목표는 모두 자주 듣고 경험해본 것이었는데요. 분석에 있어서 데이터가 어떤 데이터이며 분석의 정확한 목적이 무엇이고, 그 목적은 어떻게 활용될 것인가 등에 대한 고민이 필수적으로 이루어져야 한다고 생각합니다. 아직 정확하게 어떤 분야에서 이러한 분석이 필요한 것인가에 대한 이해가 완벽하게 되지 않았기에, 이번 주는 해당 주제(고객 정보를 바탕으로 한 잠재고객 타겟팅)에 대한 도메인을 알아보고 브라이틱스 스튜디오로 데이터..

안녕하세요. Brightics 서포터즈 노승찬입니다. 앞으로 약 8주 동안 개인 프로젝트를 진행할 예정입니다. 앞으로 하고 싶거나 해보고 싶었던 것에 대해서 생각해본 뒤 캐글에서 데이터를 찾아보았습니다. 시계열, 금융 등의 데이터에 관심이 많은 지금, 공모전을 통해 시계열 데이터를 다뤄보고 있기에 금융 쪽에 집중해서 알아보았고, 흥미로운 주제와 데이터를 발견하여 이에 대해 분석을 해보려고 합니다! 주제 선정 및 소개 분석 배경 은행의 디지털 분야는 리드 전환 (lead conversion)의 문제에 직면해 있습니다. 리드 전환은 리드를 유료 고객으로 전환하는 마케팅 프로세스로 제품이나 서비스를 구매하려는 욕구를 자극하고 구매 결정을 유도하는 모든 마케팅 관행을 수반합니다. 지난 시점까지 (데이터를 공개하..

안녕하세요. Brightics 서포터즈 노승찬입니다. [팀 분석-3주차]에는 모델링을 해보았습니다. 이번 주차에는 임현철 프로님께서 보내주신 스태킹 방법을 적용해보도록 하겠습니다. 모델링2 변수 구성 저희는 2개의 feature set과 각 feature set에 XGBoost, Random Forest를 사용한 후, 스태킹을 진행했었습니다. 스태킹2 개별 알고리즘의 예측 확률 값을 변수로 사용하여 예측하는 것이 아닌 새로운 방식의 스태킹을 시도해 보겠습니다. 위 논문의 기본 개념은 스태킹을 할 때, 각 (알고리즘의 정확도 곱하기) * (class 별 확률)로 보다 자세한 예시를 들면 다음과 같습니다. 이번 프로젝트에 사용한 것으로 예시를 들어보겠습니다. {RF 알고리즘 정확도*(RF 알고리즘의 cred..

안녕하세요. Brightics 서포터즈 노승찬입니다. [팀 분석-2주차]에는 우승자 코드를 분석하고 아이디어를 도출하는 시간을 가졌습니다. 이번 주차에는 지난 주차 및 팀원들과 함께 고민하여 생성한 변수와 우승자 코드에서 얻어낸 아이디어를 응용하여 스태킹을 시도해보려고 합니다. 모델링 변수 구성 feature set은 총 2개입니다. 성능에 유의미한 변수를 만들어보려고 많은 아이디어를 시도해 보았으나, 우승자 코드에서 아이디어를 얻은 변수를 넘는 새로운 파생 변수는 없었습니다. ㅠㅠ 그러나 다른 방식으로 적용하여 성능을 높여 보았습니다!! 모델링 Light GBM과 Extra Tree, Logistic Regression 등 다양한 알고리즘을 사용해 보려고 하였으나 성능적인 면과 브라이틱스에 아직 존재하..

안녕하세요. Brightics 서포터즈 노승찬입니다. [팀 분석-1주차]에는 프로젝트 소개와 데이터를 이해하는 시간을 가졌습니다. 이번 주차에는 우승자 코드를 브라이틱스로 구현해보면서 그 이상의 정확도를 도출하려면 어떤 방법이 필요할지 고민해보는 시간을 가지려고 합니다. 우승자 코드 분석 및 아이디어 도출 우승자 코드 분석 우승자 코드는 1등 코드와 3등 코드를 참고했습니다. 두 수상자의 코드를 구현해보고 해당 처리에 대한 이유를 알아보도록 하겠습니다. 각 수상자 코드 중에서 브라이틱스로 구현해보는 과정이 어렵거나 지금까지 해보지 못한 것, 독특한 것 등을 중심으로 포스팅을 이어가겠습니다! 수상자 코드 분석 1. 날짜 변수 변환 DAYS_BIRTH는 카드 발급일 기준 태어난 날이 음수로 표현되어 있습니다..