[데이터 분석을 위한 SQL 레시피] 18강 - 이상값 검출하기

목차 1) 데이터 분산 계산하기 2) 크롤러 제외하기 3) 데이터 타당성 확인하기 4) 특정 IP 주소에서의 접근 제외하기 18강 이상값 검출하기 1) 데이터 분산 계산하기 로그 데이터에서 이상값을 검출하는 가장 기본적인 방법은 데이터의 분산을 계산하고, 그러한 분산에서 많이 벗어난 값을 찾는 것. 세션별로 페이지 열람 수 랭킹 비율 구하기 세션별로 조회 수를 계산한 뒤 조회 수가 많은 상위 n%의 데이터를 확인 **PERCENT_RANK 함수 = 랭킹을 비율로 구하는 함수 → (rank - 1) / ( - 1) 인수로 지정한 값의 그룹내의 위치를 나타내는 백분위 순위를 반환한다 PERCENT_RANK에 의해 반환되는 값의 범위는 0~1이다 #18-1 세션별로 페이지 열람 수 랭킹 비율을 구하는 쿼리 W..

• format_list_bulleted SQL
• · 2023. 12. 28.
• textsms

[데이터 분석을 위한 SQL 레시피] 17강 - 데이터를 조합해서 새로운 데이터 만들기

목차 1) IP 주소를 기반으로 국가와 지역 보완하기 2) 주말과 공휴일 판단하기 3) 하루 집계 범위 변경하기 7장 데이터 활용의 정밀도를 높이는 분석 기술 17강 데이터를 조합해서 새로운 데이터 만들기 오픈, 외부 데이터 활용하기 1) IP 주소를 기반으로 국가와 지역 보완하기 사용자 로그에 IP 주소가 있다면 국가와 지역을 보완할 수 있음. → 사용자를 지역별로 구분하거나 타임존에 따라 구분해서 분석할 수 있음. postgreSQL 에서 IP 주소를 다룰 때는 inet 자료형 사용함. GeoLite2 지오로케이션 데이터베이스 다운 받기 + 액션 로그의 IP 주소와 결합해서 국가와 지역 정보 보완. #17-2 액션 로그의 IP 주소로 국가와 지역 정보를 추출하는 쿼리 SELECT a.ip , l.co..

• format_list_bulleted SQL
• · 2023. 12. 28.
• textsms

[데이터 분석을 위한 SQL 레시피] 16강 - 입력 양식 최적화하기

목차 1) 오류율 집계하기 2) 입력 ~ 확인 ~ 완료까지의 이동률 집계하기 3) 입력 양식 직귀율 집계하기 4) 오류가 발생하는 항목과 내용 집계하기 16강 입력 양식 최적화하기 엔트리폼 =자료 청구 양식과 구매 양식 입력양식 최적화(EFO, Entry Form Optimization) 입력 양식의 항목이 너무 많아 이탈하는 것을 막고, 성과를 높이고자 입력 양식을 최적화 하는것. 필수 입력과 선택 입력을 명확하게 구분해서 입력 수를 줄인다. 필수 입력 항목을 위로 올려 배치 오류 발생 빈도를 줄인다. 입력 예를 보여준다. 제대로 입력하지 않았다고 실시간으로 알려준다. 쉽게 입력할 수 있게 만든다. 입력 항목을 줄인다. 우편번호와 주소등의 자동완성기능을 사용한다. 이탈할 만한 요소를 제거한다. 불필요한..

• format_list_bulleted SQL
• · 2023. 12. 28.
• textsms

[데이터 분석을 위한 SQL 레시피] 14강 - 사이트 전체의 특징 / 경향 찾기

목차 1) 날짜별 방문자 수 / 방문 횟수 / 페이지 뷰 집계하기 2) 페이지별 쿠키 / 방문 횟수 / 페이지 뷰 집계하기 3) 유입원별로 방문 횟수 또는 CVR 집계하기 4) 접근 요일, 시간대 파악하기 14강 사이트 전체의 특징/경향 찾기 1) 날짜별 방문자 수 / 방문 횟수 / 페이지 뷰 집계하기 웹사이트에서는 방문자 수 , 방문 횟수, 페이지 뷰 집계가 기본임. 방문자 수 = 브라우저를 꺼도 사라지지 않는 쿠키의 유니크 수 (한 명의 사용자가 1일에 3회 사이트를 방문해도 1회로 집계) 방문 횟수 = 브라우저를 껐을 때 사라지는 쿠키의 유니크 수 (한 명의 사용자가 1일에 3회 사이트를 방문하면 3회로 집계) 페이지 뷰 = 페이지를 출력한 로그의 줄 수 #14-1 날짜별 접근 데이터를 집계하는 쿼..

• format_list_bulleted SQL
• · 2023. 12. 28.
• textsms

[데이터 분석을 위한 SQL 레시피] 13강 - 시계열에 따른 사용자의 개별적인 행동 분석하기

목차 1) 사용자의 액션 간격 집계하기 2) 카트 추가 후에 구매했는지 파악하기 3) 등록으로부터의 매출을 날짜별로 집계하기 13강 시계열에 따른 사용자의 개별적인 행동 분석하기 리드타임이란? 실제 계약까지의 기간. 리드타임이 짧아지면 계약이 더 많이 일어남. 1) 사용자의 액션 간격 집계하기 같은 레코드에 있는 두 개의 날짜로 계산할 경우 예약 사이트에는 예약 정보를 저장하는 레코드에 신청일과 숙박일, 방문일을 한꺼번에 저장함. 날짜끼리 빼거나 datediff 함수를 써서 각 날짜의 차이를 계산하면 됨. #13-1 신청일과 숙박일의 리드타임을 계산하는 쿼리 WITH reservations(reservation_id, register_date, visit_date, days) AS ( VALUES (1,..

• format_list_bulleted SQL
• · 2023. 12. 28.
• textsms

[데이터 분석을 위한 SQL 레시피] 12강 - 시계열에 따른 사용자 전체의 상태 변화 찾기

목차 1) 등록 수의 추이와 경향 보기 2) 지속률과 정착률 산출하기 3) 지속과 정착에 영향을 주는 액션 집계하기 4) 액션 수에 따른 정착률 집계하기 5) 사용 일수에 따른 정착률 집계하기 6) 사용자의 잔존율 집계하기 7) 방문 빈도를 기반으로 사용자 속성을 정의하고 집계하기 8) 방문 종류를 기반으로 성장지수 집계하기 9) 지표 개선 방법 익히기 12강 시계열에 따른 사용자 전체의 상태 변화 찾기 사용자의 서비스 사용을 시계열로 수치화하고 변화를 시각화 하는 방법 1) 등록 수의 추이와 경향 보기 날짜별 등록 수의 추이 사용자 수를 집계할 때는 사용자가 유일하게 식별할 수 있는 ID(사용자 ID)로 중복을 제거(DISTINCT)해서 셈. #12-1 날짜별 등록 수의 추이를 집계하는 쿼리 SELEC..

• format_list_bulleted SQL
• · 2023. 12. 28.
• textsms