Clik here to view.
회사 이름에 대하여
회사 이름과 로고에 대해 궁금해하시는 분들이 있어서 첫 포스팅 주제로 잡았다.박스앤위스커 플롯박스앤위스커(Box and Whisker)라는 회사 이름은 통계학자 John Tukey가 고안한 다이어그램인 박스앤위스커 플롯(상자수염 플롯; box and whisker plot)에서 따왔다. 박스플롯(box plot)으로 부르기도 한다.박스플롯에 대한 자세한...
View ArticleClik here to view.
Google Analytics로 게임 분석하기 1
Google Analytics라는 것이 있다(이하 GA). 원래는 웹 로그 분석 도구인데 아이폰/안드로이드 앱 로그를 분석할 수 있는 SDK도 추가되고, 최근에는 좀 더 범용으로 쓸 수 있는 저수준 API인 Measurement Protocol이라는 것이 추가되면서 오프라인 이벤트(POS 데이터, 키오스크 사용 데이터)를 포함하여 온갖 도메인의 데이터를 수집...
View ArticleClik here to view.
이탈 기준 정하기
(이 글은 Box and Whisker 홈페이지와 datum.io에 중복으로 게재되었습니다.)데이터 관점에서의 이탈‘이탈(churn)’의 기준을 어떻게 설정해야하는지 큰 고민 없이 정하는 경우가 많다. 보통 실무자의 주관에 따라 정해지는데, 이것이 꼭 틀린 것은 아니다. 예를 들어, 일주일에 한번씩 업데이트가 있는 게임이라면 서비스 담당자의 직관으로 일주일...
View ArticleGoogle Analytics로 게임 분석하기 2
이 글에서는 게임 내에서 발생하는 각종 사건을 어떻게 Google Analytics(이하 GA)에 매핑할 것인지를 설명한다.개요는 Google Analytics로 게임 분석하기를 참고하기 바란다.게임의 주요 요소에 URL 부여하기어떤 시스템이건 해당 시스템이 어떤 목적으로 만들어졌는지 또 어떻게 작동하는지를 이해하고 그 결에 맞게(결을 거스르는 것이 아니라)...
View ArticleClik here to view.
개별 사용자를 고려한 이탈 측정하기
개별 사용자의 이탈‘이탈 기준 정하기’에서 ‘이탈(churn)’의 기준을 데이터로 정하는 방법에 대해서 논의하였다. 데이터로 이탈 기준을 정하였지만, 개별 유저의 특성을 무시하고 하나의 기준을 만드는데 그쳤다. 사용자마다 서비스 접속 주기가 다를 수 있으므로 이를 고려한 이탈 기준을 찾는다면 더 나은 사용자 관리가 가능하다.예시: 접속 주기가 다른 사용자...
View Article해시 기반 샘플링
(이 글은 Box and Whisker 홈페이지와 강규영 개인 블로그에 중복으로 게재되었습니다)해시함수를 이용하여 데이터 스트림에서 실시간 샘플링을 수행하는 방법을 소개하고자 한다.문제 상황시간, 사용자 ID, 이벤트 종류 세 개의 필드로 구성된 로그 파일이 있다고 가정하자. 이벤트 종류에는 “로그인”과 “로그아웃”만 있다. 다음은...
View ArticleClik here to view.
A/B 테스팅이란
A/B 테스팅이란 웹 사이트 방문자를 임의로 두 집단으로 나누고, 한 집단에게는 기존 사이트를 보여주고 다른 집단에게는 새로운 사이트를 보여준 다음, 두 집단 중 어떤 집단이 더 높은 성과를 보이는지 측정하여, 새 사이트가 기존 사이트에 비해 좋은지를 정량적으로 평가하는 방식을 말한다. 여기에서 성과란 새 사이트가 목표로 했던 바에 따라 다른데, 보통은 회원...
View Article온라인 게임에서의 A/B 테스팅
온라인 게임에서 A/B 테스팅을 하는 방법, 주의할 점, 점진적으로 테스팅을 도입하는 전략, A/B 테이스팅의 단점들에 대해 생각하는 바를 정리해보았다. A/B 테스팅 개념에 대한 설명은 A/B 테스팅이란을 참고하기 바란다.게임에서의 A/B 테스팅전통적으로 A/B 테스팅이라고 하면 주로 아래와 같은 것들을 떠올린다:가입이나 구매 버튼의 위치, 색상, 문구...
View ArticleClik here to view.
이탈 예측하기
고객의 접속 세션 데이터를 이용해서, 유저의 이탈 가능성을 평가하는 방법을 정리한다.기본 개념‘이탈 기준 정하기’에서 데이터를 이용해 적절한 이탈 기준을 살펴보았다. 그리고 ‘개별 사용자를 고려한 이탈 측정하기’에서 유저 개인의 접속 특성을 고려한 이탈 척도를 살펴보았다. 종합하면, 유저가 특정 기간 동안 접속하지 않으면 이탈 유저로 정의하며, 유저 간의...
View ArticleClik here to view.
푸시 메시지 타이밍 찾기
유저의 접속 세션 데이터를 기반으로, 개별 유저에게 적절한 푸시 메시지 타이밍을 결정한다.문제 제기모바일 앱이 많아지면서 유저의 재방문을 높이기 위해 푸시 메시지를 사용하는 서비스가 많다. 문제는 유저를 고려하지 않는 푸시 메시지인데, 스팸으로 취급될 뿐더러 서비스 이탈을 가속화시키기도 한다. 특히, 푸시 메시지 자체의 비용이 매우 저렴하기 때문에 남용하는...
View ArticleClik here to view.
유저가 접속할 확률 계산하기
문제 상황푸시 메시지 타이밍 찾기에서 언제 유저에게 메시지를 보내는 것이 좋을지 설명하였다. 이전에는 유저의 접속 시간 분포를 경험적으로 도출해서 확률을 계산하였다. 여기서는 아래와 같은 질문에 대답하고자 한다.만약 오전 11시까지 유저가 접속하지 않았다면, 오늘 내로 유저가 접속할 확률은 얼마일까?푸시 메시지 타이밍 찾기에서도 위와 비슷한 문제에 대해...
View ArticleClik here to view.
유저 생존 곡선 그리기
유저의 접속 세션 데이터를 활용하여, 유저의 생존 곡선을 그리고 수명을 측정한다.문제 제기이탈 예측하기에서는 유저의 이탈(churn)을 결과로만 다루었다. 즉, 이탈한 유저는 1로 표기하고, 이탈하지 않은 유저는 0으로 표기하여 결과가 2가지로만 나타나는 실험을 가정하였다. 이탈은 두 가지 결과로 요약할 수 있지만, 서비스 이용 시작부터 이탈까지의 과정은...
View ArticleClik here to view.
GA로 블로그 분석하기
온라인 쇼핑몰과 같이 명확히 매출이 발생하는 경우가 아니라면, 구글 애널리틱스 연동을 하고 나서도 단순히 방문자 수를 보는 것 이외에 무엇을 분석하고 어떤 의사결정에 참고해야 하는지 모호한 경우가 많다. 이 글에서는 박스앤위스커 홈페이지(현재 여러분이 방문 중인 이 사이트) 운영에 구글 애널리틱스를 어떻게 활용하는지 소개한다.이 웹사이트는 왜 존재하나목적이...
View ArticleClik here to view.
Google Analytics로 게임 분석하기 3
Google Analytics로 게임 분석하기 1에서는 구글 애널리틱스(이하 GA)를 활용하여 게임 로그를 분석하는 예시를 개괄적으로 소개하였고, Google Analytics로 게임 분석하기 2에서는 게임 내에서 발생하는 각종 사건을 어떻게 GA에 매핑할 것인지 설명하였다.이번 글에서는 GA를 활용하여 난이도 분석, 점수 기록, 플레이어 사망 원인 분석...
View ArticleClik here to view.
설명 변수를 이용하여 유저 생존 곡선 그리기
Cox PH model을 활용하여, 설명 변수를 이용한 유저 생존 곡선을 그리고 수명을 측정한다.문제 제기이전 글, 유저 생존 곡선 그리기에서는 아주 간략하게 유저의 생존 곡선을 그리고, 수명을 측정하였다. 유저의 수명을 측정하게 되면, 어떤 유저는 오래 살고 어떤 유저는 그렇지 않은지 의문이 생긴다. 예를 들어, 다음과 같은 질문이 떠오른다.광고를 통해서...
View ArticleClik here to view.
온라인 게임에서의 이항 분포
온라인 게임의 아이템 강화, 확률형 아이템 등을 이항 분포로 설명한다.게임, 불확실성의 연속온라인 게임에서 일어나는 모든 이벤트는 확률을 수반한다. 캐릭터가 몹을 한 번 때리는 행위에서도 수 많은 사건들이 확률과 연관되어 발생한다. 크리티컬 데미지가 발생할지 확률로 결정되고, 기본 데미지에 어느 정도의 무작위성이 적용되어 최종 데미지가 정해질지 확률로...
View ArticleClik here to view.
확률형 아이템을 위한 다항 분포
이전 글: 온라인 게임에서의 이항 분포온라인 게임의 확률형 아이템을 이항 분포와 다항 분포로 설명한다.확률형 아이템‘확률형 아이템’, ‘캡슐형 아이템’, ‘랜덤 박스’, ‘가챠폰(gachapon)’ 혹은 ‘가챠(gacha)’등으로 불리는 온라인 게임 내 유료 아이템이 있다. 이는 오프라인에서 판매하는 캡슐형 뽑기 완구를 온라인 게임 내에 이식한 형태다....
View ArticleClik here to view.
신뢰 구간을 이용한 A/B 테스트 결과 비교
신뢰 구간 계산만으로 A/B 테스트 결과를 빠르게 비교할 수 있는 방법에 대해 소개한다.A/B 테스트에 대한 기본적인 소개는 ‘A/B 테스팅이란’글을 참고한다.간단한 웹사이트의 예시가장 간단한 A/B 테스팅을 다음과 같이 생각할 수 있다. 방문객은 무작위로 Variation A 또는 Variation B에 할당된다. Variation A에 할당된 방문객은...
View ArticleClik here to view.
데이터 분석가를 위한 개발 공부
데이터 분석을 잘하기 위한 방법론 중에서 드류 콘웨이(Drew Conway)의 데이터 과학 벤 다이어 그램(the Data Science Venn Diagram)을 가장 많이 인용한다. 데이터 과학(data science)이라는 용어가 적절한지에 대해서는 이견이 많지만, 아래 그림이 좋은 분석 결과물을 만들기 위한 좋은 접근 방법이라는데 동의한다.<그림...
View ArticleClik here to view.
A/B 테스트에서 p-value에 휘둘리지 않기
A/B 테스트 결과 분석은 주로 빈도주의관점에서 유의성 검정(NHST)을 따른다. 문제는 유독 유의 확률(p-value)에만 신경을 쓰느라 제대로 실험 결과를 해석하지 않는다는 점이다. 실험의 목적은 얼마나 효과가 있는지 살펴보는 것이지 통계적 유의성(statistical significance)만을 확보하는 것이 아니다.p-value란?p-value가...
View ArticleClik here to view.
유니크 아이디는 얼마나 길어야 하나?
웹 사이트 재방문 고객을 식별하기 위해서 인터넷 브라우저 쿠키에 고유한 키(key)를 삽입한다. 다른 고객과 겹치지 않는 키를 발급하려면 키의 길이가 길수록 유리하지만, 필요 이상으로 키가 길어지면 낭비다. 서로 다른 고객의 키가 겹칠 가능성을 계산하고, 적당한 키 길이를 고민해본다.유니크 아이디불특정 고객이 웹 사이트를 방문하면 해당 브라우저 쿠키에 고유...
View ArticleClik here to view.
특정 확률 분포를 따르는 난수 생성기 만들기
컴퓨터를 이용해서 시뮬레이션을 하거나, 특정 확률 분포 가정 하에서 테스팅을 하는 경우에 난수 생성기가 필요하다. 대부분의 프로그래밍 언어는 특정 분포를 따르는 난수 생성 함수를 제공하지만, 모든 분포에 대해서 제공하지는 않는다. 필요한 확률 분포를 따르는 난수 생성기가 없을 때, 이를 쉽게 구현하는 방법에 대해서 설명한다.다양한 무작위성세상에서 실제 동작할...
View ArticleClik here to view.
팀 공용 계정 비밀번호 관리하기
팀 프로젝트가 늘어나면 프로젝트 내부에서 사용한 부가 서비스의 계정들이 쌓이기 시작한다. 이러한 공용 계정을 쉽고 안전하게 공유할 수 있는 방법에 대해서 소개한다.수 많은 공용 계정과 비밀번호개발 프로젝트를 수행하다 보면, 많은 외부 서비스를 모듈로 사용한다. AWS 계정 정보나 각 서버의 접속 키 파일(AWS의 .pem 등)부터 테스트 이메일 계정, 배포...
View ArticleClik here to view.
구글 애널리틱스 API를 이용한 캠페인 분석(1)
박스앤위스커와 브리즈플랫폼(GSSHOP)이 함께 만든 ‘캠페인 분석기’ 툴에 대해서 설명한다. ‘캠페인 분석기’는 구글 애널리틱스(Google Analytics)를 이용해서 가장 성과가 높은 고객 세그먼트를 자동으로 탐색하는 툴이다.구글 애널리틱스 사용자 메뉴의 한계구글 애널리틱스는 웹 분석의 표준이라고 할 수 있을 정도로 널리 쓰인다. 일정 트래픽 규모...
View ArticleClik here to view.
구글 애널리틱스 API를 이용한 캠페인 분석(2)
다차원 큐브에서 원하는 기준의 셀을 뽑아내는 것은 그래프 데이터 구조에서 최단 경로 탐색에 비유할 수 있다. 간단한 그래프 탐색 알고리즘을 설명하고, 이를 어떻게 다차원 큐브 탐색에 응용하였는지 살펴본다. 이를 통해 ‘캠페인 분석기’가 어떻게 잠재 성과가 높은 세그먼트를 찾는지 설명한다.가장 성과가 높은 고객 세그먼트 찾기마케팅 담당자는 여러가지 프로모션...
View ArticleClik here to view.
박스 플롯에 대하여
박스 플롯(box plot) 또는 박스앤위스커 플롯(상자수염플롯; box-and-whisker plot)은 데이터의 대략적인 분포와 개별적인 이상치들을 동시에 보여줄 수 있으며 서로 다른 데이터 뭉치를 쉽게 비교할 수 있도록 도와주는 시각화 기법으로, 통계학자 존 튜키(John Tukey)가 자신의 저서 “탐색적 데이터 분석"에서 처음 제시한 후로부터 현재에...
View ArticleClik here to view.
아이패드로 코딩하기
개발 서버를 따로 만들면, 어떤 기기에서든 연결하여 코딩이 가능하다. 서버를 세팅하고 아이패드를 연결해 개발한 경험을 공유한다.발단코딩용으로 사용하던 맥북이 갑자기 고장났다. 2주간 작업 도구가 필요하던 차에 아이패드로 코딩할 수 있지 않을까 생각이 들어 검색하니, 역시나 아이패드로 코딩하는 사람들이 있다. 꼭 아이패드가 아니어도 상관없다. 터미널을 이용해서...
View Article개발자를 위한 정보 검색 팁
프로그래밍을 하다 보면 종종 당면한 문제를 해결하기 위해 인터넷 검색을 합니다. 검색만 잘해도 문제 해결 시간을 크게 단축할 수 있을 뿐 아니라 개발 역량 향상에도 큰 도움이 된다고 생각합니다.당연한 얘기지만, 검색만 해서는 검색을 잘 할 수가 없습니다. 검색을 잘 하려면 검색을 잘 하기 위해 갖춰야 할 습관을 형성하기 위해 꾸준히 연습해야 합니다. 이...
View Article
![[박진영의 재난이 다가와도 우리는] 바람이 불어오는 곳](http://image.yes24.com/images/chyes24/e/d/6/6/ed66ba3fc571505c7db4f7640569922b.jpg)
![[박진영의 재난이 다가와도 우리는] 바람이 불어오는 곳](http://image.yes24.com/images/chyes24/6/6/c/6/66c644eced6d9e323e34f783a1698c66.jpg)
![[한국 문학X뮤지컬] 창작가무극 이희준 극작가 인터뷰](http://image.yes24.com/images/chyes24/3/6/d/d/36ddb062e042fabd6dc593fc9a633de6.jpg)
![[예스24 굿즈 이야기] 굿즈MD는 봄이 오면, 여름을 준비한다 – 마지막 회](http://image.yes24.com/images/chyes24/3/9/e/8/39e8dc83c5f8dcfa42aae0dc7d0afacd.jpg)
