Disclaimer
좋은 글 아카이브는 트렌드 파악 / 업무와 관련된 공부를 위하여 다양한 매체로부터 얻은 정보를 출처 링크와 함께 가볍게 정리하는 글입니다.
저자의 생각과 저의 생각이 항상 같은 것은 아니며, 저에게 필요한 내용만 체리피킹합니다.
요약 혹은 의견을 선택적으로 덧붙입니다. 보는 이의 가독성을 고려하는 글은 아닙니다.
1. 신뢰도 높은 온라인 통제 실험 A/B 테스트
https://brunch.co.kr/@rightbrain/206
신뢰도 높은 온라인 통제 실험 A/B테스트 - 1편
A/B Test | 하나의 정확한 측정이 수 천 개의 전문가 의견보다 가치 있다.– 그레이스 호퍼 제독(Admiral Grace Hopper) 1. Intro 이 글을 보는 당신, 인스타그램을 사용하고 계신가요? 그렇다면 인스타그램
brunch.co.kr
https://brunch.co.kr/@rightbrain/221
신뢰도 높은 온라인 통제 실험 A/B테스트 - 2편
A/B Test - Part 2 | 1편에서 계속 - 이전글 바로 보기 4) 대조군과 실험군 생성 다음은 표본 즉, 가설 검증에 필요한 실험 참가자의 숫자를 정해야 합니다. 너무 적은 수의 관측치를 표본으로 추출
brunch.co.kr
주말에 제대로 읽으려고 미뤄뒀다..
아래 개념적인 내용에 대해서는 요약하지만 구체적인 예시는 원글을 볼 것
- A/B 테스트란 대조군(control)과 실험군(treatment) 2개의 종류를 비교하는 가장 간단한 형태의 종합 대조 실험 (controlled experiment)
- 가설 수립 시 고려해야 할 점
- 전체 평가 기준(Overall Evaluation Criterion, OEC) 선정
- 실험 기간 동안 단기적으로 측정 가능하며 / 장기적으로는 전략적인 목표를 추진할 수 있어야 한다 / 적절한 수준의 민감도
- 파라미터 값과 우선순위 정렬
- ICE (Impact / Confidence / Ease), MosCow (Must have, Should have, Could have, Won't have) 프레임워크
- 가설 서술
- 참/거짓의 판별이 가능한 수준의 문장으로 서술해야 한다
- 테스트하고자 하는 주체를 정확히 명시해야 한다
- 귀무가설과 대립가설을 필요로 한다
- 귀무가설 : 차이가 없거나 의미 없는 경우의 가설
- 대립가설 : 연구를 통해 입증되기를 주장하는 가설
- 대조군과 실험군 생성
- 표본 : 가설검증에 필요한 실험 참가자의 숫자
- 너무 적은 수를 관측치를 표본으로 추출할 경우 편향(bias)가 생길 수 있다 - 최소표본크기를 정해야 함
- 샘플링 방법 예시
- 사용자 id or 로그인 기준
- 쿠키 생성 식별자 기준 : 장기적인 테스트에선 취약
- 디바이스 id 기준 : 플랫폼 간 호환성 떨어지지만 변경 불가능
- A/B 테스트 집행 기간 결정
- 과도한 테스트 기간 설정 : 기간에 따라 표본 수는 증가하게 되고 트래픽 낭비 같은 문제점이 생길 수 있음
- 초두 효과 : 테스트 초기 효과가 크거나 작을 수 있으므로 결과값에 대한 신뢰도가 낮을 수 있음
- 주간 또는 공휴일 등 시기 상으로 행동에 영향을 미치는 경우 고려해야 한다
- 테스트 수행
- 테스트의 적절성을 우선적으로 검증해야 한다
- SRM : 테스트 설계 시, 설정해 놓은 실험군과 대조군의 비율이 테스트 종류 후, 실제 집단 간 비율과 차이가 발생
→ 이 경우 테스트 결과에서 지표의 신뢰성을 잃게 된다 - P값 : 통계적 가설 검정을 위한 지표 / 실험군과 대조군의 결과값이 같다는 귀무가설 하에 표본을 추출할 경우 대조군의 결과값 또는 그보다 더 극단적인 값이 관찰될 확률
→ P값이 0.05 미만일 경우 귀무가설을 기각하고 대립가설을 채택 = 실험이 의미가 있다는 뜻 = 실험이 유의미하다
- 전체 평가 기준(Overall Evaluation Criterion, OEC) 선정
어휴 정리하기 힘들었다
A/B 다음에 진행할 땐 다시 한 번 찾아보고 진행해봐야지
2. 재미없는 일도 재미있게 하는 생각법 | 한명수 우아한형제들 CCO
https://bemyb.kr/session_review/?idx=15106387&bmode=view
재미없는 일도 재미있게 하는 생각법 | 한명수 우아한형제들 CCO : 비마이비(Be my B) ; 브랜드 경험
이 <세션 맛보기>는 비마이비의 <자기 분야에서 최고가 된 선배들은 어떻게 일할까?> 시리즈 세션의 세 번째 순서, 한명수 우아한형제들 CCO의 저서 ⌜말랑말랑 생각법⌟을 바탕으로 한 <재미없
bemyb.kr
- 요새 일의 재미를 잃고 있는데 좀 찾고 싶다는 생각
- 원래 나의 일에 대한 가치관이 '당연히 힘들 때도 있겠지만 그 사이사이에 재미가 있어야 한다'였는데~ 언제 이렇게 되었을까? 동태눈깔에서 초롱초롱눈알로 돌아가고 싶다
3. 배민 앱에도 AI 서비스가? AI 서비스와 MLOps 도입기 🦾
https://techblog.woowahan.com/11582/?utm_source=oneoneone
배민 앱에도 AI 서비스가? AI 서비스와 MLOps 도입기 🦾 | 우아한형제들 기술블로그
{{item.name}} ChatGPT의 등장으로 전 세계적으로 AI 서비스에 대한 관심이 높아졌습니다. 과연 ChatGPT와 유사한 AI 서비스가 우아한형제들에서도 있을까요? 없을까요? 🤔 (생각할 시간 3초 …) 정답은
techblog.woowahan.com
- MLOps에 대한 설명이 잘 되어있다
- 전에 AI 모델을 제품에 올리려고 많은 논의까지는 했고 실현되지 않은 적이 있었는데 결국 모델의 퀄리티 문제였다. 그런데 사실 AI 모델은 계속 학습을 통해서 발전해야 하는 부분이 있는데 그런 학습파이프라인까지는 고려되지 않은 것도 문제였던 듯한
- 요새 AI에 대한 관심이 높아져서 여기저기 Chat GPT를 붙이고 난리가 났는데 실제 제품에 어떤 가치를 줄 수 있는지도 함께 생각해보아야 할 듯
4. ‘잘파세대’가 가장 많이, 오래, 자주 사용하는 앱은?
http://www.madtimes.org/news/articleView.html?idxno=17570&utm_source=oneoneone
‘잘파세대’가 가장 많이, 오래, 자주 사용하는 앱은? - 매드타임스(MADTimes)
[ 매드타임스 채성숙 기자] 앱/리테일 분석 서비스 와이즈앱·리테일·굿즈가 잘파세대로 불리는 1020세대가 가장 많이, 가장 오래, 가장 자주 사용하는 스마트폰 앱을 조사하여 발표했다.최근 MZ
www.madtimes.org
- 정말 끊임없이 말을 만든다
- 잘파세대 : Z + a 세대라고 그냥 현시점의 1020을 말하는 것이다
- 1020이 가장 자주사용하는 앱의 순위에 토스가 들었다는 점이 나름 인상깊음 : 끝없이 돈을 태워서 주니어를 토스에 익숙해지게 하려는 시도가 그래도 작동했구나 싶다
5.
