통계학 기초 정리 (6) : 가설검정(재현가능성, p-해킹, 선택적보고)

1. 재현가능성 

동일한 연구나 실험을 했을 때 우연한 결과가 계속 나오는 것이 아니라, 언제 어떤 상황에서도 일관된 결과값이 나와야 의미가 있다. 연구의 신뢰성을 높이기 위함. 
- 재현 가능성이 없다면 아무런 의미가 없는 것이다. 
 

• 최근 p값에 대한 논쟁이 두드러지고 있음 
  • p값을 사용하지 않는 것이 좋다. 
  • 유의수준을 0.05에서 변경하는 것이 좋다.

가설검정의 원리상의 문제나 가설검정의 잘못된 사용이 낮은 재현성으로 이어진다는 문제 발생
p-값이 우리가 원하는 수치가 나왔음에도 잘못된 결과가 나올 수 있기 때문에, 너무 맹신해서는 안된다. 
 
 
✅재현성 위기의 원인
- 실험 조건을 동일하게 조성하기 어려움
- 완전 동일하게 다시 똑같은 실험을 수행하는 것이 쉽지 않음 
- 가설검정 자체도 100% 검정력을 가진 것이 아니기 때문에 오차가 나타날 수 있음 
 
유의수준을 너무 낮추면 베타값이 커져버리는 문제가 발생한다. 
처음부터 데이터를 많이 수집하는 것이 중요하다. 이렇게 해결을 해볼 수 있다. 가설을 잘못 세우면 얻어걸리는 것도 있다.  
 
 

2. P-해킹 

• 인위적으로 p-값을 낮추어 버리는 것이 p-해킹이다. 
• 선택적으로 0.05인 결과만 선택적으로 보고하는 행위
• 데이터의 수를 늘리다보니 특정 데이터 수를 기록할 때 잠깐 p값이 0.05 이하를 기록함으로 이를 바탕으로 대립가설을 채택하는 것을 조심해야함. 
• 마음에 드는 상황만 골라서 보고하면 안됨. 엄격한 추가실험을 수행

 

이것은 과학인가 조작인가, 피-해킹(p-hacking)

 

🚫p-해킹 방지방법🚫

 

여러 변수들의 수집, 가공 과정이 미리 정해지고 결과에 따라서 변경되지 말아야 합니다. (혹은 합리적으로 변경되어야 합니다.)
중요한 변수들만이 측정되어야 하며, 충분히 적절한 샘플 사이즈를 마련해야 합니다.
통계적으로 유의한 결과보다 데이터 수집과 연구 방법론에 대한 강조가 필요합니다.
삼중 맹검법(Triple blind)이 필요할 수 있습니다. 데이터 처리 과정에서도 처리에 대한 blind를 하는 것입니다.

출처: https://steemit.com/kr/@doctorbme/ethics-don-t-worry-p-hacking-p

 

3. 선택적 보고

유의미한 결과만을 보고하고, 유의미하지 않은 결과는 보고하지 않는 행위 
-> 데이터 분석의 결과를 왜곡하고, 신뢰성을 저하시킴
 

• 결과를 보면서 가설을 새로 설정했는데 마치 처음부터 설정한 가설이라고 이야기 할 때
• 유의미한 결과만 공개할 때 

 

4. 자료수집 중단 시점 결정

데이터 수집을 시작하기 전에 수집 중단 시기를 명확하게 결정하지 않으면, 원하는 결과가 나올 때까지 데이터를 계속 수집할 수 있기 때문에 결과에 많은 영향을 미칠 수 있다. 
 
50명의 데이터를 수집하기로 했으나, 원하는 결과가 나오지 않자 100명까지 추가로 수집 

스파르타 강의안

 
 

5. 데이터 탐색과 검증 분리

검증을 해야 하는 상황에서 탐색할 데이터와 검증할 데이터를 반드시 분리해야 함 
학습, 검증, 평가 세 가지 데이터로 나누어서 사용하는 것이 일반적이다.