가설 공간 (Hypothesis Space) 용어에 대한 정의를 찾아보았다.
... , choosing a representation for a learner is tantamount to choosing the set of classifiers that it can possibly learn. If a classifier is not in the hypothesis space, it cannot be learned. ...
A Few Useful Things to Know about Machine Learning / Pedro Domingos
https://homes.cs.washington.edu/~pedrod/papers/cacm12.pdf
Representation is basically the space of allowed models (the hypothesis space), but also takes into account the fact that we are expressing models in some formal language that may encode some models more easily than others (even within that possible set).
Machine Learning = Representation + Evaluation + Optimization | by Dev Nag | Medium
여기까지 보고 유추할 수 있는 내용은 "문제와 답을 이어주는 가설들이 있고, 이 가설들의 집합"이 가설 공간이다.
이 가설 공간에 모든 경우에 맞는 정답(함수, 모델, 분류기 등..)이 있다면 그것을 찾고, 없다면 가장 유사한 가설을 찾는 것이 학습(Learning)이 될 것이다.
필자는 연구자들의 연구행위에 빗대어 생각해보았다. 연구행위는 여러개의 가설을 두고 실험을 진행할 것이다. 이때 이 여러 가설들의 집합이 가설 공간이 될 것이다. 그리고 실험을 통해 그 가설이 맞느냐 틀리냐를 검토하고, 찾고자하는 문제와 결과에 맞는 가설을 찾아낼 것이다. 이 과정에 필요한 연산을 기계에게 시켜서 결과를 도출해 내는 것이 머신 러닝이라 생각할 수 있겠다.
딥러닝이 가설 공간에 영향을 준 부분을 생각해보자면, 그동안의 머신러닝 기법들은 연산 비용이 높았기에 가설 공간의 크기, 범위가 한정될 수 밖에 없었다. 머신러닝의 목적은 대부분 비선형방정식이라는 문제에서 가장 유사한 선형방정식이라는 정답을 구하는 것이다. 그동안 전통적인 머신러닝이 발전할 때 다항함수에서 정답을 찾는다면 뭐 10차함수쯤 풀 수 있는 환경이었다고 하면, 성능 향상을 위해 가설 공간을 어떻게 지정할지, 어떤 함수를 변수에 같이 넣어야 효과적인지와 같은 방법을 찾았을 것이다. 하지만 딥러닝 시대가 되어 10^100차 함수도 너끈히 해결할 수 있는 연산 환경이 되면서 선택할 수 있는 가설 공간의 범위가 무한에 가깝게 확장되었다. 물론 그렇다고 그안에 '정답'이 있다는 보장이 있진 않으니.. 여전히 정답율을 높이기 위한 노력을 할 것이며, 정복하지 못한 더 어려운 문제에 대해 도전할 수 있는 환경이 되었다.
참고자료
https://www.philgineer.com/2020/08/01-ml.html
https://eair.tistory.com/5
https://machinelearningmastery.com/what-is-a-hypothesis-in-machine-learning/
http://eddiethegalic.blogspot.com/2016/04/space-of-hypotheses.html
https://www.deeplearningbook.org/contents/ml.html
'Computer Science > Machine Learning' 카테고리의 다른 글
[3] 머신러닝 기본개념 - 레이블 (Label) (0) | 2022.12.09 |
---|---|
[2] 머신러닝 기본개념 - 훈련/테스트 데이터 (Training and Test dataset) (0) | 2022.12.08 |
[0] The Quest for Machine Learning (0) | 2022.12.07 |