베이지안신경망(贝叶斯神经网络(BNN)은과적합(过度拟合)을제어하기위해사후추론을사용해표준네트워크를연장한것을가리킵니다。넓은의미에서보면베이지안방식은통계적인방법론을사용해모델매개변수(신경망의가중치와편향)를비롯한모든것에확률분포가수반된다고볼수있습니다。프로그래밍언어에서특정값을취할수있는변수는해당변수에액세스할때마다매번같은결과를반환합니다。간단한선형모델개정판부터시작합시다。여기에서는일련의입력특징점에가중치를적용한합을사용해출력을예측합니다。이에비해,베이지안분야에서는일명확률변수(随机变量)라고도하는서로비슷한엔터티가있어액세스할때마다다른값을내놓습니다。베이지안식으로말하자면,기록데이터는전반적인행동에대해우리가갖고있던사전지식을나타내며여기에서각각의변수에는나름의통계적속성이있어시간이흐르면달라집니다。X가확률변수이며정규분포를나타낸다고가정합시다。이경우x에액세스할때마다반환된결과는매번값이다를것입니다。이렇게확률변수로부터새값을얻는프로세스를샘플링이라고합니다。어떤값이나오는지는그확률변수의연결된확률분포에좌우됩니다。매개변수면에서는이때문에신경망이학습한매개변수의성격과형태를추론할수있다는뜻이됩니다。최근들어이분야의활동이활발해PyMC3,爱德华,斯坦과같은수많은확률론적프로그래밍라이브러리가출현했습니다。베이지방식은게임개발부터신약개발에이르기까지다양한분야에서사용되고있습니다。
베이지안방식을이용하면한질문에딱한가지답만고려할것이아니라,여러답변이분포된전체를고려할수있습니다。이방식을취하면다음과같은문제를자연스럽게해결할수있습니다。