์ดˆ๊นƒ๊ฐ’ 1

ํ•™์Šต๊ณผ ๊ด€๋ จ๋œ ๊ธฐ์ˆ ๋“ค

๐Ÿ’ก 'Deep Learning from Scratch'๋ฅผ ์ฐธ๊ณ ํ•˜์—ฌ ์ž‘์„ฑ 1. ๊ฐ€์ค‘์น˜์˜ ์ดˆ๊นƒ๊ฐ’(Initial value) ์‹ ๊ฒฝ๋ง์˜ ํ•™์Šต์—์„œ ํŠนํžˆ๋‚˜ ์ค‘์š”ํ•œ ๊ฒƒ์€ ๊ฐ€์ค‘์น˜์˜ ์ดˆ๊นƒ๊ฐ’์ž…๋‹ˆ๋‹ค. ๊ฐ€์ค‘์น˜์˜ ์ดˆ๊นƒ๊ฐ’์„ ๋ฌด์—‡์œผ๋กœ ์„ค์ •ํ•˜๋Š๋ƒ์— ๋”ฐ๋ผ ์‹ ๊ฒฝ๋ง ํ•™์Šต์˜ ์„ฑํŒจ๊ฐ€ ๊ฐˆ๋ฆฌ๋Š” ๊ฒฝ์šฐ๊ฐ€ ๋งŽ์Šต๋‹ˆ๋‹ค. 1.1 ์ดˆ๊นƒ๊ฐ’์„ 0์œผ๋กœ ์„ค์ • ๊ฐ€์ค‘์น˜์˜ ์ดˆ๊นƒ๊ฐ’์„ ๋ชจ๋‘ 0์œผ๋กœ ์„ค์ •ํ•˜๋ฉด, ์˜ฌ๋ฐ”๋ฅธ ํ•™์Šต์ด ์ด๋ฃจ์–ด์ง€์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ๊ฐ€์ค‘์น˜๊ฐ€ ๋ชจ๋‘ 0์ผ ๊ฒฝ์šฐ, ์ˆœ์ „ํŒŒ์‹œ ๊ฐ™์€ ๊ฐ’๋“ค์ด ๋‹ค์Œ์œผ๋กœ ์ „๋‹ฌ๋ฉ๋‹ˆ๋‹ค. ์ด๋Š” ์˜ค์ฐจ์—ญ์ „ํŒŒ๋ฒ•(back-propagation)์—์„œ ๋ชจ๋“  ๊ฐ€์ค‘์น˜์˜ ๊ฐ’์ด ๋™์ผํ•˜๊ฒŒ ๊ฐฑ์‹ ๋˜๋„๋ก ๋งŒ๋“ญ๋‹ˆ๋‹ค. ์ด๋ ‡๊ฒŒ ๊ฐ€์ค‘์น˜๊ฐ€ ๊ณ ๋ฅด๊ฒŒ ๋˜์–ด๋ฒ„๋ฆฌ๋Š” ์ƒํ™ฉ์„ ๋ง‰๊ธฐ ์œ„ํ•ด ์ดˆ๊นƒ๊ฐ’์€ ๋ฌด์ž‘์œ„๋กœ ์„ค์ •ํ•ด์•ผ ํ•ฉ๋‹ˆ๋‹ค. 1.2 ์€๋‹‰์ธต(Hidden layer)์˜ ํ™œ์„ฑํ™”๊ฐ’ ๋ถ„ํฌ 1.2์ ˆ์—์„œ๋Š” ๊ฐ€์ค‘..