Recurrent Neural Network ; RNN

Recurrent Neural Network

순환과 관련된 것 : 시간과 관련되어 있다.
ex, 구글 검색창에  앞 단어만 입력해도 자동입력 되는 거

이전의 기억 : short_term_memory

직전의 기억을 얼만큼 적용할 지 학습시키는 것. 

DNN 구조에다가 직전 처리 구조만 더하기로



RNN과 RNN 연결
RNN을 2번 쓰고 싶을 때 
Stacked_SimpleRNN 사용


return_sequences = True
#Stacked, 쌓아놓으려면 return_sequenced = True여야함. Hidden State로 출력을 내보내겠다.
#마지막엔 False로 하나로 내보내도록 함.




LSTM - Input Gate


과거 정보에 새로운 정보(Dogs)를 추가하는 기능

g 중요도 : tanh
i 반영비율 : sigmoid 를 학습하면서 기억을 더해주게 됨.




LSTM - Output Gate

LTM은 바뀌지 않고, 다음 Memory cell에 전달함.

ht 중요도 : tanh
O 반영비율 : sigmoid