[DL] bidirectional RNN 등장배경과 파라미터 카운팅

지금까지 우리는 문장의 다음 단어를 예측하기 위해서 과거의 단어를 들여다보는 RNN 방식에만 집중했다. 
하지만 순서대로 읽지 않고 미래의 단어를 거꾸로 참조하여 빈칸을 예측하는 방식도 충분히 고려해볼 만하다. 

한방향으로만 예측할 수 있는 RNN의 한계점을 개선하기 위하여 시퀀스 이전부분 뿐만 아니라 이후 부분까지 결합하여 예측하는 bidirctional RNN 모델이 나왔다.

bidirctional RNN 모델은 양방향의 네트워크 구조로, 하나는 왼쪽에서 오른쪽으로 진행하지만 다른 하나는 오른쪽에서 왼쪽으로 진행한다. 이렇게 양방향에서 진행하는 hidden layer에 대한 정보를 유지하기 위해서 이 네트워크는 양방향 W, b를 기억하느라 2배의 메모리를 사용한다.

 

model= Sequential()                                                                                         
model.add(Bidirectional(SimpleRNN(64,return_sequences = True),input_shape=(3,1)))
model.add(Dense(32, activation = 'relu')) 
model.add(Dense(40)) 
model.add(Dropout(0.15))
model.add(Dense(50)) 
model.add(Dropout(0.1))
model.add(Dense(1))

model.summary()

 

파라미터 갯수 구하기
[bidirectional] : 2 * 4 *units * (feature + bias + units) = parms