[AI] 이미지 캡셔닝(Image Captioning)이란?

🟡 Image Captioning

 

위와 같은 이미지가 주어졌을 때 "파도를 타는 서퍼"와 같은 캡션을 생성하는 것이다.

즉, 이미지만을 이용해서 해당 이미지에 대한 설명을 문장으로 나타내줄 수 있도록 하는 것‼

 

 

 

참고자료 💨💨💨

https://www.tensorflow.org/tutorials/text/image_captioning

눈에 띄는 이미지 캡션  |  TensorFlow Core

 

 

 

 

 

🟡 CNN + RNN

CNN으로 이미지를 처리하고,

RNN으로 문장을 만들어냄.

 

 

✅ CNN

합성곱 신경망(Convolution Neural Network) 알고리즘은 기존의 방식과 달리 데이터의 특징을 추출하여 특징들의 패턴을 파악하는 구조이다.

 

 

• Convolution : 데이터의 특징을 추출하는 과정으로 데이터에 각 성분의 인접 성분들을 조사해 특징을 파악하고 파악한 특징을 한 장으로 도출시키는 과정. 이 과정은 하나의 압축 과정이며 파라미터의 갯수를 효과적으로 줄여주는 역할을 한다.
• Pooling : Convolution 과정을 거친 레이어의 사이즈를 줄여주는 과정이다. 데이터의 사이즈를 줄여주고, 노이즈를 상쇄시키고 미세한 부분에서 일관적인 특징을 제공한다.

→ CNN은 정보추출, 문장분류, 얼굴인식 등의 분야에서 널리 사용되고 있음.

 

 

 

✅ RNN

순환신경망(Recurrent Neural Network) 알고리즘은 반복적이고 순차적인 데이터 학습에 특화된 인공신경망의 한 종류로써 내부의 순환구조가 들어있다는 특징을 가지고 있다.

 

→ 순환구조를 이용하여 과거의 학습을 Weight를 통해 현재 학습에 반영함. 기존의 지속적이고 반복적이며 순차적인 데이터 학습의 한계를 해결한 알고리즘이고, 현재의 학습과 과거의 학습의 연결을 가능하게 하고 시간에 종속된다는 특징도 가지고 있음.

음성 웨이브 폼을 파악하거나 텍스트의 앞 위 성분을 파악할 때 주로 사용됨.