CNU-AI 소프트웨어 텀프로젝트

개요

주어진 이미지, 텍스트, 그래프 데이터를 이용해 트랜스포머 기반의 멀티모달을 학습해 4개의 Task를 해결하는 프로젝트.

주어진 이미지에 있는 도형 종류들의 집합을 알아내는 문제.

주어진 텍스트에 있는 색깔 종류들의 집합을 알아내는 문제.

주어진 이미지에 대해 묘사하는 텍스트를 생성하는 문제.

주어진 이미지에 대해 묘사하는 그래프를 생성하는 문제.

Name		Name	Last commit message	Last commit date
Latest commit History 2 Commits
data		data
model		model
release		release
transformer		transformer
util		util
01_image_to_shape.py		01_image_to_shape.py
01_image_to_shape_evaluation.py		01_image_to_shape_evaluation.py
02_text_to_color.py		02_text_to_color.py
02_text_to_color_evaluation.py		02_text_to_color_evaluation.py
03_image_to_text.py		03_image_to_text.py
03_image_to_text_evaluation.py		03_image_to_text_evaluation.py
04_image_to_graph.py		04_image_to_graph.py
04_image_to_graph_evaluation.py		04_image_to_graph_evaluation.py
README.md		README.md
analyze.ipynb		analyze.ipynb
data_test.ipynb		data_test.ipynb
graph_augment.ipynb		graph_augment.ipynb
img_graph.py		img_graph.py
img_graph_data.py		img_graph_data.py
img_graph_main.py		img_graph_main.py
img_shape.py		img_shape.py
img_shape_data.py		img_shape_data.py
img_shape_main.py		img_shape_main.py
img_text.py		img_text.py
img_text_data.py		img_text_data.py
img_text_main.py		img_text_main.py
predict.ipynb		predict.ipynb
pretrain.py		pretrain.py
pretrain_data.py		pretrain_data.py
pretrain_main.py		pretrain_main.py
test.ipynb		test.ipynb
text_augment.ipynb		text_augment.ipynb
text_color.py		text_color.py
text_color_data.py		text_color_data.py
text_color_main.py		text_color_main.py
tokenize.ipynb		tokenize.ipynb
transfer.ipynb		transfer.ipynb