Tobigs Text Seminar 2020, 13 & 14

---

1. 세미나 소개

모두 10주 간 세션 듣느라 (과제 하시느라) 고생 많으셨습니다! 😬

앞으로 두 달 동안은 함께 공부하는 입장이 되어 세미나를 진행하게 됩니다.

투빅스 13기 친구들도 자연어처리에 대한 지식이 많지 않기 때문에 다 같이 함께 열심히 공부했으면 좋겠습니다!

✔️ CS224n: Natural Language Processing with Deep Learning

Stanford University의 CS224n winter 2019 커리큘럼을 따라 세미나가 진행됩니다.

다만, 그동안 배웠던 내용을 충분히 숙지하지 못한 채 낯선 자연어처리 공부를 하게 되면 어렵기 때문에 0주차 강의를 추가하였습니다.

세계적으로 유명한 조경현 교수님의 자연어처리 강의입니다. Chapter B까지 들으시고 그동안 배웠던 내용을 가볍게 Remind하시면 됩니다. 0주차 강의에 별도의 과제는 없으며, 강제성도 없지만 앞으로 배울 내용이 쉽지 않은 만큼 기초 공부를 한 번 더 하시는 것을 권합니다.

추가적인 내용은 노션을 통해 확인해 주시길 바랍니다.

세미나 강의자료 및 블로그 리뷰, CS224n 강의영상은 하단에 링크가 첨부되어 있습니다.

과제물을 확인하시려면 assignment를 참고해주세요.

2. 세미나 커리큘럼

Date	Week	Topic	Reviewer	Slides	Review	Lecture
Oct 28, 2020	1	Lecture 1 – Introduction and Word Vectors	조혜원	Slide	Velog	Video
Oct 28, 2020	1	Lecture 2 – Word Vectors and Word Senses	이혜린	Slide	Velog	Video
Nov 4, 2020	2	Lecture 3 – Word Window Classification, Neural Networks, and Matrix Calculus	고경태	Slide	Velog	Video
Nov 4, 2020	2	Lecture 4 – Backpropagation and Computation Graphs	이재빈	Slide	Velog	Video
Nov 11, 2020	3	Lecture 5 – Linguistic Structure: Dependency Parsing	오진석	Slide	Velog	Video
Nov 11, 2020	3	Lecture 6 – Language Models and RNNs	김민정	Slide	Velog	Video
Nov 18, 2020	4	Lecture 7 – Vanishing Gradients, Fancy RNNs	최혜빈	Slide	Velog	Video
Nov 18, 2020	4	Lecture 8 – Translation, Seq2Seq, Attention	고경태	Slide	Velog	Video
Nov 25, 2020	5	Lecture 9 – Practical Tips for Projects	민거홍	Slide	Velog	Video
Nov 25, 2020	5	Lecture 10 – Question Answering	김미성	Slide	Velog	Video
Dec 16, 2020	6	Lecture 11 – Convolutional Networks for NLP	이예진	Slide	Velog	Video
Dec 16, 2020	6	Lecture 12 – Subword Models	장예은	Slide	Velog	Video
Dec 16, 2020	6	Lecture 13 – Contextual Word Embeddings	오진석	Slide	Velog	Video
Dec 23, 2020	7	Lecture 14 – Transformers and Self-Attention	정주원	Slide	Velog	Video
Dec 23, 2020	7	Lecture 15 – Natural Language Generation	김민정	Slide	Velog	Video
Dec 23, 2020	7	Lecture 18 – Constituency Parsing, TreeRNNs	정민준	Slide	Velog	Video

3. 세미나 규칙 안내

• 매주 수요일 19:00 - 22:00에 진행됩니다.

• 한 명당 1~2번의 강의 리뷰를 진행합니다.

• 강의를 듣지 않으면 의미가 없습니다. 이를 경계하기 위해 다음과 같은 규칙을 만들었습니다.

  1. 매 주 각 강의마다 최소 1개의 질문거리를 갖고 올 것 (즉, 매 주 최소 2~3개)
  2. 질문거리

  • 강의 중 이해가 잘 되지 않는 부분
  • 강의에는 없지만 추가로 궁금한 사항
  • 강의에는 없지만 추가적으로 공유하고 싶은 내용

  3. 준비한 질문은 세미나 전까지 Notion 질문 페이지에 올릴 것

  ⇒ 위 질문거리를 준비하지 않았을 시, 기존 과제 미제출 상황과 동일한 벌금 부과

• CS224n 수업의 과제를 따라가며, 목표는 Assignment 4까지 완료하는 것입니다.
  하나의 Assignment 안에 여러 문제가 있으며, 질문에 대답하는 문제와 코딩으로 구현하는 문제가 함께 있습니다.

  1. 각 Assignment의 Deadline은 격주로 합니다. (예: Assignment1은 2주차 세미나 전까지 마감)

  2. Assignment 문제의 각 세부 문제는 하루 전 랜덤으로 인원을 선정하여 발표합니다.

     다른 사람에게 설명하기 위해 주석을 다는 것을 권장합니다.

  3. 본인의 Assignment 수행 결과는 모두가 볼 수 있도록 해당 레포에 upload 부탁드립니다.

• 지각과 결석에 대한 벌금은 기존과 동일합니다.

4. 저장소 사용 규칙

• 팀 단위 저장소를 처음 사용해보는 분을 위하여 다음과 같이 작성했습니다. 참고부탁드려요

  • 강의자는 자신이 할당된 주차, 강의에 맞게 자료를 업로드 해주셔야 합니다.
  • 사전 충돌을 방지하기 위해서 Pull requests를 받도록 하겠습니다. 강의자분은 레포를 fork하여 로컬 레포에서 작업 후 Pull requests를 보내주시면 감사하겠습니다.(이 부분이 어렵다면 깃 강의자에게 문의주세요.)
  • 강의자가 Pull requests에 담아야할 작업(메인 리드미에 Slide link 채우기, 강의자료 업로드 및 해당 주차 markdown 작성, 기타..)

• 저장소 구조

Text-Seminar
├── Assignment # for assignment
│   ├── assignment1
│   ├── assignment2
│   ├── assignment3
│   └── assignment4
├── Slides # for lecture files
│   ├── week1
│   ├── week2
│   ├── week3
│   ├── week4
│   ├── week5
│   ├── week6
│   └── week7
├── LICENSE
├── .gitignore
└── README.md