머신러닝과 딥러닝 썸네일형 리스트형 [MoCo] Momentum Contrast for Unsupervised Visual Representation Learning (2019) 리뷰 논문 리뷰 동기 2023년 10월 포스코 인공지능연구원에서 컴퓨터 비전 프로젝트(족적 검색 시스템)를 수행하면서 자가 지도 학습(self-supervised learning, 이하 SSL)에 관심을 갖게 되었다. (관련 본인 글: https://seanshkim.tistory.com/114) MoCo(Momentum Contrast for Unsupervised Visual Representation Learning)는 2019년 Facebook AI Research에서 발표한 논문으로, 컴퓨터 비전 분야의 SSL 방식 모델의 대표 격이라고 할 수 있겠다. MoCo를 이해한다면 이 모델의 어떤 점을 보완하고 개선하기 위해서 그 뒤로 SimCLR, DINO, MAE 같은 더 발전된 모델이 나왔는지 맥락을 .. 2024. 1. 20. 11:24 ㆍ 머신러닝과 딥러닝/논문 리뷰_Paper Review LangChain 입문 2편: Model, Prompt, 그리고 Parser란? LangChain의 큰 그림부터 먼저 살펴보자 LangChain의 공식 문서를 보면 모듈을 크게 6가지로 나눠서 설명합니다. Model I/O: 모델의 입력과 출력이 무엇인가? 어떤 모델(LLM vs. Chat model)을 사용하는가? 출력을 어떻게 구조화할 것인가?(output parser) Retrieval: LLM에 학습되지 않은 외부 데이터(문서, document)를 어떻게 활용할 것인가? 문서를 저장(vector store)하고 인덱싱(index)하는 법, 가져오는 법(retriever)은 무엇인가? Agents: LLM의 추론 능력을 활용한다면 외부 입력에 따라 다른 판단을 내리는 '동적인' chain을 구성할 수 있지 않을까?(agent types, tools) Chains: 작은 LLM .. 2023. 12. 10. 15:05 ㆍ 머신러닝과 딥러닝/LLM과 NLP LangChain 입문 1편: DeepLearning.AI 강의 수강 시작하기 (실습 환경 구축) 컴퓨터 비전만 파던 내가 LangChain 공부를 시작한 이유 포항공대 인공지능연구원에서 인턴으로 일하고 있는 지금 제가 맡고 있는 업무가 크게 2가지가 있습니다. 1) 딥러닝 모델 기반 족적(shoeprint) 이미지 검색 시스템 구축 2) GPT와 생성AI의 기업 활용 방안 조사 그 중 제가 주력하고 있는 공부는 1번, 컴퓨터 비전 분야이었고 솔직히 말하자면 NLP에는 그닥 큰 관심이 없었던 게 사실입니다. 그런데 저번주 목요일 제가 오후 반차를 쓴 사이 저도 모르게 2번 업무가 또다시 분배되었습니다. 주제는 바로... 요즘 아주 핫하다는 LangChain이었습니다. 안 그래도 chatGPT의 등장과 함께 어느덧 대세가 되어버린 것 같은 LLM 트렌드를 어느 정도는 따라잡아야겠다는 생각에 오히려 반가.. 2023. 12. 10. 10:07 ㆍ 머신러닝과 딥러닝/LLM과 NLP 이전 1 다음
