AI10 Contrastive Clustering 예... 논문 많이 읽긴 했는데 정리를 안하다가 이제 정리를 하게 되네요. 읽은 논문 중 아이디어가 간단하면서도 엄청난 효과를 가진 Constrastive Clustering에 대해 내용을 다시 정리하고 이해하기 위해 글을 씁니다. ======================================================================================== Motivation : 기존 clustering 기법은 Representation vector에 에 있어서 대표성이 약함. Representation Learning 이 대두됨에 따라 Representation space를 작업해 새로운 가치를 생산해 내는 기법이 발전되고 있음. 기존 클러스터링 기법은 OffLine 방.. 2023. 6. 8. Wind Tunnel: Towards Differentiable ML Pipelines Beyond a Single Model 본 글은 1월 27일 연구실 세미나 후에 정리하여 쓴 글이다. ** 서울대 박사과정 논문이다... 나도 러닝 아키텍쳐/ 파이프라인 공부를 하는 입장에서 많이 배웠다.. 열심히 하자! Motivation •Multi-operator pipeline vs. Single model 이 논문에서는 많은 오퍼레이터를 가진 ml 파이프라인을 싱글 모델로 대체하면 되지 않냐는 물음에 다음과 같이 대답한다. 사이킷 런 모델의 경우 최소 2개의 오퍼레이터에서 최대 43개의 오퍼레이터가 사용된다. 특히 실무에서 사용되는 ml파이프라인은 최소 수십개에서 최대 수백개의 오퍼레이터가 같이 사용되고 있다. 하지만, 본 논문에서는 많은 파이프라인을 하나의 모델로 대체했을 경우 여러가지 조합이 불가능 하다는 점에서 ML 파이프라인은.. 2023. 1. 27. Semi-supervised Active Learning for Semi-supervised Models: Exploit Adversarial Examples with Graph-based Virtual Labels 오랫동안 방치해 놓던 블로그를 다시 시작하면서, 읽었던 논문들을 리뷰하는 시간을 가지고자 한다. 이 글은 연구실 내부 세미나때 발표한 내용을 바탕으로 후에 정리한 내용이다. ICCV2021 에서는 Semi-supervised Active Learning for Semi-supervised Models: Exploit Adversarial Examples with Graph-based Virtual Labels 이라는 논문이 발표되었다. BackGround : 익히 알고 있듯, 데이터가 수집될 때 아무 Annotation이 없는 상태, 즉 Raw한 데이터로서 수집된다. 하지만 Unsupervised Learing의 접근방식이 아닌 이상, Label은 필요하다. 이때 전체 중 조금의 데이터를학습한 모델을 바.. 2023. 1. 17. 딥러닝 -03 Recurrent Neural Network Rnn 은 대표적인 ai 분야중 하나이다. Cnn 은 이미지 처리 등, 복잡한 grid 데이터를 하나의 flat으로 펼치는 것에 집중화 되어 있다면, Rnn 은 순차적인 데이터, 즉 시간과 연관이 있는 데이터를 처리하기에 알맞은 데이터 처리 이다. 비디오, 주식, 에세이 등 데이터와 데이터간이 시간적으로 연관되는 데이터에 rnn 알고리즘을 사용한다. Rnn 의 특징중 하나는 과거의 데이터를 기억하고 있다는 점이다. 네트워크의 기억은 지금까지의 입력 데이터를 요약한 정보라고 볼 수 있는데, 새로운 입력이 들어 올 때마다 기억하고 있는 바를 조금씩 바꿔준다. 결국 입력된 정보를 모두 처리 하고 난 뒤는 neural network 에 남아 있는 요소들은 데이터들의 특징을 추출한 어느 수치라는 것을 알 수 있다.. 2020. 4. 4. 이전 1 2 3 다음
