데이터와 모델은 AI 시스템 개선을 위한 두 가지 핵심 요소입니다. 첫째, 데이터와 관련해서는 두 가지 선택이 있습니다: 라벨링 비용은 저렴하지만 라벨 노이즈가 있는 대규모 데이터, 라벨링은 정확하지만 라벨링 비용이 높은 소규모 데이터입니다. 전자의 경우 데이터 견고성을 달성하고, 후자의 경우 데이터 효율성을 달성하려는 시도를 소개합니다. 둘째, Vision Transformer는 주류 컴퓨터 비전 모델이 되었지만 입력 이미지 해상도와 관련하여 2차 계산 복잡도를 요구합니다. 이미지 분류 및 개체 감지를 위한 효율적인 Transformer 백본을 달성하기 위해 개발한 몇 가지 최신 기술을 소개합니다. 마지막으로, 끊임없이 변화하는 분포의 스트리밍 데이터를 처리해야 하는 필요성으로 인해 지속 학습의 중요성이 증가하고 있습니다. 앞서 언급한 Data Robustness, Efficiency, Vision Transformers 주제를 아우르는 지속적인 학습의 최근 경향에 대해 논의합니다.
Data and models are the two key factors in improving AI systems. First, there are two choices in data collection: large-scale data with cheap labeling cost but resulting in severe label noise, and small-scale data with accurate labels but resulting in high labeling cost. We introduce our attempts to achieve data robustness for the former case and data efficiency for the latter case. Second, Vision Transformer has become a mainstream computer vision model, but it requires quadratic computational complexity with respect to input image resolution. We introduce several modern techniques we developed to achieve efficient Transformer backbones for image classification and xss-object detection. Lastly, the importance of continual learning has been increasing by the need of handling streaming data with ever-changing distributions. We discuss the recent trends of continual learning encompassing the aforementioned topics of Data Robustness, Efficiency, and Vision Transformers.
* 발표는 한국어로 진행됩니다 (The talk will be in Korean).
* 우측 링크를 통해 연사님의 슬라이드를 확인해 보세요: [다운로드]
