(엘)VLMS 란?, 그러나 또한 세상을 인간으로 "찾고"?

나. 시각적 언어 모델은 무엇입니까??

시각적 언어 모델 (비전 언어 모델 - VLM) 멀티 모달 AI 시스템입니다 (멀티 모달 AI 시스템) 큰 언어 모델을 결합하여 구축되었습니다 (큰 언어 모델 - LLM) 이미지 코딩 키트로 (비전 인코더), LLM이 "볼 수있는"능력을 갖도록 도와줍니다.

이 능력으로, VLM은 다양한 비디오 형식의 다양한 콘텐츠를 처리하고 이해할 수 있습니다., 자연스럽게 피드백을 만들 수있는 사진과 텍스트.

전통적인 컴퓨터 비주얼 모델과 달리, VLM은 고정 클래스 또는 분류 된 특정 작업으로 제한되지 않습니다. (분류) 또는 식별하십시오 (발각). VMLS는 동일한 이미지 또는 비디오를 설명하는 거대한 데이터 쌍에 대해 교육을 받았습니다. (이미지/비디오 캡션 쌍). 이를 통해 VLM은 자연어로 훈련 될 수 있습니다 (자연어) 전통적인 시각적 작업뿐만 아니라 내용 또는 시각적 질문 및 답변 요약과 같은 창조 작업도 수행합니다. (시각적 QNA).

II. 시각적 언어 모델이 중요한 이유는 무엇입니까??

시각적 언어 모델의 중요성을 이해합니다 (비전 언어 모델 - VLM), 먼저 전통적인 컴퓨터 시각적 모델을 고려해야합니다 (컴퓨터 비전 - CV) 일하다. 신경망을 기반으로하는 전통적인 CV 모델 (Convolutional Neural Networks - CNNS) 종종 고정 클래스 세트에서 특정 작업을 교육했습니다.. 예를 들어:

• 분류 모델 (분류 모델) 이미지에 고양이 또는 개가 포함되어 있는지 확인할 수 있습니다..
• CV 모델은 광학 문자를 식별하고 읽습니다 (OCR) 텍스트는 이미지에서 추출 될 수 있지만 문서에서 시각적으로 레이아웃이나 데이터를 이해할 수 없습니다..

이전 CV 모델은 훈련 된 작업 만 수행 할 수 있습니다., 다른 작업으로 확장하거나 교육없이 새로운 수업 세트를 식별 할 수 없습니다.. 사용 요구 사항에 변경이 있거나 새 클래스를 추가 해야하는 경우, nhà phát triển phải thu thập và gán nhãn một số lượng lớn hình ảnh, 그런 다음 모델을 다시 트레인 -매우 비싸고 시간 -소비 프로세스. 게다가, 전통적인 CV 모델은 자연어를 이해할 수 없습니다. (자연어 이해).

VLMS는 플랫폼 모델의 힘을 결합하여 새로운 시대를 열어줍니다. (기초 모델) 큰 언어 모델이있는 클립처럼 (LLMS), 그들이 언어를보고 이해할 수있는 능력을 갖도록 도와줍니다.. 처음부터, VLM은 시각적 질문 및 답변과 같은 많은 시각적 작업에 대해 인상적인 제로 샷 성능을 가지고 있습니다. (시각적 질문 응답), 나누다 (분류) 광학 문자를 식별합니다 (OCR). 그들은 또한 매우 유연합니다, 고정 클래스에 국한되지 않지만 명령을 변경하여 거의 모든 경우에 적용 할 수 있습니다. (텍스트 프롬프트).

VLM의 사용은 LLM 작업과 유사합니다.. 명령을 입력하고 이미지에 첨부 될 수있는 사람. 시스템은 입력을 처리하여 서면 피드백을 작성합니다. 사용자는 질문을 할 수 있습니다, 요약 요구 사항, 대화 컨텍스트에서 내용을 설명하거나 이미지를 분석하십시오. 게다가, VLM은 시각적 에이전트에 통합 될 수 있습니다 (시각적 에이전트) 시각적 관련 작업을 자동으로 수행합니다.

III. 시각적 언어 모델은 어떻게 작동합니까??

대부분의 시각적 언어 모델 (VLMS VLMS VLMS) 다음 아키텍처 다음은 세 가지 주요 부분으로 구성됩니다:

1. 시각적 암호화 키트 (비전 인코더) 일반적으로 변압기 아키텍처가있는 클립 기반 모델, 수백만 개의 이미지 코피에 대해 교육을 받았습니다. 감사합니다, 이미지를 언어에 연결할 수 있습니다.
2. 매트 (영사기) Visual Encoder의 출력을 LLM이 이해할 수있는 형태로 변환하는 역할 재생, 일반적으로 이미지 토큰 (이미지 토큰). 이 성분은 단순히 선형 층일 수 있습니다 (선형 레이어) Llava와 Vila에서와 같이, 또는 대각선의 층으로 더 복잡합니다 (교차 중심 계층) 라마에 사용됩니다 3.2 비전.
3. 큰 언어 모델 (큰 언어 모델 - LLM) - 모든 LLM 모델을 사용하여 VLM을 구축 할 수 있습니다.. 현재 VLM에는 수백 가지 변형이 있습니다, 다양한 LLM을 Visual Encoder와 결합하여 생성됩니다.

IV. 시각적 언어 모델은 어떻게 훈련됩니까??

VLM은 여러 단계를 통해 훈련됩니다, 훈련을 포함하여 (사전 조정), 그 후, 그것은 감시입니다 (감독 된 미세 조정). 게다가, 효과적인 매개 변수를 적용 할 수 있습니다 (매개 변수 효율적인 미세 조정-PEFT) để tạo ra một VLM chuyên biệt theo từng lĩnh vực dựa trên dữ liệu tùy chỉnh.

1. Tiền huấn luyện (Pretraining)

Mục tiêu của giai đoạn này là động bộ hóa bộ mã hóa thị giác, bộ chiếu (projector) và mô hình ngôn ngữ lớn (LLM) , 텍스트와 이미지를 처리할 때 "동일한 언어를 사용"하도록 도와줍니다.. 이 프로세스는 인터리브된 텍스트-이미지 쌍으로 구성된 대량의 데이터를 사용합니다.. 이 세 가지 구성 요소가 잘 정렬되면, VLM은 감독된 미세 조정 단계를 계속 진행합니다..

2. 감독된 튜닝 (감독된 미세 조정)

이 단계에서는, VLM은 사용자 요청에 응답하도록 훈련되었습니다.. 입력 데이터는 이미지/텍스트 및 원하는 응답이 포함된 샘플 명령 세트입니다.. 예를 들어, 모델은 이미지의 내용을 설명하거나 프레임에 있는 개체 수를 세도록 요청받을 수 있습니다.. 이 기간 이후, VLM은 이미지를 보다 정확하게 해석하고 상황에 적절하게 반응하는 방법을 학습합니다..

3. 훈련 후 VML이 작동하는 방식?

훈련 후, VLM은 LLM처럼 사용할 수 있습니다., 사용자가 이미지를 포함할 수 있는 명령을 입력할 수 있습니다.. 모델은 입력 데이터를 분석하고 텍스트 응답을 생성합니다. . 보통, VLM은 애플리케이션에 쉽게 통합할 수 있도록 OpenAI REST API로 구현됩니다..

Hiện nay, VLM의 이미지 처리 기능을 향상시키기 위해 더욱 발전된 기술이 연구되고 있습니다., 포함하다:

• 여러 시각적 인코더 결합 더 나은 이미지 분석을 위해.
• 고해상도 이미지 분할 보다 효율적인 처리를 위해 더 작은 부품으로.
• 컨텍스트 길이 늘리기 VML이 긴 비디오를 올바르게 이해하도록 돕기 위해.

이러한 발전은 VLM이 단순한 이미지 처리 이상으로 발전하는 데 도움이 됩니다.. 지금, 여러 이미지를 동시에 비교하고 분석할 수 있습니다., 사진 속 텍스트를 더 정확하게 읽고 이해하세요., 긴 비디오를 처리하고 공간 인식 능력이 향상됩니다..

다섯. 시각적 언어 모델은 어떻게 평가됩니까??

다음과 같이 널리 사용되는 평가 표준 세트가 많이 있습니다. MMMU, 비디오-MME, MathVista, 차트QA, 그리고 DocVQA 시각적 언어 모델의 성능을 평가하는 데 사용됩니다. (VLMS VLMS VLMS) 다양한 미션에서, 포함하다:

• 시각적 Q&A (시각적 질의응답)
• 추론과 논리적 추론 (논리와 추론)
• 문서 내용 이해 (문서 이해)
• 여러 이미지 비교 (다중 이미지 비교)
• 비디오 분석 및 이해 (영상이해)

평가 표준의 작동 방식:

이러한 평가의 대부분에는 일련의 이미지와 그에 따른 많은 관련 질문이 포함됩니다., 일반적으로 객관식 형식으로. 객관식 형식을 사용하면 VLM 성능을 일관되게 평가하고 비교할 수 있습니다.. 이 질문은 인지 능력을 테스트하기 위해 고안되었습니다., 모델 이해 및 추론.

VLM 성능 점수를 계산하는 방법:

평가를 받을 때, VML은 이미지를 포함한 입력을 받습니다., 질문 및 답변 옵션. 모델의 임무는 정답을 선택하는 것입니다.. VML의 정확도는 총 객관식 문제 수 대비 정답 비율을 기준으로 계산됩니다..

일부 표준 세트에는 모델이 산술 계산을 수행하고 올바른 것으로 간주되기 위해 허용 가능한 공차 내에서 결과를 생성하도록 요구하는 질문도 포함됩니다.. 이 시험의 문제와 이미지는 대학 수준의 교과서와 같은 학술 자료에서 가져온 경우가 많습니다..

VI. 시각적 언어 모델의 적용 (VLMS VLMS VLMS)

VLM은 유연성과 자연어 이해 덕분에 비전 관련 작업에서 선도적인 도구로 빠르게 자리잡고 있습니다.. 서면 명령으로만, VML은 다음과 같은 다양한 작업을 수행할 수 있습니다.:

• 시각적 Q&A
• 이미지 및 비디오 콘텐츠 요약
• 텍스트 인식 및 분석, 필기 문서

전에, 이러한 작업을 처리하기 위해, 다양한 전문 모델을 결합해야 함. 지금, 단일 VLM으로 모든 것을 처리할 수 있습니다..

교육에 적용

VLM은 특히 이미지 내용을 요약하는 데 탁월합니다.. 예를 들어, 교육 분야에서, VLM은 손으로 쓴 수학 문제가 포함된 이미지를 인식할 수 있습니다., 그런 다음 OCR과 추론을 사용하여 문제를 이해합니다., 동시에 문제 해결을 위한 단계별 지침도 제공합니다. 내용만 읽고 이해하지 마세요., VML은 필요에 따라 특정 작업을 추론하고 수행할 수도 있습니다..

비디오 분석의 응용

매일 생성되는 영상 데이터의 양이 너무 커서 수동으로 정보를 검토하고 추출하는 것이 불가능합니다.. VLM은 비디오 분석 AI 시스템에 통합되어 필요할 때 다음과 같은 중요한 이벤트를 식별할 수 있습니다.:

• 창고에서, VML은 손상된 로봇을 감지하거나 선반이 비어 있을 때 경고를 보낼 수 있습니다.)
• 교통 상황, 스마트 모니터링 시스템은 나무 쓰러짐 등의 위험을 식별하고 경고할 수 있습니다., 차량 정지 또는 충돌.

VML의 분석 기능은 이미지 인식 그 이상입니다., 보고서를 자동으로 분석하고 생성할 수도 있습니다., 모니터링 및 관리 성능 향상에 도움이 됩니다..

긴 영상 분석에 적용

VML은 그래프 데이터베이스와 결합 가능 (그래프 데이터베이스) 긴 영상 내용을 이해하기 위해, 비디오에서 복잡한 사건과 관계를 식별하는 데 도움이 됩니다.. 덕분에 다음에 적용할 수 있습니다.:

• 창고 운영 최적화 (병목 현상 찾기, 운영 효율성 향상)
• 자동 스포츠 해설 분석 및 생성
• 이러한 발전 덕분에, VLM은 개별 이미지 콘텐츠를 분석할 뿐만 아니라 분석 기능도 갖추고 있습니다., 다양한 분야의 가치 있는 정보를 종합하고 생성합니다..

Ⅶ. 시각적 언어 모델의 과제 (VLMS VLMS VLMS)

빠르게 성장하고 있지만, VLM에는 여전히 몇 가지 제한 사항이 있습니다., 특히 능력에 있어서 공간을 이해하다 (공간적 이해) 그리고 긴 맥락의 동영상 처리 (긴 맥락 비디오 이해).

1. 제한된 입력 크기와 작은 세부 사항을 인식하는 능력

오늘날 대부분의 VLM은 CLIP 기반 모델을 시각적 인코더로 사용합니다. (비전 인코더) 입력 크기는 224×224 또는 336×336으로 제한됩니다.. 이로 인해 모델이 작은 물체나 미세한 세부 사항을 인식하기 어렵습니다..

예를 들어, 비디오의 1080×1920 HD 프레임 1개, 모델에 포함되기 전에 크기를 줄이거나 잘라야 하므로 많은 중요한 세부 정보가 손실됩니다.. 문제를 해결하려면, 이미지 분할 방법 (제목) 더 나은 처리를 위해 큰 이미지를 여러 개의 작은 부분으로 분할하는 방법이 연구되고 있습니다.. 게다가, 고해상도 이미지 인코더를 사용하는 것에 대한 연구도 있습니다.

2. 물체의 정확한 위치를 결정하는 데 한계가 있음

VML은 이미지 내 개체의 정확한 위치를 제공하는 데 어려움이 있습니다.. 주된 이유는 CLIP의 학습 데이터 세트에는 주로 이미지에 대한 간단한 설명이 포함되어 있기 때문입니다., 캡션으로 (표제), 물체의 위치에 대한 자세한 정보를 제공하지 않고. 이로 인해 CLIP의 공간 이해 능력이 감소하고 VML은 이러한 제한을 "상속"합니다.. Hiện nay, 일부 연구에서는 이 기능을 개선하기 위해 여러 이미지 인코더를 결합하는 방법을 실험하고 있습니다..

3. 긴 영상을 이해하는 데 한계가 있습니다

VML은 정확한 분석을 제공하기 위해 장기간에 걸쳐 이미지 정보를 고려해야 하기 때문에 긴 비디오를 처리하는 것은 큰 과제입니다.. LLM과 유사함, VML은 컨텍스트 길이가 제한됩니다., 이는 질문에 대답하기 위해 특정 프레임만 모델에 포함될 수 있음을 의미합니다..

풍부한 비디오 데이터에 대해 컨텍스트를 확장하고 VML을 교육하는 방법이 연구되고 있습니다., LongVILA와 같은 – 긴 비디오 처리에 중점을 둔 모델.

4. 전문분야에 국한

VLM은 매우 특정한 사용 사례에 대해 충분한 데이터에 대해 교육을 받지 못했을 수 있습니다., 특정 생산 라인에서 제조 결함을 감지하는 등.

• 미세조정으로 해결 가능 (미세 조정)정확도를 높이기 위해 특수 데이터 세트를 모델로 사용.
• 상황별 학습과 함께 VML 사용 (상황 내 학습) 재교육 없이 모델이 빠르게 학습하는 데 도움이 되는 예를 제공합니다..
• PEFT 매개변수를 효과적으로 미세 조정하는 방법 적용 (매개변수 효율적인 미세 조정) 사용자 정의 데이터에 대한 VML의 정확성을 향상시키기 위해.

Nguồn: nvidia