🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

허깅페이스 AI Sheets는 스프레드시트 안에서 오픈 비전 모델을 활용해 이미지의 정보를 추출·구조화하고, 텍스트와 이미지를 생성·편집하며, 완성된 데이터셋까지 내보낼 수 있게 확장됐다.

📌 핵심 요약

• AI Sheets는 코딩 없이 데이터셋을 구축·변환·보강하는 오픈소스 도구로, 이번 업데이트에서 이미지 열과 비전 모델을 지원한다.
• 영수증, 문서, 제품 사진, 차트, 손글씨 자료에서 텍스트와 속성을 추출하고 이를 표 형태의 구조화된 데이터로 만들 수 있다.
• 각 AI 작업은 프롬프트와 모델로 정의되며, 사용자는 결과를 직접 수정하거나 긍정 피드백을 예시로 축적해 반복 작업의 품질을 높일 수 있다.
• 텍스트로 이미지를 생성하고 기존 이미지를 편집하거나 여러 변형을 대량 제작할 수 있어 데이터 처리와 시각 콘텐츠 제작을 하나의 스프레드시트 흐름으로 통합한다.
• 손글씨 레시피 실습에서는 범용 문자 추출의 한계를 맞춤형 프롬프트와 더 강력한 비전 언어 모델로 보완한 뒤, 결과를 정제·가공하고 이미지까지 변환해 데이터셋으로 내보내는 전체 과정을 보여준다.

🧩 주요 포인트

1. AI Sheets는 코딩 없이 데이터셋을 구축·변환·보강하는 오픈소스 도구로, 이번 업데이트에서 이미지 열과 비전 모델을 지원한다.
2. 영수증, 문서, 제품 사진, 차트, 손글씨 자료에서 텍스트와 속성을 추출하고 이를 표 형태의 구조화된 데이터로 만들 수 있다.
3. 각 AI 작업은 프롬프트와 모델로 정의되며, 사용자는 결과를 직접 수정하거나 긍정 피드백을 예시로 축적해 반복 작업의 품질을 높일 수 있다.
4. 텍스트로 이미지를 생성하고 기존 이미지를 편집하거나 여러 변형을 대량 제작할 수 있어 데이터 처리와 시각 콘텐츠 제작을 하나의 스프레드시트 흐름으로 통합한다.
5. 손글씨 레시피 실습에서는 범용 문자 추출의 한계를 맞춤형 프롬프트와 더 강력한 비전 언어 모델로 보완한 뒤, 결과를 정제·가공하고 이미지까지 변환해 데이터셋으로 내보내는 전체 과정을 보여준다.

🧠 상세 정리

1. AI Sheets의 비전 지원 확대

허깅페이스는 오픈소스 데이터 작업 도구인 AI Sheets에 비전 기능을 추가했다. 기존 버전이 텍스트 콘텐츠를 구조화하고 보강하는 데 초점을 맞췄다면, 새 버전은 이미지 표시, 분석, 정보 추출, 생성 및 실시간 편집까지 같은 작업 흐름에서 수행한다. 제품 사진, 영수증, 스크린샷, 도표, 차트, 로고처럼 일상적으로 접하는 시각 자료를 별도 코드를 작성하지 않고 스프레드시트의 데이터로 다룰 수 있게 된 것이다. AI Sheets는 Inference Providers를 통해 수천 개의 오픈 모델을 사용할 수 있도록 하며, 사용자는 목적에 맞는 모델과 프롬프트를 선택해 데이터셋을 구축·변환·보강할 수 있다.

2. 이미지를 구조화된 데이터로 바꾸는 방법

사용자는 이미지를 직접 업로드하거나 이미지가 포함된 기존 데이터셋을 불러온 뒤, 비전 모델로 내부 정보를 분석하고 구조화할 수 있다. 대표적인 작업은 제품 사진 설명과 분류, 문서 유형 판별, 콘텐츠 기반 태그 생성, 영수증 품목 추출, 차트 데이터 판독, 스캔 문서의 문자 인식이다. 여기에 이미지 속성, 품질 점수, 사용자 정의 주석과 같은 맥락 정보도 자동으로 추가할 수 있다. 텍스트 열을 다룰 때와 마찬가지로 프롬프트를 반복 수정하고 출력값을 수동으로 바로잡을 수 있으며, 긍정 표시한 결과는 소수 예시로 활용돼 이후 결과를 개선하는 데 쓰인다.

3. 영수증과 개인 기록의 데이터화 사례

출장이나 여행에서 모은 영수증을 업로드한 뒤 판매자명, 날짜, 총액, 지출 범주를 추출하라는 프롬프트를 입력하면 각 영수증의 정보가 정돈된 표로 생성된다. 사용자는 잘못 추출된 값을 수정하고 정확한 결과에 긍정 표시를 한 다음, 나머지 행을 다시 생성해 품질을 높일 수 있다. 완성된 결과는 비용 관리 도구에서 사용할 수 있도록 CSV나 Parquet 형식으로 내보낼 수 있다. 같은 방식으로 오래된 가족 노트의 손글씨 레시피에서 재료, 조리 시간, 요리 유형을 추출하면 개인 기록을 검색 가능한 구조화 데이터셋으로 전환할 수 있다.

4. 텍스트와 이미지 제작을 한 흐름으로 통합

AI Sheets는 이미지 분석뿐 아니라 텍스트를 바탕으로 새 이미지를 생성하고 기존 이미지를 편집하는 기능도 제공한다. 소셜미디어 그래픽, 썸네일, 삽화를 만들거나 업로드한 이미지의 스타일·요소·구도를 바꾸고, 여러 버전과 스타일을 대량 생성해 반응을 비교할 수 있다. 예를 들어 건강식 게시물의 제목과 설명이 담긴 콘텐츠 달력에 이미지 열을 추가하고, 각 제목에 맞는 밝은 자연광의 음식 사진을 생성하도록 지시할 수 있다. 결과가 만족스럽지 않다면 다른 열에서 나무 배경과 허브 장식을 추가하도록 편집할 수 있어, 게시물 문안과 시각 자료를 하나의 스프레드시트에서 함께 관리하고 내보낼 수 있다.

5. 열 단위 AI 작업과 손글씨 레시피 실습

실습에서는 오래된 손글씨 레시피 사진이 든 폴더를 앱에 업로드해 이미지 열을 포함한 스프레드시트를 만든다. 각 열 위의 인터페이스를 열면 해당 열을 변환하거나 정보를 추출하고 질문을 수행하는 AI 작업을 선택할 수 있다. 이미지 열에는 문자 추출, 이미지 질의, 객체 탐지, 색상화, 텍스트 추가와 사용자 정의 작업이 제공되며, 텍스트 열에는 요약, 키워드 추출, 번역 등의 작업이 포함된다. 모든 AI 작업은 프롬프트와 모델의 조합으로 정의되므로, 동일한 원본 데이터에서도 작업 목적에 따라 서로 다른 결과 열을 만들 수 있다.

6. 기본 문자 추출의 한계와 맞춤형 프롬프트

기본 문자 추출 템플릿은 이미지에 보이는 표지판, 라벨, 문서와 기타 모든 글자를 전사하도록 설계돼 있다. 이 때문에 예시 레시피에서는 케이크 믹스, 레몬 푸딩, 물, 기름, 달걀과 조리 지시뿐 아니라 메모 용지의 머리말, 인쇄업체 광고, 전화번호 같은 상·하단 인쇄 문구까지 함께 추출됐다. 기사에서는 문제를 모델의 단순한 실패로 처리하지 않고, 원하는 대상이 레시피 본문이라는 점을 반영한 사용자 정의 프롬프트로 범위를 좁혔다. 그 결과 재료와 조리 지시만 목록 형태로 정리됐으며, 프롬프트가 추출 대상과 출력 형식을 구체적으로 규정하는 핵심 수단임을 보여준다.

7. 모델 선택이 세부 정보 정확도에 미치는 영향

AI Sheets는 기본적으로 속도와 정확성의 균형이 좋은 모델을 사용하지만, 더 복잡한 이미지에서는 수천 개의 모델 가운데 다른 모델을 시험할 수 있다. 기사에서는 기본 비전 언어 모델인 Qwen/Qwen2.5-VL-7B-Instruct와 추론 모델 Qwen/Qwen3-VL-235B-A22B-Reasoning을 난도가 높은 손글씨 레시피에 적용해 비교했다. 두 모델의 전체 전사 결과는 대체로 비슷했지만, 기본 모델은 조리 시간을 10~15분으로 읽고 핵심 재료인 시금치를 놓친 반면 다른 모델은 50~60분과 시금치를 포착했다. 이는 결과가 얼핏 유사해 보여도 조리 시간이나 필수 재료처럼 중요한 세부 사항에서 차이가 날 수 있으므로, 데이터의 난도와 정확성 요구에 맞춰 모델을 비교해야 함을 드러낸다.

8. 후속 가공과 이미지 편집, 데이터셋 내보내기

이미지에서 만족할 만한 텍스트를 추출한 뒤에는 새로 생성된 텍스트 열을 대상으로 추가 AI 작업을 수행해 내용을 정리하고 보강할 수 있다. 실습에서는 추출된 레시피를 변환해 각 항목에 대응하는 구조화된 HTML 페이지를 만들며, 시각 자료에는 Qwen-Image-Edit 같은 이미지 대 이미지 모델을 적용한다. 예시로 흑백 템플릿을 사용해 레시피 이미지를 오래된 분위기로 바꾸는 작업이 소개된다. 모든 열의 추출·정제·변환이 끝나면 결과 데이터셋을 허깅페이스 Hub의 조직이나 개인 프로필로 내보낼 수 있고, 공유를 원하지 않으면 비공개로 설정할 수도 있으며, AI Sheets 자체는 설치 없이 체험하거나 GitHub 저장소에서 로컬로 배포할 수 있다.

🧾 핵심 주장 / 시사점

• AI Sheets의 핵심은 비전 기능 하나의 추가가 아니라 이미지 입력, 구조화된 텍스트 추출, 후속 변환, 이미지 생성·편집, 데이터셋 내보내기를 열 단위의 동일한 작업 방식으로 연결한 데 있다.
• 손글씨 레시피 사례는 범용 문자 인식 결과를 그대로 사용하는 것보다 추출 범위를 명확히 한 프롬프트, 수동 교정, 긍정 피드백, 모델 비교를 조합하는 반복 과정이 중요하다는 점을 보여준다.
• 두 비전 언어 모델의 출력은 전반적으로 유사했지만 조리 시간과 핵심 재료에서 차이가 났으므로, 중요한 문서 데이터는 전체 문장의 유사성보다 업무상 결정적인 필드가 정확한지 검증해야 한다.

✅ 액션 아이템

• 각 AI 작업을 프롬프트와 모델로 명시하고, 수정·긍정 피드백 축적으로 반복 품질을 개선한다.
• 영수증·문서·제품사진·차트·손글씨 등 유형별로 텍스트·속성 추출과 구조화 정확도를 비교해 적용 범위를 정한다.
• 손글씨 사례처럼 범용 인식이 약한 구간은 맞춤 프롬프트 적용과 고성능 비전언어모델 전환 기준을 정한다.

❓ 열린 질문

• 텍스트 추출 오차가 임계값을 넘을 때 어떤 시점에 범용 모델을 멈추고 커스텀 프롬프트로 전환할 것인가?
• 텍스트 생성·이미지 편집·변형 대량 생산을 한 스프레드시트 흐름에 넣었을 때 병목은 어떤 단계에서 가장 먼저 발생할 것인가?
• 구조화 테이블과 이미지 결과를 내보낼 때 기존 데이터 파이프라인과 호환되려면 어떤 스키마 제약이 필요한가?