11.3. 레시피용 재료 준비와 샘플 구성

AI 시스템을 위한 데이터를 준비하는 과정은 마치 셰프가 요리를 위해 식재료를 손질하고 레시피를 구상하는 것과 같습니다. 어떤 재료를 선택하고 어떻게 다듬어 구성하는지에 따라 최종 결과물의 품질과 깊이가 결정됩니다. 이 절에서는 비정형적인 텍스트 레시피를 지식그래프라는 정교한 구조로 변환하기 위해, 데이터를 ‘재료’로 보고 이를 식별, 분류, 연결하는 구체적인 방법을 다룹니다.

11.3.1. 흙 묻은 자연산 재료 vs. 깔끔한 밀키트 (Real Data vs. Mock Data)

요리를 배우는 수습 셰프에게 처음부터 흙투성이인 자연산 더덕을 주며 “손질해서 요리해 봐”라고 하면 당황할 것입니다. 반면, 모든 것이 씻겨 있고 정량대로 소분된 ‘밀키트’를 주면 금방 요리를 완성하겠죠. 하지만 평생 밀키트로만 요리를 배운 셰프가 거친 재료들이 쏟아지는 실제 주방에서 살아남을 수 있을까요?

AI 프로젝트의 데이터 전략도 이 딜레마와 마주하게 됩니다. 현실의 거칠고 복잡한 데이터(Real Data)를 쓸 것인가, 아니면 깔끔하게 정제된 가상의 데이터(Mock Data)로 시작할 것인가. 이 선택은 프로젝트의 속도와 시스템의 체력을 결정하는 중요한 기로입니다.

1. 현실 데이터(Real Data): 흙이 묻어있어 다루기 힘들지만, 진짜 맛을 낸다

우리가 만들고 싶은 ‘차돌숙주육계장’의 레시피를 할머니의 낡은 요리책이나 블로그에서 가져왔다고 상상해 봅시다. 이것이 바로 비정형(Unstructured) 데이터이자 현실 데이터입니다. 여기에는 AI를 혼란스럽게 만드는 수많은 장애물이 있습니다.

  • 모호한 표현 (Ambiguity):

“소금을 적당히 넣고, 국물이 우러날 때까지 끓이세요.”

AI에게 ‘적당히’는 악몽과 같습니다. 1g인지 10g인지 알 수 없기 때문입니다. ‘우러날 때까지’ 또한 10분인지 1시간인지, 국물 색이 빨개질 때인지 명확하지 않습니다.

  • 맥락 의존성 (Context Dependency):

“고기가 익으면 그것을 건져내세요.”

여기서 ‘그것’이 고기인지, 국물인지, 아니면 육수용 통후추인지 AI는 문맥을 깊이 이해해야만 알 수 있습니다. 요리사의 경험(Context)이 없으면 해석 불가능한 지시사항들입니다.

  • 비일관성 (Inconsistency):

A 블로그는 “대파를 먼저 볶아라”라고 하고, B 블로그는 “물을 끓이고 대파를 넣어라”라고 합니다. 현실 데이터는 정답이 하나가 아니며, 이 모순 속에서 패턴을 찾아내는 것이 AI의 과제입니다.

왜 굳이 힘든 길을 가야 할까요?

초기에는 흙을 털어내고 손질하느라 개발 시간이 오래 걸리고 오류도 많이 납니다. 하지만 이 ‘거친 재료’를 소화해 본 AI는 강해집니다. 고객이 “그거 적당히 해서 빨리 줘요”라고 개떡같이 말해도 찰떡같이 알아듣는 강건한(Robust) 시스템은 오직 현실 데이터와의 씨름을 통해서만 탄생합니다.

2. 가상 데이터(Mock Data/Synthetic Data): 깔끔한 밀키트, 빠르지만 온실 속 화초

반면, ‘연습용 재료’인 가상 데이터는 마치 공장에서 나온 ‘밀키트’와 같습니다. 모든 변수가 통제되어 있고 완벽하게 구조화되어 있습니다.

클립보드에 복사

이 데이터에는 ‘적당히’라거나 ‘우러날 때까지’ 같은 애매함이 없습니다.

  • 장점 (Speed & Logic): 흙을 털어낼 필요가 없으니 바로 조리(개발)를 시작할 수 있습니다. 시스템의 논리(Logic)가 맞는지, 추천 알고리즘이 작동하는지 검증하는 속도가 압도적으로 빠릅니다.
  • 단점 (Fragility): 이것은 ‘온실 속의 화초’입니다. 밀키트로만 연습한 AI 시스템은 실제 현장에 나가서 고객이 “아, 국물 좀 자작하게 해줘요”라고 말하는 순간, “에러: ‘자작하게’라는 수치를 찾을 수 없습니다”라며 멈춰버릴 것입니다.
우리의 전략: 하이브리드 접근 (Step-by-Step)

이 책의 실습 과정에서는 가장 효율적인 학습을 위해 두 가지 방식을 혼합할 것입니다.

  • Step 1 (기본기): 먼저 잘 손질된 가상 데이터(구조화된 데이터)를 사용하여 지식그래프가 어떻게 연결되고 작동하는지 원리를 확실히 익힙니다. (밀키트로 요리의 구조 이해)
  • Step 2 (실전): 기본기가 잡히면, 점차 애매모호한 현실 데이터(비정형 텍스트)를 가져와 이를 어떻게 구조화하고 처리하는지 다룰 것입니다. (직접 재료를 손질하며 셰프로 성장)

자, 이제 전략은 섰습니다. 거친 현실의 레시피 텍스트를 AI가 이해할 수 있는 깔끔한 데이터로 바꾸기 위한 첫 번째 관문, ‘재료 식별하기’ 단계로 넘어가 보겠습니다.

11.3.2. 재료 목록 작성하기: 지식의 뼈대, ‘노드(Node)’ 만들기

우리가 보는 요리 레시피는 대개 줄글로 쓰인 ‘비정형 텍스트’입니다. 사람에게는 자연스럽지만, 컴퓨터나 AI 입장에서는 그저 단순한 문자열의 나열일 뿐입니다. 이 텍스트를 AI가 이해하고 추론할 수 있는 지식으로 바꾸기 위해서는 개체명 인식(NER, Named Entity Recognition) 기술을 통해 문장 속에서 중요한 단어들을 쏙쏙 뽑아내는 작업이 선행되어야 합니다.

“차돌숙주육개장” 레시피를 예로 들어보겠습니다. 텍스트 안에 흩어져 있는 ‘차돌박이’, ‘대파’, ‘볶기’ 같은 단어들은 지식그래프의 가장 기본 단위인 노드(Node)가 됩니다. 마치 레고 블록 하나하나를 정의하듯, 레시피라는 거대한 구조물을 만들기 위해 필요한 핵심 부품들을 먼저 나열하는 과정이라고 보시면 됩니다.

이 과정이 잘 수행되어야 LLM(거대언어모델)은 단순히 단어를 앵무새처럼 따라 하는 것을 넘어, “아, 이건 재료고, 저건 조리 도구구나”라고 레시피의 의미론적 구조(Semantic Structure)를 파악할 수 있게 됩니다.

1. 노드 유형 정의 및 분류 (Labeling)

노드를 추출할 때는 단순히 눈에 보이는 단어만 가져오는 것이 아니라, 그 단어가 어떤 ‘역할’을 하는지 분류하는 것이 중요합니다. 그래프 데이터베이스에서는 이를 라벨(Label)이라고 부르며, 이는 노드에 붙이는 ‘이름표’ 혹은 ‘카테고리’와 같습니다.

‘차돌숙주육개장’ 레시피에서 추출할 수 있는 노드 유형을 더 깊게 들여다보겠습니다.

  • 식재료 (Ingredient): 요리의 물리적 재료입니다. 차돌, 숙주, 대파, 마늘 등이 여기에 해당합니다.
  • 조리 행위 (Action): 볶기, 끓이기, 넣기와 같이 식재료를 변형시키는 동적인 활동입니다.
  • 조리 도구 (Tool) – *숨겨진 지식의 발견*: 여기가 가장 흥미로운 부분입니다. 레시피 텍스트에 “냄비를 준비하세요”라는 말이 없어도, “물을 끓인다”는 문장이 있다면 우리는 필연적으로 냄비가 필요함을 알 수 있습니다.
    • 지식 보강(Knowledge Enrichment): 텍스트에 없는 정보를 채워 넣는 과정입니다. 이는 “끓이기(:Action)는 반드시 냄비(:Tool)를 필요로 한다”와 같은 규칙을 미리 정의하거나, LLM이 가진 상식적 추론(Commonsense Reasoning) 능력을 활용하여 ‘냄비’라는 노드를 자동으로 생성해 낼 수 있습니다.

유연한 모델링: 멀티 라벨(Multi-Label)

그래프 데이터베이스의 강력한 점은 하나의 노드에 여러 개의 이름표를 붙일 수 있다는 것입니다. 예를 들어 차돌박이는 단순히 식재료일 뿐만 아니라, ‘육류’이자 ‘메인 재료’일 수 있습니다. 이 경우 (:Ingredient:Meat:Main)처럼 라벨을 여러 개 붙여 관리하면, 나중에 “고기류만 찾아줘”라거나 “메인 재료만 보여줘” 같은 복합적인 질문에도 쉽게 대응할 수 있습니다.

노드 예시 라벨 (Label) 의미
차돌 :Ingredient 요리의 재료
냄비 :Tool (추론된) 조리 도구
볶기 :Action 조리 행위
2. 노드에 생동감을 불어넣는 속성 (Property)

노드와 라벨만으로는 “이 요리에 대파가 들어간다”는 존재 여부만 알 수 있습니다. 하지만 요리는 디테일이 생명입니다. “대파를 얼마나 넣어야 하는지”, “어떻게 썰어야 하는지”에 대한 정보가 없다면 요리를 완성할 수 없습니다.

이때 필요한 것이 속성(Property)입니다. 속성은 노드 내부에 저장되는 구체적인 데이터로, 키(Key)-값(Value)의 쌍으로 이루어져 있습니다. 마치 신분증에 이름, 나이, 주소가 적혀 있듯, 노드에도 상세 정보를 기록하는 것입니다.

속성 그래프 모델(Property Graph Model)의 예시:

  • 노드: 대파
  • 라벨: :Ingredient
  • 속성:
    • 수량: ‘1대’
    • 손질법: ‘어슷썰기’
    • 상태: ‘신선함’
  • 노드: 고춧가루
  • 라벨: :Ingredient
  • 속성:
    • 수량: ‘3’
    • 단위: ‘큰술’
    • 맵기: ‘매운맛’

이렇게 속성을 풍부하게 정의하면 데이터의 해상도가 높아집니다. 단순한 텍스트일 때는 불가능했던 정교한 질의응답이 가능해지기 때문입니다.

활용 예시:

사용자가 “차돌숙주육개장 재료 중에 ‘썰어서’ 준비해야 하는 것들만 알려줘”라고 질문했다고 가정해 봅시다.

  • 속성이 없다면: AI는 무엇을 썰어야 하는지 알 수 없어 답변하지 못하거나 엉뚱한 답을 합니다.
  • 속성이 있다면: 손질법: ‘어슷썰기’ 속성을 가진 대파 노드를 정확히 찾아내어 답변할 수 있습니다.

결국, 노드와 속성을 체계적으로 정의하는 작업은 단순한 데이터 입력을 넘어섭니다. 이는 요리의 ‘개념’과 ‘상세 정보’를 분리하여 저장함으로써, AI가 인간처럼 레시피를 이해하고 응용할 수 있도록 지식의 튼튼한 뼈대를 세우는 핵심적인 설계 과정입니다.

이제 재료(노드)들이 준비되었으니, 이들이 조리 과정에서 어떻게 서로 상호작용하고 연결되는지, 즉 관계(Relationship)를 정의하는 다음 단계로 넘어가 보겠습니다.

11.3.3. 조리 단계 관계 정리: 점을 선으로 잇는 ‘맥락(Context)’ 만들기

앞선 단계에서 만든 ‘차돌’, ‘볶기’, ‘마늘’이라는 노드들은 아직 바닥에 흩어진 구슬과 같습니다. 이 구슬들이 꿰어지지 않으면 보배가 될 수 없듯, 노드들도 서로 연결되지 않으면 지식이 될 수 없습니다. 그래프 데이터베이스의 진짜 힘은 데이터 자체가 아니라, 데이터 사이의 ‘연결’에서 나옵니다.

이 연결선 역할을 하는 것이 바로 관계(Relationship, 또는 Edge)입니다. 관계를 정의함으로써 우리는 정적인 재료 목록을 넘어, “무엇을 먼저 해야 하는지”, “이 재료가 어디에 쓰이는지”와 같은 동적인 스토리를 데이터에 담을 수 있게 됩니다.

1. 레시피 속 ‘명시적 관계’ 포착하기

텍스트에 대놓고 쓰여 있는 관계를 먼저 찾아봅시다. 이를 지식그래프 용어로는 트리플(Triple) 구조라고 합니다. ‘주어(Subject)-서술어(Predicate)-목적어(Object)’의 형태를 띠기 때문입니다.

예시 문장: “1. 차돌을 볶다가 어느 정도 익으면 마늘과 대파를 넣고 볶는다”

이 문장은 그래프의 문법인 Cypher 쿼리 패턴을 빌려 다음과 같이 명확한 구조로 변환됩니다.

A. 재료의 투입 (Material Flow)

재료가 특정 조리 행위에 사용되는 관계입니다.

  • (차돌:Ingredient)-[:USED_IN]->(볶기:Action)
    • *해석:* ‘차돌’ 노드는 ‘볶기’ 노드로 연결됩니다(사용됩니다).
  • (마늘:Ingredient)-[:USED_IN]->(볶기:Action)
    • *해석:* ‘마늘’ 노드 또한 ‘볶기’ 노드로 연결됩니다.

B. 조리의 순서 (Control Flow)

시간의 흐름에 따른 행위 간의 연결입니다. “고춧가루를 볶은 뒤 물을 넣는다”는 과정은 다음과 같습니다.

  • (고춧가루볶기:Action)-[:PRECEDES]->(물넣기:Action)
    • *해석:* ‘고춧가루 볶기’ 행위는 ‘물 넣기’ 행위보다 선행(Precedes)합니다.

이렇게 문장을 분해하여 노드 사이를 화살표로 연결하면, AI는 “차돌이 볶기에 쓰이는구나”라는 사실관계와 “볶은 다음에 물을 넣어야 하는구나”라는 인과관계를 동시에 이해하게 됩니다.

2. 관계의 핵심: 방향성(Direction)과 유형(Type)

그래프 이론에서 관계는 단순한 선이 아닙니다. 두 가지 필수적인 속성을 가집니다.

① 방향성 (Direction): 화살표의 머리는 어디를 향하는가?

그래프 데이터베이스는 기본적으로 방향성 그래프(Directed Graph)입니다. 관계는 항상 (출발) -> (도착)의 방향을 가집니다.

  • (차돌)-[:USED_IN]->(볶기)는 성립하지만, 그 반대인 (볶기)-[:USED_IN]->(차돌)은 논리적으로 불가능합니다(볶기라는 행위가 차돌이라는 재료에 사용될 수 없음).
  • 이 방향성은 나중에 AI가 지식을 탐색할 때 길잡이 역할을 합니다. "차돌이 어디에 쓰였지?"라고 물으면 화살표를 따라가 답을 찾고, "볶기 위해 뭐가 필요하지?"라고 물으면 화살표를 거슬러 올라가 답을 찾습니다.

② 유형 (Type): 관계의 이름표

관계의 성격을 정의하는 이름입니다. 보통 영어 대문자 동사구로 표현하여 직관성을 높입니다.

  • USED_IN: 재료가 행위에 사용됨
  • PRECEDES (또는 NEXT): 순서상 앞섬
  • PRODUCED_BY: 행위의 결과로 무언가(예: 육수)가 생성됨

③ (심화) 관계의 속성 (Relationship Property)*외부 자료 참조 포인트:* 그래프 모델(Property Graph)의 강력한 점은 노드뿐만 아니라 '관계' 자체에도 속성을 부여할 수 있다는 것입니다.

  • 예: (고춧가루볶기)-[:PRECEDES ]->(물넣기)
    • *의미:* 볶고 나서 '지체 없이 바로' 물을 넣어야 한다는 디테일을 관계선 위에 기록할 수 있습니다.
관계 예시 (Cypher) 의미 활용
(:Ingredient)-[:USED_IN]->(:Action) 재료 사용 "이 요리에 어떤 재료가 들어가?"
(:Action)-[:NEXT]->(:Action) 조리 순서 "고기 볶은 다음엔 뭐 해?"
(:Action)-[:REQUIRES]->(:Tool) 도구 필요 "볶으려면 냄비가 필요해"
요약: 데이터 모델링은 ‘지식의 지도’를 그리는 것

관계를 정의한다는 것은 단순히 선을 긋는 것이 아니라, 데이터가 흐르는 길을 만드는 작업입니다. 어떤 유형의 관계를 맺어주느냐에 따라 AI의 추론 능력이 결정됩니다.

이제 텍스트에 드러난 ‘명시적’인 관계들은 모두 연결했습니다. 뼈대는 완성되었지만, 요리의 진정한 묘미는 레시피 행간에 숨어 있는 경우가 많습니다. 다음 절에서는 텍스트에는 없지만 요리를 완성하기 위해 반드시 필요한 ‘암묵적 지식(Implicit Knowledge)’과 숨겨진 관계를 어떻게 추론하여 채워 넣을지 알아보겠습니다.

11.3.4. 행간을 읽는 AI: 숨겨진 조리 흐름과 ‘암묵적 관계’ 발견하기

훌륭한 요리사는 “소금을 넣으세요”라는 문장만 봐도, 어느 타이밍에 얼마나 넣어야 맛이 살아나는지 본능적으로 압니다. 레시피의 행간에 숨겨진 의도와 맥락을 읽어내기 때문입니다.

AI도 마찬가지입니다. 텍스트에 적힌 대로만 데이터를 연결하면 그저 ‘앵무새’에 불과합니다. 진정한 지능형 AI가 되려면 데이터 표면에 드러나지 않은 ‘암묵적 관계(Implicit Relationship)‘를 유추해낼 수 있어야 합니다. 이 과정은 지식 보강(Knowledge Completion)이라고도 불리며, AI가 엉뚱한 거짓말을 하는 ‘환각(Hallucination)’ 현상을 줄이고, 전문가 수준의 추론을 가능하게 만드는 핵심 열쇠입니다.

1. 레시피 속 숨겨진 보물 찾기: 암묵적 관계의 유형

‘차돌숙주육개장’ 레시피 텍스트 이면에는 AI가 상식과 논리를 통해 찾아내야 할 다채로운 관계들이 숨어있습니다.

① 동시 발생 관계 (Co-occurrence) – “우리는 짝꿍”

  • 텍스트: “마늘과 대파를 넣고 볶는다”
  • 숨겨진 관계: (마늘:Ingredient)-[:CO_OCCURS_WITH]->(대파:Ingredient)
  • 외부 이론 참조: 데이터 마이닝의 연관 규칙(Association Rule) 개념입니다. “맥주를 사는 사람은 기저귀도 산다”는 분석처럼, 요리에서도 자주 함께 등장하는 재료들이 있습니다.
  • 가치: 이 관계가 축적되면 AI는 “마늘과 궁합이 좋은 재료를 추천해 줘”라는 질문에 “대파”를 근거 있게 추천할 수 있습니다.

② 도구-행위 관계 (Tool-Action) – “바늘 가는데 실 간다”

  • 텍스트: “차돌을 볶다가…”, “10분간 끓인다”
  • 숨겨진 관계:
    • (볶기:Action)-[:REQUIRES_TOOL]->(팬:Tool)
    • (끓이기:Action)-[:REQUIRES_TOOL]->(냄비:Tool)
  • 외부 이론 참조: 상식 지식그래프(Commonsense Knowledge Graph)의 개념입니다. 인간에게는 당연한 ‘볶으려면 팬이 필요하다’는 상식을 명시적인 데이터로 박아넣는 것입니다.
  • 가치: 레시피에 도구가 적혀있지 않아도, AI는 “이 요리를 하려면 냄비와 팬을 미리 준비하세요”라고 친절하게 안내할 수 있습니다.

③ 재료 상태 변화 (State Change) – “요리는 과학이다”

  • 텍스트: “계란 2개를 풀어 한 바퀴 돌려 넣고…”
  • 숨겨진 관계: (날계란:Ingredient)-[:TRANSFORMS_TO]->(계란국물:Ingredient)
  • 외부 이론 참조: 데이터의 계보(Lineage) 추적입니다. 원재료가 공정을 거쳐 어떻게 변하는지를 추적합니다.
  • 가치: “요리가 끝나면 계란은 어떤 모습인가요?”라는 질문에, AI는 단순히 “계란이 있다”가 아니라 “국물에 풀어진 상태로 익어있다”고 정확히 묘사할 수 있습니다.
2. 암묵적 관계가 창출하는 비즈니스 가치: ‘접지(Grounding)’

이처럼 숨겨진 관계를 발굴하는 것은 단순한 기술적 시도를 넘어, AI의 답변 품질을 결정짓습니다. 가장 중요한 개념은 ‘접지(Grounding)’입니다. 이는 AI의 답변을 확실한 사실(지식그래프)에 닻을 내리게 하여 신뢰성을 확보하는 기술입니다.

사례 분석: ‘고춧가루 볶기’의 진짜 의미

레시피의 “고춧가루 3숟갈을 넣고 약 1분간 볶는다”는 문장을 봅시다.

  • 단순 AI: 그냥 볶으라고 합니다. 왜 볶는지 모릅니다.
  • 지식그래프 AI: (고춧가루볶기:Action)-[:IS_TECHNIQUE]->(고추기름내기:Technique)라는 숨겨진 관계를 가지고 있습니다. 즉, 이 행위의 목적이 ‘고추기름’을 만드는 것임을 알고 있습니다.

이 지식이 있을 때, 사용자 질문에 대한 답변 수준이 어떻게 달라지는지 비교해 보겠습니다.

Q: “육개장을 더 맵고 칼칼하게 만들려면 어떻게 해야 하나요?”

AI 유형 답변 내용 분석
일반 챗봇 “청양고추를 더 넣으세요.” 1차원적인 재료 추가만 제안합니다.
지식그래프 기반 AI “고추기름을 내는 단계에서 고춧가루를 볶는 시간을 조금 늘리거나, 청양고추를 추가해 보세요. 고추기름의 풍미가 국물을 더 진하게 만듭니다.” 사용자의 의도(더 깊은 맛)를 파악하고, 그 해법으로 요리 기법(고추기름)을 설명합니다.

후자의 답변이 가능한 이유는 지식그래프가 ‘무엇(What)’을 넘어 ‘왜(Why)’를 모델링하고 있기 때문입니다.

결론: 지능의 설계

결론적으로, 데이터 모델링 과정에서 텍스트 너머의 숨겨진 관계를 적극적으로 발굴하고 명시적으로 정의하는 활동이야말로 AI 시스템의 ‘지능’ 수준을 결정하는 가장 창의적이고 중요한 단계입니다.

이렇게 정성껏 손질된 재료(노드)와 풍부한 육수(관계)가 준비되었습니다. 즉, 체계적으로 구조화된 데이터를 확보한 것입니다. 이제 다음 장에서는 이 설계도를 바탕으로 실제 그래프 데이터베이스(Neo4j)를 구축하고, Cypher 쿼리라는 언어를 통해 우리가 원하는 지식을 자유자재로 탐색하는 방법을 본격적으로 알아보겠습니다.