Wrestling the World Into Rows with Eric Mannes

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 결론

Wrestling the World Into Rows with Eric Mannes를 중심으로, 금융 데이터는 현실의 계약과 시장 구조를 담아야 한다. 가격만으로 위험을 계산할 수 없으며 계약 배수, 호가 단위, 스프레드 방향를 핵심 판단 포인트로 압축 정리한다.

📌 핵심 요점

1. 금융 데이터는 현실의 계약과 시장 구조를 담아야 한다. 가격만으로 위험을 계산할 수 없으며 계약 배수, 호가 단위, 스프레드 방향, 결제·인도 조건을 함께 관리해야 한다. 마이너스 유가는 가격이 항상 양수라는 시스템 가정의 취약성을 드러냈다.
2. 엑셀에 축적된 업무 지식을 시스템으로 옮기려면 입력 출처와 데이터 결합 방식부터 이해해야 한다. 데이터 가시성이라는 장점을 살리면서 성능, 테스트, 버전 관리의 한계를 보완하려면 도메인 전문가와 개발자의 양방향 협업이 필요하다.
3. 대체 데이터의 가치는 확보 이후의 활용 과정에서 갈린다. 데스크마다 흩어진 수집·정제 작업을 중앙 조직과 공통 도구로 지원하면 중복을 줄일 수 있다. 데이터 엔지니어링의 최종 산출물은 연구와 거래에 바로 사용할 수 있는 좋은 데이터셋이다.
4. 표로 정리된 수치도 대상·표본·시점을 검증해야 한다. 기업과 증권의 연결, 회계기간, 소비자 표본 구성 변화, 공급업체의 사후 수정은 분석 결과를 바꾼다. 원본과 수신 시각을 보존해야 당시 이용 가능했던 정보로 과거 성과를 검증할 수 있다.
5. 인공지능은 텍스트 추출과 코드 작성을 쉽게 하지만 결과의 정확성을 보장하지 않는다. 최신 언어 모델의 미래 지식이 과거 검증에 유입될 수 있으며, 모델이 강해질수록 입력 품질과 문제 해결 여부를 판단하는 사람의 역할이 중요해진다.

🧩 배경과 문제 정의

• 금융시장에서 발견한 패턴은 경쟁자가 활용하면서 약해지고, 거래 참여자의 행동도 달라진다. 과거 데이터에만 의존하기 어려워 지속적인 학습과 판단 갱신이 필요하다.
• 원자재 거래의 위험은 가격만으로 파악할 수 없다. 계약 배수, 호가 단위, 결제 방식, 실물 인도와 저장 여건까지 알아야 실제 노출을 계산할 수 있다.
• 복잡한 거래 정보를 신뢰할 수 있는 데이터와 시스템으로 바꾸려면 현장 지식과 소프트웨어 개발 역량이 함께 필요하다. 엑셀 중심의 위험 관리가 커질수록 성능과 검증, 유지보수의 한계도 커진다.

🕒 시간순 섹션별 상세정리

1. 경쟁이 기존 지식을 무효화하는 시장

• 제인스트리트의 트레이딩 인턴 교육은 시장의 기본 구조, 역선택, 연구 방법을 다룬다. 금융에서는 발견한 패턴이 경쟁으로 사라질 수 있어, 한 번 확보한 지식만으로 우위를 유지하기 어렵다. [01:37]
• 거래에 나서면 다른 참여자가 행동을 바꾸므로 학습 데이터에 없던 반응이 생긴다. 정보를 발견한 사람이 거래로 이익을 얻는 과정에서 그 정보가 가격에 반영되고, 시장 가격은 가치에 관한 더 나은 지표가 된다. [02:44]

2. 모의 거래로 익히는 의사결정과 정보 추론

• 모의 거래와 작은 규모의 거래에서는 선택에 따른 결과를 직접 확인할 수 있다. 모의 주식시장의 1~2시간짜리 시나리오는 실제 거래의 중요한 개념을 제한된 시간 안에 연습할 수 있게 한다. [05:11]
• 카드 게임 피기에서는 네 명의 참가자가 서로 다른 비공개 정보를 바탕으로 거래한다. 상대의 매매 행동에서 보유 정보를 추론하고, 같은 카드의 가치를 다르게 평가하는 이유에 따라 자신의 판단을 수정해야 한다. [05:54]

3. 불확실성 속 실행과 상대방의 판단 점검

• 통제된 저위험 환경은 불확실한 상황에서도 매수·매도 결정을 내리는 연습에 유리하다. 실제 거래의 심리적 압박을 줄인 상태에서 행동과 결과를 연결해 거래 감각을 익힐 수 있다. [06:54]
• 서로 이익을 얻는 거래와, 똑같이 영리한 두 사람이 동일한 사실에 관해 상반된 판단을 하는 거래는 구별해야 한다. 후자에서는 한쪽이 틀리므로 자신이 실수한 쪽일 가능성과 판단 근거를 점검해야 한다. [08:22]

4. 실제 거래와 멘토 피드백으로 넓히는 판단 범위

• 정식 입사 후에는 지식재산 보호 때문에 인턴 기간에 다루지 못했던 실제 전략과 의사결정을 배울 수 있었다. 원자재 데스크에서는 원유·천연가스 관련 ETF 등을 거래하며 개별 거래의 타당성과 거래량이 적절했는지를 검토했다. [09:14]
• 숙련된 멘토 옆에서 거래 후 대응을 제안하고, 빠뜨린 고려사항을 피드백받는 과정이 반복됐다. 실제 사례와 즉각적인 교정을 통해 상황별 판단 능력을 키웠다. [10:08]

5. 좁은 전문성과 시스템 분석으로 만드는 초기 기여

• 신입도 다른 사람이 충분히 살피지 못한 ETF의 거래 특성이나 미검토 문제에 집중하면 기여할 수 있다. 작은 변경 제안부터 시작해 독립적인 결정 범위를 넓히되, 확신이 부족할 때는 추가 의견을 구하는 방식이다. [11:06]
• 당시 새 거래 시스템은 이전보다 대략 100배 빨라졌지만 최첨단 수준에는 못 미쳤다. 속도 개선이 실제로 이익을 주는 구간과 여전히 놓치는 기회를 분석하는 일이 구체적인 기여 영역이 됐다. [12:09]

6. 선물의 실물 인도와 증거금 구조

• 원유 선물은 계약에 따라 유가 지수에 연동해 현금으로 결제하거나, 오클라호마주 쿠싱에서 원유 1,000배럴을 인도받는 의무로 이어질 수 있다. 실물 인도를 원하지 않는 금융 참여자에게는 계약의 결제 방식 자체가 중요한 관리 대상이다. [14:16]
• 선물 매수자는 증거금을 납부하고 가격 변동에 따라 계좌에서 이익이나 손실을 정산받는다. 가격이 하락하면 자금이 차감되고, 손실 지급 능력을 확보하기 위해 추가 증거금이 필요할 수 있다. [15:20]

7. 스프레드와 계약 배수가 만드는 위험 계산의 함정

• 선물 스프레드 거래는 한 계약의 매수와 다른 계약의 매도로 나뉜다. 원유와 S&P 500 선물 스프레드는 매수·매도 방향의 부호 관례가 달라, 이름만 보고 각 포지션의 방향을 단정할 수 없다. [15:50]
• 원유 선물의 화면 가격은 배럴당 가격이지만 계약 하나는 1,000배럴에 해당한다. 데이터 공급처마다 가격 단위와 배수가 다르고 달러·센트 표기도 달라질 수 있어, 가격과 배수를 잘못 결합하면 거래 규모가 의도보다 100배 커지거나 작아질 수 있다. [17:06]

8. 마이너스 유가가 드러낸 시스템 가정과 실물 제약

• 2020년 4월 20일 CME의 만기 임박 원유 선물 정산가격이 음수가 되면서, 가격은 항상 양수라는 거래·위험 시스템의 가정이 깨졌다. 상품에 가치가 있다는 직관만으로 가능한 가격 범위를 제한할 수는 없다. [18:53]
• 해당 계약은 특정 장소와 시점의 원유 인도 의무였고, 당시 쿠싱의 저장 공간은 부족했으며 공급은 많고 수요는 낮았다. 다만 하루의 정산가격이 음수였던 것이며, 해당 계약의 최종 정산가격은 양수였다. [19:41]

9. 현실의 시장 구조와 데스크별 기술 개발

• 효과적인 거래에는 수학적 모델과 고성능 기술뿐 아니라 시장의 작동 방식과 저장 공간 같은 구체적인 현실 지식도 필요하다. 원자재는 생산·소비·실물 인도와 연결돼 있어 이러한 조건이 거래 판단에 직접 영향을 준다. [21:39]
• 개발 업무는 거래 시스템·시장 데이터·거래 기록 처리 같은 공통 기반 중심에서, 원자재 등 각 데스크의 고유 문제를 해결하는 시스템으로 확장됐다. 개발 역량과 필요에 따라 수년에 걸쳐 변화했고, 이후 모든 데스크에 전담 개발자가 자리 잡았다. [23:03]

10. 여러 수준의 위험 노출을 추적하는 시스템

• 원자재 위험 관리는 에너지 전체, 원유 관련 상품, 서부텍사스산원유, 특정 월물 계약 사이를 오가며 노출의 출처를 추적할 수 있어야 한다. 데스크 개발에는 이런 계층별 분석 요구를 이해하는 거래 담당자의 참여가 필요했다. [24:16]
• 기존에는 대형 엑셀 파일이 거래와 포지션 데이터를 불러와 위험을 계산했지만, 느리거나 간헐적으로 제대로 작동하지 않았다. 기반부터 다시 구축해 신뢰성을 높이면서 더 복잡한 기능을 추가할 여지가 생겼다. [25:21]

11. 엑셀의 데이터 가시성과 소프트웨어 관리의 한계

• 엑셀은 데이터를 시각적으로 확인하기 쉽고 유연하며, 일부 문제는 디버깅도 편리하다. 일반적인 코드에서는 로직이 먼저 보이고 데이터를 따로 시각화해야 하지만, 엑셀에서는 데이터가 전면에 있어 의사결정에 유리하다. [26:24]
• 중요한 순간에 성능이 나빠질 수 있고, 비주얼 베이직 매크로가 포지션·거래·분석 수식을 갖춘 시트를 생성하면서 구조가 복잡해진다. 타입 안전성, 컴파일러의 오류 탐지, 견고한 테스트와 인터페이스를 갖추기에는 다른 프로그래밍 언어가 유리하다. [27:57]

12. 스프레드시트에 축적된 업무 지식의 시스템화

• 분석용으로 잠깐 만든 수식이 시트 한쪽에 계속 남으면서, 누구도 전체 동작을 완전히 이해하지 못하는 상태가 된다. 작동 원리와 오류 여부를 다시 검증하기 어려워 시스템 교체도 복잡해진다. [30:00]
• 상품 거래 데스크의 위험 노출을 모델링하려면 개별 기능 요청을 넘어 입력 출처, 기본 구성 단위, 데이터 결합 방식을 정의해야 한다. 전체 흐름을 공유하면 개발자가 각 부분을 만들면서도 최종 결과와의 연결을 확신할 수 있다. [31:02]

13. 도메인 전문가와 개발자의 양방향 협업

• 개발자는 좁은 기능 명세뿐 아니라 업무 배경을 알아야 하고, 도메인 전문가는 적절한 소프트웨어로 업무가 얼마나 개선될 수 있는지 알아야 한다. 오랫동안 불편을 감수하면 더 나은 도구의 필요성조차 인식하기 어렵다. [32:16]
• 데스크 개발자는 반복적인 불편을 줄이고, 기존 도구로는 시도하기 어려웠던 분석을 가능하게 한다. 개선 비용에 대한 현실적인 판단과 거래 업무 자체를 바꾸는 아이디어도 협업의 중요한 성과다. [33:23]

14. 대체 데이터의 정의와 조직별 경계

• 일반적인 대체 데이터는 투자 과정에서 통상 사용하지 않던 정보다. 월마트 주차장 위성사진으로 고객 수를 추정하는 방식이 대표 사례이고, 거래소 주문·체결 정보나 기업 재무제표는 전통적인 데이터에 속한다. [34:34]
• 제인스트리트에서는 기업의 증권거래위원회 공시도 대체 데이터에 포함된다. 시장조성에서 출발한 사업의 특성상 실시간 거래소 데이터와 기본 금융상품 정보가 전통적인 데이터의 중심이기 때문이다. [35:41]

15. 외부 데이터의 불편함이 만든 거래 기회 손실

• 제인스트리트의 업무 목표는 특정 시스템이나 상품만 담당하는 데 머무르지 않고 장기적인 손익 개선에 기여하는 것이다. 중요한 문제를 발견하면 다른 구성원과 문제의 실재성, 해결 가치, 투입할 시간을 검토하고 직접 해결에 나설 수 있다. [36:52]
• 실시간 시장 데이터에는 전문 인력과 탄탄한 기반 시스템이 있었지만, 다른 외부 데이터는 계약부터 내부 반입과 활용까지 어려움이 컸다. 이 격차 때문에 찾을 수 있었던 거래를 놓치는 문제가 생겼다. [37:41]

16. 데스크별 데이터 구축의 중복과 공유 한계

• 전담 조직이 없던 시기에는 데이터 구매 후 개발자, 트레이더, 운영 엔지니어 중 가능한 사람이 반입 작업을 맡았다. 저장 위치도 공유 파일시스템 한쪽이나 서로 다른 데이터베이스로 흩어졌다. [39:17]
• 여러 데스크가 비슷한 데이터 파이프라인을 각자 만들면서 작업이 중복됐다. 담당자의 주업무가 데이터 기반 시스템 구축이 아니었고, 공통 기능이나 다른 데스크의 활용까지 충분히 고려하기도 어려웠다. [40:15]

17. 중앙 조직을 통한 데이터 품질과 활용성 개선

• 중앙 전담팀은 특수한 외부 데이터 확보, 파이프라인 구축 도구 개선, 여러 부서가 사용하는 주요 파이프라인 유지보수를 함께 맡는 방향이다. 공통으로 필요한 작업을 모으면 데스크별 중복을 줄일 수 있다. [40:48]
• 데이터 생성·배포·제공·정제 방식과 공통 작업 관행이 부족하면 데이터 품질뿐 아니라 거래로 전환하기도 어려워진다. 데이터를 보유하고 있어도 활용 장벽 때문에 경제적 가치가 낮아지는 셈이다. [41:17]

18. 작은 개선의 성과와 데이터 엔지니어링 수요 확대

• 기본적이지만 사용하기 까다로운 데이터셋을 골라 데이터 모델과 예외 상황을 정교하게 다듬자, 이전에는 찾지 못했던 효과를 발견할 수 있었다. 작은 실험의 거래 성과가 추가 투자의 근거가 됐다. [41:44]
• 첫 데이터 엔지니어 채용은 2023년이었으며, 대화 시점에는 인원이 20여 명으로 늘었다. 좋은 데이터셋의 효과를 경험할수록 다른 문제에도 같은 전문성을 적용하려는 수요가 커졌다. [43:08]

19. 데이터 전략의 수요 파악과 공급업체 탐색

• 데이터 전략 조직은 거래 데스크가 해결하려는 문제와 외부에 존재하는 데이터를 연결한다. 현재 필요한 데이터뿐 아니라 더 나은 데이터가 있으면 해결할 수 있는 문제까지 파악해야 한다. [44:33]
• 데이터 카탈로그와 업계 행사는 공급업체를 찾는 주요 경로다. 구매자는 제품 정보를 미리 검토한 뒤 10~15분 단위의 연속 미팅에서 질문하며 내부 수요와의 적합성을 판단한다. [45:17]

20. 데이터 시장의 다양한 구매자와 판매자

• 데이터 구매자는 제인스트리트와 유사한 거래회사뿐 아니라 대형 복합전략 헤지펀드, 소규모 자산운용사, 은행 등으로 다양하다. 투자 판단·분석·연구 수요가 중심이며 일부 시장은 사모펀드 등으로도 확장된다. [47:11]
• 판매자에는 여러 분야의 데이터셋을 보유한 대형 업체, 소비자 거래 데이터 전문업체, 위성 운영사 등이 있다. 본업에서 자연스럽게 쌓인 데이터를 별도 상품으로 판매하려는 기업도 공급자가 된다. [47:48]

21. 투자 목적의 집계 정보와 질문 중심의 데이터 발굴

• 거래 분석에는 특정 소비자의 신원보다 브랜드별 지출 변화와 구매 패턴이 중요하다. 인구통계 정보는 표본 가중치 조정에, 구매 간 연관성은 소비 행태 분석에 도움이 될 수 있지만 개인 식별 자체가 목적은 아니다. [49:04]
• 데이터 확보는 이미 판매 중인 상품을 검색하는 데 그치지 않는다. 해결할 질문에서 출발해 필요한 정보와 보유 가능성이 있는 주체를 찾으면, 아직 판매되지 않는 데이터의 상품화 가능성도 탐색할 수 있다. [50:09]

22. 데이터 기반 시스템과 데이터 엔지니어링의 역할 구분

• 데이터 기반 시스템 개발의 산출물은 수집·변환·모니터링 도구와 소프트웨어 서비스다. 데이터 엔지니어링의 산출물은 연구와 거래에 바로 활용할 수 있는 좋은 데이터셋이다. [50:37]
• 데이터 엔지니어는 데이터가 무엇을 모델링하는지, 어떻게 생성되는지, 내부에서 어떻게 사용할지를 함께 이해해야 한다. 기계적인 처리는 최대한 자동화하고, 각 필드의 실제 의미를 해석하는 데 전문성을 투입한다. [51:49]

23. 기업 재무정보의 구조화와 식별·시점 문제

• 기업 재무정보를 정량 연구에 쓰려면 공시나 보도자료의 내용을 표 형태로 바꿔야 한다. 그러나 표로 변환한 뒤에도 서로 다른 재무제표가 같은 기업과 같은 회계기간을 가리키는지 확인하는 문제가 남는다. [53:16]
• 법적으로 별개인 두 회사가 경영진과 이사회를 공유하고 계약에 따라 경제적으로 동등할 수 있다. 이런 구조에서는 재무 데이터가 한 회사만 대상으로 하는지, 두 회사 전체인지, 어느 증권에 적용되는지 판단해야 한다. [54:37]

24. 주차장 위성사진의 소비 추정 한계

• 주차장 사진은 많은 매장을 반복 촬영해야 하고 관측 빈도가 낮거나 잡음이 클 수 있어, 소비 분석에 좋은 데이터인지 회의적이다. 월마트 구매의 온라인 비중 약 20%라는 수치도 주차장 관측이 놓치는 소비의 사례다. [58:01]
• 주차장 관측은 뉴욕시 소비자의 행동을 측정하는 데도 한계가 있다. 무엇보다 방문자 수는 실제 지출액과 다르므로, 매출을 추정하기 위한 간접 지표라는 제약이 있다. [58:35]

25. 실제 지출에 가까운 결제 데이터의 공급원

• 월마트 지출을 파악하려면 실제 결제 정보를 누가 알고 있는지부터 따져야 한다. 월마트와 소비자가 직접 정보를 갖고 있지만, 기업의 분기 공개를 기다리거나 소비자에게 개별적으로 묻는 방식에는 시점과 규모의 제약이 있다. [58:56]
• 카드 발급 은행, 비자·마스터카드 같은 결제망, 신용협동조합의 카드 프로그램 기반 서비스를 제공하는 업체도 지출 정보를 보유한다. 이들이 익명화하거나 집계한 통계를 공유할 의사가 있다면 실제 소비에 더 가까운 정보를 확보할 수 있다. [59:19]

26. 소비자 거래 표본의 편향과 예측 보정

• 특정 카드 프로그램의 거래 내역은 미국 전체 소비자의 무작위 표본이 아니다. 신용조합 카드와 고급 신용카드 이용자의 인구통계적 특성이 다를 수 있고, 표본 인원 증가가 특정 매장의 소비 증가처럼 보일 수도 있다. [1:00:17]
• 표본 차이와 구성 변화를 보정하는 작업은 데이터 엔지니어링과 트레이딩 데스크에 걸쳐 있다. 보정의 토대는 데이터가 어떻게 작동하며 어떤 정보를 언제 제공하는지에 대한 깊은 이해다. [1:01:33]

27. 공급업체의 오류 수정과 과거 검증의 함정

• 공급업체 데이터에는 누락이나 잘못 계산된 열이 있을 수 있으며, 거래를 기업·브랜드에 연결한 분류도 나중에 바뀔 수 있다. 이런 수정은 기존 기록의 값과 의미를 바꾼다. [1:02:20]
• 사후에 정확해진 데이터로 구독 가치나 과거 매매 성과를 평가하면 당시 받을 수 없었던 정보가 검증에 들어간다. 결과는 실제 구독 조건에서 가능했던 거래를 재현하지 못한다. [1:03:32]

28. 수신 시각과 원본 보존으로 당시 정보 복원

• 기계적인 오류 수정이 허용되는 경우도 있지만, 수정 과정에서 미래 정보가 과거로 섞이기 쉽다. 당시 보유한 데이터에 시각을 기록하면 적어도 그 정보의 실제 이용 가능성을 확인할 수 있다. [1:04:14]
• 접근 가능한 데이터와 수신 시각을 함께 저장하면 이후 변환을 거쳐도 당시 알 수 있었던 내용을 복원할 수 있다. 시장 데이터 역시 거래소 시계의 동기화 오류 등을 고려해 자체 네트워크 도착 시각을 기록한다. [1:04:45]

29. 인공지능이 높이는 데이터 가치와 텍스트 활용 위험

• 예측 모델의 성능 향상은 양질의 데이터 가치를 높인다. 대규모 언어 모델은 비정형 텍스트에서 정보와 특징을 추출해, 수작업이나 복잡한 정규식에 의존하던 처리를 쉽게 만든다. [1:06:58]
• 최신 언어 모델로 과거 자료의 특징을 추출하면 모델이 학습한 이후 사건이나 미래 재무제표의 정보가 유입될 수 있다. 엔론의 이후 상황을 아는 모델처럼, 과거 시점에는 없던 지식이 검증을 오염시킬 위험이 있다. [1:07:51]

30. 코드 생성의 생산성과 문제 이해의 격차

• 인공지능은 코드 작성과 분석을 쉽게 하며, 원하는 결과를 명확히 알고 품질을 판별할 수 있는 데이터 엔지니어에게 유용하다. 동시에 잘못된 코드를 만드는 비용도 낮춘다. [1:08:24]
• 무언가를 실행하는 일은 쉬워졌지만, 문제를 제대로 해결했는지 판단하는 일은 여전히 어렵다. 문제 자체를 이해하지 못한 채 해결했다고 믿는 오류가 생길 수 있다. [1:09:08]

31. 강력한 모델일수록 중요한 입력 품질과 사람의 판단

• 모델이 강해져도 과거 시점의 정보만 담았는지 확인하는 작업과 데이터 정제는 중요하다. 이상치나 비정상적인 데이터 구간에 대한 학습 반응도 모델마다 달라 입력 품질을 관리해야 한다. [1:10:54]
• 모델이 특징의 중요도를 스스로 파악하면서 수작업 특징 설계는 줄어들 수 있다. 그만큼 빠르게 만든 결과가 좋은지 확인하는 검증 과정과 무엇을 만들어야 하는지 판단하는 사람의 역할이 중요해진다. [1:11:39]

32. 외부 도구로 데이터 변환을 검토·검증 가능한 코드로 관리

• 제인 스트리트는 외부 도구인 디비티를 사용해 데이터 웨어하우스의 변환을 SQL 중심으로 정의하고 실행한다. 변환을 코드 리뷰, 테스트, 조합이 가능한 형태로 관리할 수 있다. [1:13:32]
• 수백 줄짜리 데이터베이스 뷰나 함수 대신 변환을 작은 구성 요소로 나누면 단계별 데이터 속성을 검사할 수 있다. 쿼리 엔진은 트리노를 사용하며, 표 형식 데이터 처리에는 파이썬 도구도 활용한다. [1:14:05]

33. 기존 데이터센터 역량과 자체 웨어하우스의 활용

• 제인 스트리트는 저지연 거래를 위해 자체 데이터센터 운영 역량을 이미 갖췄다. 거래소와의 물리적 거리, 멀티캐스트, FPGA 배치 같은 요구가 인프라 선택에 영향을 주며, 현재는 클라우드도 함께 사용한다. [1:14:43]
• 자체 데이터 웨어하우스는 대체 데이터만을 위해 만든 시설은 아니지만, 대체 데이터 업무에서도 활용한다. 대규모 거래 데이터와 다른 데이터를 한곳에 두고 내부 서비스와 연계할 수 있다는 이점이 있다. [1:15:55]

34. 쿼리 과금 방식이 연구와 최적화 비용에 미치는 영향

• 클라우드 웨어하우스는 읽은 데이터양이나 연산 사용량에 따라 비용이 발생하지만, 자체 운영에서는 하드웨어 구매와 운영 비용을 중심으로 계산한다. 제인 스트리트의 사용 규모에서는 자체 운영 비용이 상당히 낮다는 평가다. [1:16:58]
• 현재 작업량에 클라우드 가격을 적용하면 사용량을 줄이고 과금 체계에 맞추는 데 많은 시간을 쓸 유인이 생긴다. 자체 운영에서도 성능을 개선하지만, 비용 최적화에 들이는 시간은 상대적으로 적다. [1:17:49]

35. 데이터 엔지니어의 핵심 역량과 팀 확대

• 데이터 엔지니어는 2023년 한 명에서 대화 시점에 20명 이상으로 늘었으며 추가 채용 수요도 크다. 낯선 산업과 데이터 속에 숨은 문제를 다루려면 호기심과 체계적인 조사 과정이 필요하다. [1:18:49]
• 세부 사항을 꼼꼼히 확인하고 아는 것과 모르는 것을 구분하는 능력이 중요하다. 시스템 복잡도가 일부 소프트웨어 업무보다 낮더라도 데이터·사업 맥락은 복잡하며, 파이프라인 코드는 명확성·정확성·유지보수성을 갖춰야 한다. [1:19:58]

36. 다양한 경력 배경과 장기적인 인재 육성

• 채용 후보에는 금융업 경력자뿐 아니라 작은 스타트업에서 데이터와 사업 맥락을 함께 책임졌던 사람도 포함된다. 현실의 복잡한 데이터를 다룬 경험은 기업 업무 외에 과학 연구 등에서도 쌓을 수 있다. [1:20:59]
• 지금까지의 채용은 경력자 중심이지만 인턴 채용도 구상하고 있다. 2025년 논의를 시작해 2026년 면접, 2027년 여름 인턴, 2028년 졸업 후 입사, 2029년 본격적인 기여로 이어지는 장기 일정이며, 데이터에 대한 관심과 엔지니어링 성장 가능성이 주요 기준이다. [1:22:06]

37. 데이터 중심의 직무 적합성과 조사형 면접

• 데이터를 깊이 파고드는 흥미가 이 직무의 우선 조건이다. 정교한 신경망이나 확장 가능한 시스템 구축에 더 큰 관심이 있다면, 같은 회사 안에서도 기계학습이나 소프트웨어 엔지니어링 역할이 더 적합할 수 있다. [1:23:01]
• 조사형 면접에서는 낯선 데이터셋을 이해하고 활용하는 과정을 통해 꼼꼼함과 가정 검증 능력을 확인한다. 데이터 아래의 현실에서 무슨 일이 일어나는지 이해하고, 그 이해가 처리 방식에 어떤 영향을 주는지 판단하는 능력이 핵심이다. [1:23:43]

🧾 결론

• 데이터 엔지니어링의 핵심은 각 필드가 현실에서 무엇을 뜻하고 언제 알 수 있었는지 설명할 수 있는 상태를 만드는 것이다.
• 신뢰할 수 있는 데이터 시스템은 현장 지식, 명확한 데이터 모델, 검토·테스트 가능한 변환 코드가 함께 갖춰질 때 가능하다.
• 좋은 데이터셋의 작은 성공은 추가 투자와 조직 확대의 근거가 될 수 있다. 다만 소개된 사례만으로 성과 규모나 재현 가능성을 판단할 수는 없다.

📈 투자·시사 포인트

• 투자 데이터 평가에는 정보의 독창성뿐 아니라 수신 지연, 수정 이력, 표본 편향, 내부 활용 비용을 함께 반영필요가 있다.
• 과거 성과가 좋아도 당시 받을 수 없었던 수정 데이터나 모델의 미래 지식이 포함됐다면 실제 운용 가능성을 과대평가할 수 있다.
• 원자재 투자에서는 표시 가격과 실제 계약 노출을 구분하고, 만기·인도·저장 제약이 손익과 자금 수요에 미치는 영향을 확인해야 한다.
• 데이터 인프라의 경제성은 사용 규모와 기존 역량에 좌우된다. 제인스트리트의 자체 운영 비용 평가는 기존 데이터센터와 대규모 거래 데이터라는 조건을 함께 봐야 한다.

⚠️ 불확실하거나 확인이 필요한 부분

• 음수 가격을 처리하지 못한 주문 시스템이 당시 유동성 공급을 줄였다는 설명은 가능성으로 제시됐다. 실제 영향의 크기와 인과관계는 확인되지 않았다.
• 데이터셋 개선의 거래 성과와 자체 웨어하우스의 비용 우위는 정량적인 비교 자료가 제시되지 않아 다른 조직에 그대로 적용하기 어렵다.
• 데이터 엔지니어 인원, 채용 구상, 월마트 온라인 구매 비중은 대화 시점의 설명이다. 현재 수치나 확정된 채용 일정으로 해석해서는 안 된다.
• 자막 기반 정리: 타임스탬프가 있는 자막을 기준으로 정리했으며, 고유명사·수치·인용은 원문 확인 필요 시 별도 검증한다.
• 영상 속 주장: 발표자의 해석·전망·비교는 확인된 외부 사실이 아니라 영상 속 주장으로 분리해 읽는다.
• 검증 필요: 수치, 기업 실적, 정책·시장 전망은 발행 전 최신 자료로 별도 검증이 필요하다.

✅ 액션 아이템

• 사용하는 금융상품의 가격 단위, 계약 배수, 스프레드 방향, 결제·인도 조건을 정리하고 위험 계산과 대조한다.
• 핵심 데이터셋별 생성 방식, 적용 대상, 표본 구성, 제공 지연, 수정 정책을 기록한다.
• 수신 당시의 원본과 도착 시각을 보존하고, 과거 검증이 당시 이용 가능했던 정보만 사용하는지 점검한다.
• 엑셀의 주요 수식과 매크로에서 입력 출처·결합 규칙을 추출하고, 변환을 작은 단위로 나눠 검토와 테스트가 가능하게 만든다.

❓ 열린 질문

• 현재 분석의 병목은 필요한 데이터의 부재인가, 이미 보유한 데이터의 품질과 활용 장벽인가?
• 공급업체가 과거 기록을 수정할 때 당시 수신본과 최신 정정본을 어떻게 구분해 연구에 사용할 것인가?
• 중앙 데이터팀과 거래 데스크는 공통 파이프라인 관리와 개별 데이터 해석의 책임을 어떻게 나눌 것인가?