예측 시장 데이터 다운로드: CSV, Parquet 및 API 내보내기

작업에 맞는 형식

잃지 않아야 할 필드

• 원래 형식과 정규화된 형식의 장소, 이벤트, 시장 및 결과 식별자.
• 거래소/소스 시간과 수신/관찰 시간을 별도의 필드로.
• 일치하는 배열 위치에서 입찰 가격, 입찰 크기, 호가 가격 및 호가 크기.
• 템포를 해석하는 데 필요한 캡처 방법, 간격 또는 이벤트 시퀀스.
• 정산 결과 및 참조 값은 이전 행으로 유출되지 않도록 저장됩니다.
• 조용히 0이 되지 않는 안정적인 null 또는 누락된 규칙.

실제로 묻는 질문에 따라 파티션

대규모 깊이 아카이브는 장소 선택성이 높은 장소와 날짜로 파티션되어야 하며, 일치하는 작업 부하가 있는 안정적인 시장 또는 자산 키로 파티션되어야 합니다. 백만 개의 작은 파일은 일반적인 호수 레이아웃을 복사하는 것만큼 비용이 많이 들 수 있으므로 쿼리 엔진을 측정하십시오.

벌크 내보내기에 매니페스트를 보관하십시오. 스키마 버전, 생성 시간, 요청된 필터, 행 또는 관찰 수 및 불완전한 파티션을 기록해야 합니다. 해당 매니페스트는 불투명한 다운로드를 재현 가능한 연구 입력으로 바꿉니다.

DepthFeed 배송 선택 사항

DepthFeed의 정기 연구 경로는 필터링된 과거 창의 경우 REST이고 현재 정규화된 프레임의 경우 WebSocket입니다. 데스크 워크플로는 전체 아카이브와 대규모 연구를 위한 열 배송 패턴을 사용할 수 있습니다. 브라우저 도구는 동일한 기본 스키마를 사용하므로 아이디어를 샘플에서 재현 가능한 백테스팅으로 다시 정의하지 않고도 이동할 수 있습니다.

가장 작은 대표적인 슬라이스로 시작하십시오. 한 장소, 한 시장 창 및 구문 분석, 정렬 및 크기 조정된 채우기를 테스트하기에 충분한 관찰. 이러한 불변식이 통과된 후에만 확장하십시오.