구글 빅쿼리(Google BigQuery) 시작하기 - BizSpring BLOG
핵심 요약
- 구글 빅쿼리는 확장성과 가격 대비 성능이 뛰어난 서버리스 데이터 웨어하우스로 대용량 배치 및 스트리밍 데이터를 분석할 수 있다.
- SQL 쿼리로 페타바이트급 데이터를 빠르게 처리할 수 있어 초기 셋팅과 데이터 확인 시간을 단축해 구축·활용 사이클을 앞당긴다.
- GCP 가입부터 결제 수단 등록, 프로젝트 생성, BigQuery 접근 및 데이터셋 생성까지의 초기 설정 절차를 단계별로 안내한다.
- GCP 신규 가입 시 결제 수단을 등록해도 12개월간 무료 크레딧이 제공되어 과금되지 않는다.
구글 빅쿼리(Google BigQuery) 시작하기 - BizSpring BLOG
콘텐츠로 건너뛰기
내비게이션 메뉴
인사이트
테크
활용 방법/사례
활용 방법/사례
성공사례
성공 사례 일반
광고/마케팅 에이전시
이커머스
미디어/콘텐츠
금융/핀테크
의료/헬스케어
통신/인터넷
뉴스/트렌드
릴리즈 노트
인터넷트렌드 ↗
웹사이트 ↗
# 구글 빅쿼리(Google BigQuery) 시작하기
2019년 10월 07일 2023년 04월 14일
테크
빅쿼리는 확장성이 뛰어나고 가격 대비 성능이 좋은 기업용 서버리스 데이터 웨어하우스 입니다.
객체 스토리지(메타데이터와 고유의 식별자를 통해 객체로 저장), 스프레드시트의 데이터, 관리형 열 형식 스토리지(분석 앱에서 데이터 열을 빠르게 검색하는데 최적화) 를 통해 논리적 데이터 웨어하우스를 생성하여 모든 배치와 연속적으로 생성되는 스트리밍 데이터를 분석합니다.
빅쿼리 공식 페이지에서 장점이나 기능, 그리고 사용 사례 등 궁금해할 수 있는 전반적인 내용 확인이 가능한데요. https://cloud.google.com/bigquery/?hl=ko
소개되어있는 장점 중 두드러지는 점은 일단 빅쿼리를 사용하면 초기 셋팅이나 확인하고자 하는 정보를 처리하는 데에 소요 시간이 짧아서 구축/활용의 사이클을 앞당긴다는 점 입니다. 특히 페타바이트 급(페타바이트라고 하면 2012년 기준으로 유투브에서 한달동안 저장하는 데이터)의 데이터를 SQL 쿼리를 통해 확인할 수 있으며, SQL 쿼리를 실행하여 7 테라 바이트(테이블에서 천억개의 행)를 30초 이내에 처리할 수 있다고 합니다. 이에 스트리밍 데이터를 수집하고 통계 정보로 시각화하는 것이 용이합니다. https://cloud.google.com/blog/products/gcp/anatomy-of-a-bigquery-query
이러한 특징은 우리가 가진 데이터 그리고 앞으로 처리해야 할 실시간 데이터를 적재하고 분석하는 데에 있어 가장 큰 장점이 아닌가 합니다. 데이터 로드, 변환, 시각화 도구가 빅쿼리와 통합되기 때문에 앞으로 비즈스프링에서 제공할 플랫폼을 구현하는 데에 효율적으로 운영이 가능하다고 생각됩니다.
빅쿼리를 사용해야하는 이유와 어떻게 활용해야 할지에 대해 고민해 보았으니 초기 셋팅을 진행하도록 하겠습니다.
▶ Google Cloud Platform(이하 GCP)에서 BigQuery 사용하기
- Google Cloud 접속하여 구글 계정으로 로그인합니다.
( https://cloud.google.com/ )
- 새 계정으로 로그인하는 경우 ‘새 계정 시작’ 동의를 해주세요. 이는 GCP에 처음 접근했을 때 숙지해야할 점에 대해 설명합니다.
- 로그인 하여 첫 페이지 [무료로 시작하기] 클릭. 새로 시작하는 계정이 아니라면 [무료로 시작하기] 버튼이 없고, [콘솔] 로 접근 가능합니다.
- GCP 이용 전 필요한 정보 및 결제 수단을 등록합니다.
결제 수단을 등록하여도 무료크레딧 제공으로 12개월 동안은 과금되지 않습니다. 결제수단 정보를 입력하는 것은 자동가입 방지를 위함이고 12개월이 지나서 유료 계정으로 직접 변경하지 않으면 추가 결제되지 않는다고 합니다.
입력 후 [무료 평가판 시작하기] 를 누릅니다.
- 신청 완료.
- [My First Project]를 눌러서 프로젝트를 확인합니다. 기본 생성된 프로젝트를 선택하거나 신규로 생성할 수 있습니다.
- 기본 생성된 프로젝트 선택하면 그에 대한 대시보드로 이동합니다.
- 새 프로젝트 선택하면 프로젝트를 선택할 수 있는 화면으로 이동합니다. 프로젝트 이름과 프로젝트가 위치할 폴더를 선택할 수 있습니다. 프로젝트 ID도 함께 생성되는데 이는 수정이 불가합니다.
- BigQuery 를사용하기 위하여 좌측 메뉴를 확인합니다. BigQuery 는 빅데이터 섹션에 있습니다. [BigQuery]에 마우스를 오버하면 상단에 고정할 수 있는 핀 기능이 나타납니다. 이를 클릭하면 스크롤을 내리지 않고도 상단에서 바로 확인이 가능합니다.
- BigQuery 를 클릭합니다. 처음을 환영하는 안내문을 확인할 수 있습니다.
- BigQuery 대시보드에서 리소스를 확인하거나 신규 데이터셋을 생성&조회할 수 있습니다.
데이터셋은 프로젝트 하위에 속합니다. 데이터를 빅쿼리에 로드하는 것은 최소한 한 개 이상의 데이터셋을 만든 후에 가능합니다.
회원가입부터 빅쿼리 데이터셋 생성까지 GCP 초기 설정에 대하여 알아보았습니다. 절차에 따라 진행해보시고 궁금한 점 있으시면 댓글 달아주세요 🙂
Related Posts via Categories
구글애즈가 정확검색·구문검색 키워드까지 AI 모드에 노출하기 시작했다 — 자동화 상품 없이 AI 답변 화면에 들어가는 첫 실험
AI가 React 앱을 직접 디버깅 – Agent 기반 디버깅
ChatGPT 광고가 픽셀·전환 API·맞춤 오디언스를 갖췄다 — 답변 화면이 측정 가능한 광고 매체가 되는 순간
AI 시대, 데이터도 설명이 필요합니다
MCP 클라이언트는 Authorization Server를 어떻게 찾는가: 공식 MCP TypeScript SDK와 VS Code 구현 비교
RAG 시대의 GEO: AI가 콘텐츠를 읽는 방식과 스키마의 진짜 역할
AI 에이전트로 웹 데이터 수집 가능 여부 자동 검증하기
GA4 Intraday 실시간 테이블, 대시보드 원천 데이터로 바로 사용할 수 있을까?
워크플로우 오케스트레이션 플랫폼 Temporal 알아보기
iOS 14.5부터 GA4까지, 환경 변화가 가져온 업무 폭증을 해결하는 실무 전략은…?
다음에 대해 검색하기...
최신 글 둘러보기
기존 SEO와 무엇이 같고 무엇이 다른가
콘텐츠가 답인 걸 모르는 사람은 없습니다 — 문제는 지속입니다
광고비를 늘리지 않고 매출을 늘린 회사들은 무엇을 했나
코호트로 비교하면 광고 예산 판단이 달라집니다
GEO를 위한 글쓰기를 위한 작은 노하우
(해외동향) 광고주가 광고플랫폼 리포트에서 자체 측정으로 옮겨가고 있다.
구글애즈가 정확검색·구문검색 키워드까지 AI 모드에 노출하기 시작했다 — 자동화 상품 없이 AI 답변 화면에 들어가는 첫 실험
AI가 React 앱을 직접 디버깅 – Agent 기반 디버깅
ChatGPT 광고가 픽셀·전환 API·맞춤 오디언스를 갖췄다 — 답변 화면이 측정 가능한 광고 매체가 되는 순간
마케팅 자동화, 무엇부터 자동화해야 할까?
출처: https://blog.bizspring.co.kr/%ed%85%8c%ed%81%ac/%eb%b9%85%ec%bf%bc%eb%a6%ac-bigquery-%ec%8b%9c%ec%9e%91%ed%95%98%ea%b8%b0-1/
자주 묻는 질문
빅쿼리는 어떤 서비스인가요?
빅쿼리는 확장성이 뛰어나고 가격 대비 성능이 좋은 기업용 서버리스 데이터 웨어하우스입니다. 객체 스토리지, 스프레드시트 데이터, 관리형 열 형식 스토리지를 통해 논리적 데이터 웨어하우스를 생성해 배치 및 스트리밍 데이터를 분석합니다.
빅쿼리의 처리 속도는 어느 정도인가요?
SQL 쿼리를 실행하여 7테라바이트, 천억 개 행의 테이블을 30초 이내에 처리할 수 있다고 합니다. 이를 통해 스트리밍 데이터를 수집하고 통계 정보로 시각화하는 것이 용이합니다.
GCP 가입 시 결제 정보를 등록하면 바로 과금되나요?
결제 수단을 등록해도 무료 크레딧이 제공되어 12개월 동안은 과금되지 않습니다. 결제 정보 입력은 자동가입 방지를 위한 것이며, 12개월 후 유료 계정으로 직접 변경하지 않으면 추가 결제되지 않습니다.
빅쿼리를 사용하려면 어떻게 시작해야 하나요?
Google Cloud에 접속해 구글 계정으로 로그인한 뒤 무료로 시작하기를 통해 필요한 정보와 결제 수단을 등록합니다. 이후 프로젝트를 선택하거나 새로 생성하고, 좌측 빅데이터 섹션에서 BigQuery를 클릭해 사용할 수 있습니다.
빅쿼리에 데이터를 로드하려면 무엇이 필요한가요?
데이터셋은 프로젝트 하위에 속하며, 데이터를 빅쿼리에 로드하려면 최소한 한 개 이상의 데이터셋을 먼저 생성해야 합니다.