Panduan Google Cloud: Bagaimana Menerapkan Why your startup needs open models alongside di Production?

Ringkasan: Arsitektur one-size-fits-all yang mengirimkan setiap request ke frontier model raksasa kini telah menjadi anti-pattern di tahun 2026 karena masalah latensi, overhead infrastruktur, dan erosi margin. Solusi arsitektural yang terbukti di production adalah Compound AI Stack: mengorkestrasikan model terbuka yang sangat efisien seperti Gemma 4 di atas Cloud Run GPU sebagai front-line gatekeeper untuk tugas high-throughput, dan melakukan routing secara dinamis ke frontier APIs seperti Vertex AI Gemini 3.1 Pro atau Gemini 3.8 Flash hanya untuk penalaran kompleks, menggunakan framework Agent Development Kit (ADK) 2.0.

Dalam evaluasi arsitektur kami di bicarait.com, kami secara konsisten menemukan bahwa tim engineering yang bergerak paling cepat menuju product-market fit tidak lagi bergantung pada satu model tunggal. Mereka membangun sistem majemuk (compound systems). Artikel ini membedah cetak biru arsitektur Google Cloud yang menggabungkan open models dan frontier APIs untuk mencapai skalabilitas, latensi sub-detik, dan unit ekonomi yang berkelanjutan.

Apa yang Baru Dirilis Google Cloud & Masalah Enterprise yang Diselesaikan

Seiring dengan matangnya arsitektur aplikasi AI, garis pemisah yang jelas telah muncul antara sistem yang berjuang dengan margin operasional dan sistem yang mampu melakukan scaling secara berkelanjutan. Pada masa awal adopsi LLM, arsitektur default sangatlah sederhana: kirimkan setiap interaksi pengguna ke model terbesar yang tersedia. Namun, ketika aplikasi memasuki fase production—melayani jutaan pengguna dan menjalankan multi-agent workflows yang otonom—ketergantungan eksklusif pada frontier model mulai memunculkan tiga bottleneck arsitektural utama yang didokumentasikan dalam rilis resmi Google Cloud untuk Startup:

1. Penalti Latensi (Latency Penalties): Mengandalkan round-trip ke cloud untuk setiap interaksi membuat aplikasi mustahil mencapai responsivitas sub-detik yang dibutuhkan oleh aplikasi mobile interaktif atau asisten desktop.
2. Overhead Infrastruktur: Melakukan self-hosting model terbuka berukuran masif (lebih dari 70 miliar parameter) memaksa tim engineering tahap awal untuk bertindak layaknya penyedia infrastruktur, menguras waktu senior engineer untuk cluster provisioning dan orkestrasi multi-GPU.
3. Erosi Margin (Margin Erosion): Mengirimkan tugas-tugas terstruktur dengan frekuensi tinggi—seperti intent routing, ekstraksi JSON, atau validasi status—ke endpoint frontier yang bersifat general-purpose akan membakar kapital yang seharusnya bisa digunakan untuk diferensiasi produk.

Untuk menyelesaikan masalah ini, Google Cloud merilis ekosistem yang memungkinkan implementasi Compound AI Stack. Ekosistem ini berpusat pada integrasi antara keluarga model terbuka Gemma 4 dan frontier APIs Gemini 3.x melalui Vertex AI.

Gemma 4, yang dibangun oleh Google DeepMind menggunakan DNA riset yang sama dengan Gemini, dirilis di bawah lisensi Apache 2.0 yang permisif secara komersial. Alih-alih memaksakan satu arsitektur model untuk semua target hardware, Gemma 4 hadir dalam spesialisasi yang sangat terkalibrasi:

• Model kompak E2B dan E4B dengan kemampuan audio dan vision native untuk perangkat mobile dan edge.
• Model 12B Unified multimodal tanpa encoder.
• Model 26B A4B Mixture-of-Experts (MoE) yang hanya mengaktifkan 4 miliar parameter per token, dirancang khusus untuk high-throughput serving.
• Model 31B dense yang muat di dalam satu GPU tunggal untuk kualitas penalaran maksimal dan fine-tuning.

Setiap model ini dilengkapi dengan configurable thinking modes, native function calling, konteks hingga 256K, dan Multi-Token Prediction (MTP) draft models bawaan untuk speculative decoding.

Use Case Nyata di Lapangan: Ide Implementasi Praktis

Untuk memahami bagaimana pergeseran arsitektur ini memengaruhi metrik bisnis dan operasional, kita dapat menganalisis implementasi di lapangan melalui tiga use case utama:

1. High-Throughput Enterprise Workloads: Triage & Agent Routing

• Masalah Sehari-hari: Dalam arsitektur multi-agent (misalnya, sistem customer service otomatis), agen menghabiskan jutaan token hanya untuk tugas sederhana seperti memeriksa status pesanan, mengklasifikasikan intent keluhan, dan melakukan routing tiket. Menggunakan frontier model untuk tugas ini akan memicu rate limits (kuota API) dan melonjakkan biaya secara eksponensial saat terjadi burst traffic.
• Cara Kerja di Praktik: Tim engineering memposisikan Gemma 4 26B MoE sebagai front-line gatekeeper. Model ini di-deploy di atas Cloud Run dengan akselerasi GPU. Setiap request masuk dianalisis oleh Gemma. Jika request bersifat transaksional sederhana, Gemma langsung menyelesaikannya. Jika membutuhkan sintesis data lintas-dokumen yang kompleks, Gemma melakukan routing ke Vertex AI Gemini 3.1 Pro.
• Dampak Nyata: Mengisolasi batas tail-latency dan kuota. Frontier reasoning hanya dipanggil ketika benar-benar menciptakan nilai produk, menghasilkan efisiensi biaya yang masif tanpa mengorbankan kecerdasan sistem.

2. Zero-Trust Governance & IAM: Eksekusi Air-Gapped & Keamanan Data

• Masalah Sehari-hari: Industri dengan regulasi ketat seperti perbankan, kesehatan, atau riset bio-farma sering kali terhalang oleh kebijakan kepatuhan data (data residency). Mereka tidak diizinkan mengirimkan Personally Identifiable Information (PII) atau data riset proprietari ke endpoint API publik.
• Cara Kerja di Praktik: Menggunakan model terbuka seperti Gemma 4, perusahaan dapat menjalankan inferensi secara air-gapped. Seperti yang didemonstrasikan oleh K-Dense dengan platform Faraday mereka, Gemma 4 dapat di-deploy di lingkungan yang sepenuhnya terisolasi, atau di dalam Google Cloud menggunakan VPC Service Controls (VPC SC) yang memblokir semua akses internet keluar (egress).
• Dampak Nyata: Penegakan batas least-privilege Service Account dan kepatuhan absolut terhadap regulasi privasi, memungkinkan inovasi AI di sektor yang sebelumnya terblokir oleh compliance.

3. Production FinOps & Unit Economics: Eksekusi Edge & Offline-First

• Masalah Sehari-hari: Membangun aplikasi B2C interaktif (seperti tutor bahasa berbasis suara atau asisten desktop) sering kali terbentur pada biaya hosting cloud yang membengkak seiring bertambahnya pengguna aktif harian (DAU), memaksa startup membebankan biaya langganan yang mahal kepada pengguna.
• Cara Kerja di Praktik: Membalikkan arsitektur dari cloud-centric menjadi edge-centric. Studio pengembangan mobile HubX membangun BetterSpeak dengan memaketkan model Gemma 4 E2B terkuantisasi 4-bit (~2.9 GB) secara native di perangkat pengguna.
• Dampak Nyata: Menghasilkan tutor mobile speech-to-speech yang beroperasi secara offline, memangkas latensi jaringan seluler, dan yang paling penting: menurunkan tagihan server inferensi menjadi $0.

Arsitektur Referensi di Google Cloud

Untuk mengimplementasikan Compound AI Stack di lingkungan enterprise, kita membutuhkan lapisan orkestrasi yang deterministik, lingkungan komputasi yang elastis, dan akses ke model-model terbaik. Arsitektur referensi ini memanfaatkan Agent Development Kit (ADK) 2.0 sebagai otak orkestrasi, Cloud Run sebagai host komputasi serverless dengan dukungan GPU, dan Vertex AI sebagai penyedia frontier model.

Berikut adalah topologi arsitektur production-grade di Google Cloud:

flowchart LR
    %% Client Layer
    Client([Client Application / Mobile App])
    
    %% Serverless Compute Layer (VPC Enclosed)
    subgraph Gcp_Vpc["Google Cloud VPC - Region: asia-southeast1"]
        direction TB
        
        subgraph Cloud_Run_Env["Cloud Run Serverless Environment"]
            ADK_Orchestrator[ADK 2.0 Graph Workflow<br/>Python Agent Router]
            Gemma_GPU[Cloud Run GPU: NVIDIA L4<br/>Gemma 4 26B MoE]
        end
        
        %% Data & Grounding Layer
        BQ[(BigQuery:<br/>Enterprise Data)]
        VectorSearch[(Vertex AI<br/>Vector Search)]
    end
    
    %% Frontier API Layer
    subgraph Vertex_Ai["Vertex AI Model Garden & APIs"]
        Gemini_Pro[Gemini 3.1 Pro<br/>Complex Reasoning]
        Gemini_Flash[Gemini 3.8 Flash<br/>Fast Synthesis]
    end
    
    %% Security & Governance
    IAM{Cloud IAM &<br/>VPC Service Controls}
    
    %% Connections
    Client -->|HTTPS / WebSockets| ADK_Orchestrator
    ADK_Orchestrator -->|A2A Protocol / Triage| Gemma_GPU
    ADK_Orchestrator -->|Fallback / Complex Intent| Gemini_Pro
    ADK_Orchestrator -->|Multimodal / Live API| Gemini_Flash
    
    Gemma_GPU -->|RAG / Grounding| VectorSearch
    Gemini_Pro -->|SQL Execution| BQ
    
    %% Security Enforcement
    GCP_VPC -.->|Enforces Boundary| IAM
    Vertex_AI -.->|Least Privilege| IAM
    
    classDef gcp fill:#e8f0fe,stroke:#4285f4,stroke-width:2px,color:#1a73e8;
    classDef model fill:#fce8e6,stroke:#ea4335,stroke-width:2px,color:#c5221f;
    classDef security fill:#e6f4ea,stroke:#34a853,stroke-width:2px,color:#137333;
    
    class ADK_Orchestrator,BQ,VectorSearch gcp;
    class Gemma_GPU,Gemini_Pro,Gemini_Flash model;
    class IAM security;

Dekonstruksi Komponen Arsitektur:

1. ADK 2.0 Orchestrator di Cloud Run: ADK 2.0 bukan sekadar wrapper API; ini adalah framework pengembangan agen berskala enterprise yang mendukung Graph Workflows. Dengan ADK, kita dapat menenun kode deterministik dengan penalaran AI yang adaptif. Agen ADK di-deploy sebagai layanan Cloud Run standar, menerima request masuk, dan mengeksekusi Graph Route untuk menentukan apakah request tersebut harus ditangani secara lokal atau diteruskan ke frontier model.
2. Gemma 4 26B MoE di Cloud Run GPU: Ini adalah workhorse utama kita. Dengan dukungan GPU native di Cloud Run (menggunakan NVIDIA L4), kita dapat menjalankan model Gemma 4 26B MoE secara serverless. Karena arsitektur Mixture-of-Experts (MoE) hanya mengaktifkan sebagian kecil parameter per token, model ini memberikan throughput yang sangat tinggi dengan latensi rendah, ideal untuk triage awal, ekstraksi entitas, dan klasifikasi intent.
3. Vertex AI Gemini 3.x (Frontier APIs): Ketika agen ADK mendeteksi bahwa request pengguna membutuhkan penalaran spasial yang dalam, sintesis data konteks panjang (hingga 2 juta token), atau interaksi multimodal tingkat lanjut, request tersebut di-routing ke Gemini 3.1 Pro atau Gemini 3.8 Flash melalui Vertex AI.
4. A2A Protocol (Agent-to-Agent): ADK 2.0 memperkenalkan protokol A2A yang memungkinkan agen Gemma (bertindak sebagai triage) untuk mendelegasikan sub-tugas secara mulus ke agen Gemini (bertindak sebagai spesialis), mempertahankan konteks percakapan tanpa overhead parsing manual.

Implementasi Langkah demi Langkah

Untuk mengimplementasikan arsitektur ini, kita akan menggunakan Python dengan SDK ADK 2.0. Kode berikut mendemonstrasikan pola Agent Routing di mana sebuah router agent menggunakan model lokal/terkelola (Gemma) untuk mengevaluasi input, dan kemudian mendelegasikan tugas ke frontier agent (Gemini) jika kompleksitasnya melebihi ambang batas tertentu.

1. Menulis Logika Orkestrasi ADK 2.0 (Python)

Buat file main.py yang mendefinisikan Graph Workflow dan agen-agen yang terlibat:

import os
from google.adk import Agent, GraphWorkflow
from google.adk.models import Gemini, Gemma
from google.adk.tools import google_search

# 1. Inisialisasi Model
# Menggunakan Gemma 4 26B MoE yang di-deploy di Cloud Run GPU lokal untuk Triage
triage_model = Gemma(
    name="gemma-4-26b-moe",
    endpoint=os.environ.get("GEMMA_LOCAL_ENDPOINT", "http://localhost:8080")
)

# Menggunakan Gemini 3.1 Pro via Vertex AI untuk tugas kompleks
frontier_model = Gemini(
    name="gemini-3.1-pro-preview",
    project=os.environ.get("GOOGLE_CLOUD_PROJECT"),
    location="asia-southeast1"
)

# 2. Definisi Agen
triage_agent = Agent(
    name="FrontlineTriage",
    model=triage_model,
    instruction="""Anda adalah agen triage berkecepatan tinggi. 
    Analisis input pengguna. Jika input adalah pertanyaan umum, ekstraksi data sederhana, 
    atau sapaan, jawab langsung. Jika input membutuhkan riset mendalam, analisis finansial, 
    atau penalaran multi-langkah, outputkan string 'ROUTE_TO_FRONTIER'."""
)

research_agent = Agent(
    name="DeepResearchSpecialist",
    model=frontier_model,
    instruction="Anda adalah analis riset senior. Berikan jawaban komprehensif dan mendalam.",
    tools=[google_search]
)

# 3. Membangun Graph Workflow untuk Routing Dinamis
workflow = GraphWorkflow(name="EnterpriseCompoundStack")

@workflow.node(start=True)
def evaluate_intent(context):
    # Eksekusi agen triage (Gemma)
    response = triage_agent.run(context.input)
    
    if "ROUTE_TO_FRONTIER" in response.text:
        return workflow.route_to("complex_reasoning", context)
    else:
        # Selesai di level triage, hemat biaya dan latensi
        context.output = response.text
        return workflow.end(context)

@workflow.node(name="complex_reasoning")
def execute_frontier(context):
    # Eksekusi agen frontier (Gemini 3.1 Pro)
    response = research_agent.run(context.input)
    context.output = response.text
    return workflow.end(context)

# Entry point untuk Cloud Run (misalnya menggunakan FastAPI/Flask wrapper)
def handle_request(user_input: str):
    result = workflow.execute({"input": user_input})
    return result.output

2. Deployment ke Cloud Run dengan Akselerasi GPU

Untuk men-deploy model Gemma 4 sebagai layanan terpisah di Cloud Run yang memanfaatkan GPU NVIDIA L4, kita menggunakan perintah gcloud CLI. Fitur GPU di Cloud Run memungkinkan kita menjalankan model open-weights secara serverless, di mana infrastruktur akan melakukan scale-to-zero saat tidak ada traffic, atau scale-out saat terjadi burst.

# Deploy Gemma 4 26B MoE ke Cloud Run dengan 1 NVIDIA L4 GPU
gcloud run deploy gemma-triage-service \
  --image=us-docker.pkg.dev/vertex-ai/vertex-vision-model-garden-dockers/vllm-serve:latest \
  --args="--model=google/gemma-4-26b-moe-it,--tensor-parallel-size=1" \
  --port=8000 \
  --gpu=1 \
  --gpu-type=nvidia-l4 \
  --cpu=4 \
  --memory=16Gi \
  --max-instances=10 \
  --concurrency=100 \
  --region=us-central1 \
  --allow-unauthenticated \
  --set-env-vars="HUGGING_FACE_HUB_TOKEN=hf_your_token_here"

Catatan Arsitektural: Parameter --concurrency=100 sangat krusial di sini. Berbeda dengan Cloud Functions yang memproses satu request per instance, Cloud Run dapat menangani banyak request secara konkuren dalam satu container. Dipadukan dengan engine vLLM dan arsitektur MoE Gemma 4, satu GPU L4 dapat melayani throughput yang sangat masif secara paralel.

Kesiapan Production: FinOps, Kuota & Guardrails Keamanan

Membawa arsitektur AI ke production bukan hanya tentang membuat model merespons dengan benar; ini tentang memastikan sistem beroperasi dalam batas ekonomi yang masuk akal (FinOps), tidak melanggar batas sumber daya (Kuota), dan mengamankan data perusahaan (Security Guardrails).

Guardrails Keamanan & IAM

Dalam arsitektur enterprise, prinsip Zero-Trust harus ditegakkan.

1. VPC Service Controls (VPC SC): Layanan Cloud Run yang menjalankan agen ADK dan model Gemma harus diisolasi menggunakan fitur Direct VPC egress dari Cloud Run. Ini memastikan bahwa traffic antara agen dan database internal (seperti BigQuery) tidak pernah melintasi internet publik. VPC SC mengonfigurasi perimeter keamanan yang memblokir eksfiltrasi data.
2. IAM Least Privilege: Setiap layanan Cloud Run harus berjalan dengan Service Account (SA) khusus. Agen Triage (Gemma) mungkin hanya memiliki izin roles/aiplatform.user untuk memanggil Vertex AI, sementara Agen Riset (Gemini) memiliki izin tambahan roles/bigquery.dataViewer untuk melakukan grounding data. Pemisahan identitas layanan ini membatasi blast radius jika terjadi kompromi pada salah satu agen.

📊 Production FinOps & TCO Simulation

Untuk mendemonstrasikan dampak finansial dari Compound AI Stack, kami menggunakan alat kalkulasi FinOps deterministik berdasarkan katalog SKU resmi Google Cloud. Simulasi ini membandingkan pendekatan Legacy (mengirim 100% traffic ke frontier model Gemini 2.5 Pro) dengan pendekatan Compound (menggunakan Cloud Run L4 GPU untuk menjalankan Gemma 4 sebagai triage untuk 80% traffic, dan hanya 20% yang diteruskan ke Gemini 2.5 Flash).

Asumsi Beban Kerja: 10 Juta request/bulan, rata-rata 1.000 input tokens & 200 output tokens per request.

📊 Production FinOps & TCO Simulation: Simulasi TCO Bulanan: Single Frontier vs Compound AI Stack (Based on the latest Google SKU information)

Production Workload Assumptions (us-central1 / asia-southeast1):

• 10 Juta request per bulan (High-Throughput Workload)
• Rata-rata 1.000 input tokens & 200 output tokens per request
• Opsi A: 100% traffic dikirim ke Vertex AI Gemini 2.5 Pro (Frontier API)
• Opsi B: 80% traffic di-triage oleh Gemma 4 di Cloud Run (1 L4 GPU, 4 vCPU, 16GB RAM menyala 24/7), 20% fallback ke Vertex AI Gemini 2.5 Flash
• 1 Bulan = 2.592.000 detik

Official Google Cloud SKU Pricing Sources (2026.09): cloud.google.com, cloud.google.com

Analisis Arsitektural TCO

Data di atas menggarisbawahi tesis utama dari pergeseran arsitektur ini. Dengan mempertahankan arsitektur Legacy Single Frontier (Opsi A), biaya operasional berskala linier terhadap jumlah request dan token, menghasilkan tagihan bulanan sebesar $32,575.17.

Sebaliknya, Compound AI Stack (Opsi B) mengubah dinamika unit ekonomi secara fundamental. Dengan mendelegasikan 80% traffic repetitif ke model Gemma 4 yang berjalan di atas infrastruktur Cloud Run GPU, kita mengubah biaya variabel (per-token) menjadi biaya tetap (fixed cost infrastruktur). Meskipun kita mengasumsikan GPU L4 menyala 24/7 tanpa henti (yang memakan biaya sekitar $836.44/bulan untuk komputasi), total biaya kepemilikan (TCO) anjlok menjadi $1,376.44/bulan—sebuah reduksi biaya sebesar 95.8%.

Penghematan kapital sebesar lebih dari $31.000 per bulan ini memberikan startup dan enterprise landasan pacu (runway) yang jauh lebih panjang, memungkinkan mereka untuk mengalokasikan anggaran tersebut kembali ke diferensiasi produk inti, alih-alih membakarnya untuk siklus komputasi general-purpose yang tidak efisien. Inilah esensi dari rekayasa arsitektur AI yang matang di tahun 2026.