Panduan Google Cloud: Bagaimana Menerapkan Google Cloud expands model choice and flexibility di Production?

Ringkasan: Google Cloud secara resmi telah mengintegrasikan model OpenAI (termasuk GPT-6 Astra, Sol, dan Luna) ke dalam Vertex AI Model Garden, memberikan fleksibilitas multi-model sejati di bawah satu payung billing dan tata kelola keamanan. Dengan menggunakan Agent Development Kit (ADK) 2.0 dan Cloud Run, enterprise kini dapat membangun arsitektur agentic yang secara dinamis merutekan beban kerja antara Gemini 3.1 Pro dan GPT-6 tanpa mengorbankan isolasi data (VPC Service Controls) atau efisiensi FinOps. Blueprint ini membedah secara teknis bagaimana mengimplementasikan topologi zero-trust ini di lingkungan produksi.

Apa yang Baru Dirilis Google Cloud & Masalah Enterprise yang Diselesaikan

Dalam lanskap kecerdasan buatan enterprise di tahun 2026, paradigma telah bergeser dari ketergantungan pada satu model monolitik (single-model dependency) menuju arsitektur multi-model yang dinamis. Secara fundamental, tidak ada satu pun Large Language Model (LLM) yang optimal untuk setiap jenis beban kerja jika kita memperhitungkan tiga variabel utama: latensi, kapabilitas penalaran (reasoning), dan unit ekonomi (cost-per-token).

Menjawab tantangan arsitektural ini, Google Cloud telah memperluas pilihan model dengan membawa model OpenAI ke pelanggan. Integrasi ini menempatkan Google Cloud sebagai satu-satunya hyperscaler yang menyediakan akses ke tiga LLM closed-source terkemuka, berdampingan dengan lebih dari 200 model first-party (seperti Gemini 4 Argon dan Gemini 3.8 Live), third-party, dan open-source di dalam satu platform AI enterprise yang terpadu.

Dekonstruksi Rilis Teknis

Dari perspektif Solutions Architecture, rilis ini membawa beberapa komponen kritikal ke dalam ekosistem Google Cloud:

1. Ketersediaan Model OpenAI di Model Garden: Lini model terbaru OpenAI kini tersedia secara native. Ini mencakup GPT-6 Astra (dirancang untuk tugas profesional kompleks, coding, dan riset saintifik), GPT-6.1 Sol (kecerdasan mendekati Astra dengan biaya lebih rendah untuk agentic coding), dan GPT-6 Luna (model cepat dan efisien untuk beban kerja skala besar).
2. Agent Development Kit (ADK) 2.0 GA: Bersamaan dengan ekspansi model, Agent Development Kit (ADK) telah mencapai status General Availability (GA) versi 2.0. ADK 2.0 memperkenalkan dukungan Graph Workflows, memungkinkan engineers untuk menenun logika deterministik dengan penalaran AI yang adaptif. ADK tersedia dalam Python, TypeScript, Go, Java, dan Kotlin.
3. Tata Kelola Data dan Keamanan Terpadu: Ini adalah game-changer untuk enterprise. Menggunakan model pihak ketiga sering kali berarti data keluar dari perimeter keamanan perusahaan. Namun, di Google Cloud, interaksi dengan model OpenAI berjalan di atas infrastruktur yang terisolasi. Prompt, konteks, dan output pelanggan tetap berada di dalam perimeter data yang ditentukan, dilindungi oleh VPC Service Controls, dan didukung oleh opsi Zero Data Retention (ZDR) serta Confidential Compute yang akan segera hadir.
4. Konsolidasi FinOps: Semua penggunaan model OpenAI ditransaksikan langsung melalui Google Cloud Marketplace. Ini berarti billing terkonsolidasi dalam satu invoice, menarik turun komitmen cloud yang ada, dan dihitung dalam Flexible Savings Plans (FSP).

Use Case Nyata di Lapangan: Ide Implementasi Praktis

Untuk memahami bagaimana kapabilitas ini mengubah cara kita merancang sistem, mari kita bedah beberapa use case nyata di mana arsitektur multi-model ini memberikan dampak terukur.

1. High-Throughput Enterprise Workloads (E-Commerce & Retail)

• Masalah Sehari-hari: Platform e-commerce sering menghadapi lonjakan traffic (burst) yang masif saat flash sale. Agen AI yang menangani customer support atau rekomendasi produk harus merespons dalam hitungan milidetik. Menggunakan model heavy-reasoning untuk setiap query akan menyebabkan tail-latency yang buruk dan menghabiskan kuota API dengan cepat.
• Cara Kerja di Lapangan: Menggunakan ADK 2.0 Graph Workflows yang di-deploy di Cloud Run, kita dapat membangun router agent. Agen ini menggunakan model ultra-cepat seperti Gemini 3.8 Flash atau GPT-6 Luna untuk mengklasifikasikan intent pengguna. Jika query bersifat transaksional sederhana ("Di mana paket saya?"), model kecil langsung menjawab. Jika query kompleks ("Bandingkan spesifikasi teknis laptop A dan B"), router meneruskannya ke Gemini 3.1 Pro atau GPT-6 Astra.
• Dampak Nyata: Isolasi tail-latency yang presisi. Throughput sistem meningkat secara eksponensial karena 80% beban kerja ditangani oleh model latensi rendah, sementara biaya komputasi per request turun drastis.

2. Zero-Trust Governance & IAM (FinTech & Perbankan)

• Masalah Sehari-hari: Institusi keuangan memiliki data Personally Identifiable Information (PII) yang tidak boleh meninggalkan perimeter jaringan yang diaudit. Menggunakan LLM eksternal sering kali diblokir oleh tim InfoSec karena risiko data leakage.
• Cara Kerja di Lapangan: Dengan menjalankan beban kerja agentic di Google Cloud, tim arsitektur dapat menerapkan VPC Service Controls (VPC SC). Agen ADK berjalan di Cloud Run dengan Service Account yang menerapkan prinsip least-privilege. Akses ke Vertex AI Model Garden (baik untuk Gemini maupun OpenAI) dirutekan melalui Private Google Access. Opsi Zero Data Retention (ZDR) memastikan bahwa data finansial tidak pernah disimpan atau digunakan untuk melatih model foundation.
• Dampak Nyata: Tim engineering dapat melakukan ship fitur AI generatif ke produksi dalam hitungan minggu, bukan bulan, karena arsitektur secara default mematuhi standar compliance ketat yang disyaratkan oleh auditor keamanan.

3. Production FinOps & Unit Economics (SaaS & Developer Productivity)

• Masalah Sehari-hari: Perusahaan SaaS yang mengintegrasikan fitur AI copilot sering kali melihat margin keuntungan mereka tergerus oleh biaya inferensi LLM yang tidak terprediksi. Billing yang terfragmentasi antar vendor menyulitkan pelacakan Unit Economics (biaya per pengguna aktif).
• Cara Kerja di Lapangan: Karena model OpenAI kini ditransaksikan melalui Google Cloud Marketplace, seluruh konsumsi token (baik Gemini maupun GPT-6) masuk ke dalam satu dashboard Cloud Billing. Tim FinOps dapat menggunakan BigQuery billing export untuk menganalisis biaya di tingkat microservice menggunakan resource labels di Cloud Run dan Vertex AI.
• Dampak Nyata: Optimalisasi cost-per-request yang transparan. Perusahaan dapat memanfaatkan Flexible Savings Plans (FSP) Google Cloud untuk mendapatkan diskon komitmen yang berlaku lintas penyedia model, memaksimalkan utilisasi anggaran cloud mereka.

---

Arsitektur Referensi di Google Cloud

Dalam evaluasi arsitektural kami, merancang sistem agentic yang tangguh membutuhkan pemisahan yang jelas antara lapisan orkestrasi komputasi, lapisan penalaran (LLM), dan lapisan data.

Diagram berikut mengilustrasikan topologi produksi yang memanfaatkan Cloud Run sebagai runtime eksekusi agen, Vertex AI sebagai model hub terpadu, dan layanan data Google Cloud untuk grounding dan memori.

flowchart LR
    %% Definisi Style
    classDef gcp fill:#e8f0fe,stroke:#4285f4,stroke-width:2px,color:#1a73e8;
    classDef user fill:#fce8e6,stroke:#ea4335,stroke-width:2px,color:#c5221f;
    classDef security fill:#e6f4ea,stroke:#34a853,stroke-width:2px,color:#137333;
    classDef external fill:#fef7e0,stroke:#fbbc04,stroke-width:2px,color:#b06000;

    %% Aktor
    Client([Client / Frontend App]):::user

    %% Perimeter Keamanan
    subgraph Vpc_Sc["VPC Service Controls Perimeter"]
        direction TB
        
        %% Lapisan Ingress
        GLB[Cloud Load Balancing]:::gcp
        IAP[Identity-Aware Proxy]:::security
        
        %% Lapisan Komputasi (Orkestrasi Agen)
        subgraph Compute_Layer["Compute & Orchestration Layer"]
            CR[Cloud Run Service<br/>ADK 2.0 Agent Runtime]:::gcp
            IAM[IAM Service Account<br/>Least Privilege]:::security
        end
        
        %% Lapisan AI & Model
        subgraph Ai_Layer["Vertex AI Model Garden"]
            VAI_Router{Model Router}:::gcp
            Gemini[Gemini 3.1 Pro / 3.8 Flash]:::gcp
            OpenAI[GPT-6 Astra / Sol / Luna<br/>via GCP Marketplace]:::gcp
        end
        
        %% Lapisan Data & Grounding
        subgraph Data_Layer["Data & Grounding Layer"]
            BQ[(BigQuery<br/>Analytics & FinOps)]:::gcp
            CSQL[(Cloud SQL PG17<br/>pgvector Memory)]:::gcp
        end
    end

    %% Aliran Data
    Client -->|HTTPS / WSS| GLB
    GLB -->|Auth Check| IAP
    IAP -->|Authenticated Request| CR
    
    CR -->|ADK Graph Workflow| VAI_Router
    VAI_Router -->|Complex Reasoning| Gemini
    VAI_Router -->|Specialized Task| OpenAI
    
    CR <-->|RAG / Vector Search| CSQL
    CR -->|Async Telemetry| BQ
    
    %% Hubungan Keamanan
    IAM -.->|Enforces Access| CR
    IAM -.->|Authorizes| AI_Layer

Anatomi Arsitektur

1. Ingress & Autentikasi: Permintaan masuk melalui Cloud Load Balancing, yang dapat dikonfigurasi dengan Google Cloud Armor untuk perlindungan DDoS. Identity-Aware Proxy (IAP) memastikan bahwa hanya pengguna atau layanan yang terautentikasi yang dapat mencapai lapisan komputasi.
2. Orkestrasi Komputasi (Cloud Run): Cloud Run bertindak sebagai host untuk agen yang dibangun menggunakan Agent Development Kit (ADK). Cloud Run dipilih karena kemampuannya untuk melakukan scale-to-zero, menangani konkurensi tinggi (hingga 1000 requests per instance), dan dukungan native untuk streaming WebSockets yang esensial untuk interaksi agen real-time.
3. Lapisan Penalaran (Vertex AI): Di sinilah letak inovasi utamanya. Agen ADK dapat secara dinamis memanggil model Gemini (seperti Gemini 3.1 Pro Preview) atau model OpenAI (seperti GPT-6 Astra) melalui Vertex AI API. Semua pemanggilan tetap berada di dalam jaringan Google.
4. VPC Service Controls (VPC SC): Seluruh arsitektur dibungkus dalam perimeter VPC SC. Ini adalah guardrail keamanan tingkat jaringan yang mencegah eksfiltrasi data. Bahkan jika kredensial IAM bocor, penyerang tidak dapat memanggil Vertex AI API dari luar perimeter jaringan yang diizinkan.

---

Implementasi Langkah demi Langkah

Untuk merealisasikan arsitektur di atas, kita akan menggunakan Python dan ADK 2.0 untuk membangun agen yang memiliki kapabilitas model routing. Agen ini akan di-deploy ke Cloud Run.

1. Inisialisasi Proyek dan Dependensi

Pertama, pastikan Anda menggunakan lingkungan Python modern dan menginstal dependensi yang diperlukan, termasuk ADK dan Google Cloud SDK.

# Instalasi Agent Development Kit (ADK) dan dependensi GCP
pip install google-adk google-cloud-aiplatform google-cloud-logging

2. Menulis Kode Agen dengan ADK 2.0

Dalam ADK 2.0, kita dapat mendefinisikan agen yang memanfaatkan berbagai model. Kode di bawah ini mendemonstrasikan pola Multi-Agent Workflow di mana sebuah Supervisor Agent (menggunakan Gemini 3.1 Pro Preview) mendelegasikan tugas spesifik ke Specialist Agent (menggunakan GPT-6 Astra via Vertex AI).

# main.py
import os
from google.adk import Agent, LlmAgent
from google.adk.models import VertexGemini, VertexOpenAI
from google.adk.tools import google_search
from flask import Flask, request, jsonify

app = Flask(__name__)

# Inisialisasi Model melalui Vertex AI Model Garden
# Menggunakan model aktif tahun 2026
gemini_pro_model = VertexGemini(
    model_name="gemini-3.1-pro-preview",
    project=os.environ.get("GOOGLE_CLOUD_PROJECT"),
    location="us-central1"
)

# Mengakses model OpenAI melalui integrasi native Google Cloud
gpt6_astra_model = VertexOpenAI(
    model_name="gpt-6-astra",
    project=os.environ.get("GOOGLE_CLOUD_PROJECT"),
    location="us-central1"
)

# Mendefinisikan Specialist Agent (GPT-6 Astra) untuk tugas coding/riset kompleks
coding_specialist = LlmAgent(
    name="CodingSpecialist",
    model=gpt6_astra_model,
    instruction="Anda adalah ahli software engineering. Tugas Anda adalah menulis kode produksi yang aman dan efisien."
)

# Mendefinisikan Supervisor Agent (Gemini 3.1 Pro) dengan kapabilitas Grounding
supervisor_agent = LlmAgent(
    name="Supervisor",
    model=gemini_pro_model,
    instruction="""Anda adalah arsitek sistem. Analisis permintaan pengguna. 
    Jika permintaan membutuhkan riset web, gunakan tool google_search. 
    Jika permintaan membutuhkan penulisan kode kompleks, delegasikan ke CodingSpecialist.""",
    tools=[google_search],
    sub_agents=[coding_specialist] # ADK 2.0 Sub-agent delegation
)

@app.route("/invoke", methods=["POST"])
def invoke_agent():
    data = request.get_json()
    user_prompt = data.get("prompt", "")
    
    if not user_prompt:
        return jsonify({"error": "Prompt is required"}), 400
        
    # Eksekusi agen secara sinkron (untuk produksi, pertimbangkan async/streaming)
    response = supervisor_agent.run(user_prompt)
    
    return jsonify({
        "agent_name": response.agent_name,
        "model_used": response.model_used,
        "result": response.text
    })

if __name__ == "__main__":
    port = int(os.environ.get("PORT", 8080))
    app.run(host="0.0.0.0", port=port)

3. Deployment ke Cloud Run dengan Guardrails Keamanan

Untuk men-deploy aplikasi ini ke produksi, kita tidak boleh menggunakan kredensial default. Kita harus membuat Service Account khusus dan menerapkan prinsip least privilege.

# 1. Set variabel lingkungan
export PROJECT_ID="my-enterprise-ai-project"
export REGION="us-central1"
export SA_NAME="adk-agent-runner"

# 2. Buat Service Account khusus untuk Cloud Run
gcloud iam service-accounts create $SA_NAME \
    --description="Service Account for ADK Agent on Cloud Run" \
    --display-name="ADK Agent Runner"

# 3. Berikan akses yang sangat spesifik (Least Privilege)
# Akses untuk memanggil Vertex AI (Gemini & OpenAI di Model Garden)
gcloud projects add-iam-policy-binding $PROJECT_ID \
    --member="serviceAccount:${SA_NAME}@${PROJECT_ID}.iam.gserviceaccount.com" \
    --role="roles/aiplatform.user"

# 4. Deploy ke Cloud Run
gcloud run deploy adk-multi-model-agent \
    --source . \
    --region $REGION \
    --service-account="${SA_NAME}@${PROJECT_ID}.iam.gserviceaccount.com" \
    --set-env-vars="GOOGLE_CLOUD_PROJECT=${PROJECT_ID}" \
    --allow-unauthenticated \
    --cpu=2 \
    --memory=2Gi \
    --concurrency=80 \
    --min-instances=1 \
    --max-instances=50

Catatan Arsitektural: Parameter --concurrency=80 pada Cloud Run sangat penting untuk beban kerja agentic. Berbeda dengan Cloud Functions yang memproses satu request per instance pada satu waktu, Cloud Run dapat melakukan multiplexing banyak request ke dalam satu instance, secara drastis mengurangi cold starts dan mengoptimalkan biaya komputasi saat agen sedang menunggu respons dari Vertex AI API (I/O bound).

---

Kesiapan Production: FinOps, Kuota & Guardrails Keamanan

Membawa agen AI ke produksi bukan hanya tentang membuat kodenya berjalan; ini tentang memastikan sistem tersebut aman, mematuhi kuota, dan memiliki unit ekonomi yang masuk akal.

Guardrails Keamanan & Kepatuhan

Seperti yang disoroti dalam pengumuman Google Cloud, menjalankan model pihak ketiga seperti OpenAI di atas infrastruktur GCP memberikan keuntungan tata kelola yang masif:

1. Unified Auditing: Setiap interaksi agen dan model beroperasi di bawah identitas yang terautentikasi (Service Account yang kita buat di atas). Ini memberikan visibilitas end-to-end bagi administrator IT melalui Cloud Audit Logs. Jika terjadi anomali, tim keamanan dapat melacak tepat microservice mana yang memanggil model mana.
2. Isolated Access Boundaries: Permintaan ke model OpenAI dirutekan melalui gateway yang diperkeras dan terisolasi. Data yang sedang transit (data in transit) tetap berada secara ketat di dalam lingkungan aman Google Cloud. Penyedia model pihak ketiga tidak memiliki akses tidak sah ke lingkungan cloud Anda.
3. VPC Service Controls (VPC SC): Untuk beban kerja tingkat tinggi, Anda harus menempatkan Cloud Run dan Vertex AI di dalam perimeter VPC SC. Ini memastikan bahwa meskipun seseorang memiliki token akses yang valid, mereka tidak dapat memanggil API dari alamat IP di luar jaringan perusahaan Anda.

Manajemen Kuota

Beban kerja agentic terkenal haus akan kuota API karena sifatnya yang iteratif (seperti pola ReAct atau Graph Workflows yang melakukan looping). Di Google Cloud, Anda harus memantau dua metrik kuota utama di Vertex AI:

• Requests Per Minute (RPM): Jumlah pemanggilan API.
• Tokens Per Minute (TPM): Volume data yang diproses.

Praktik terbaik adalah mengimplementasikan mekanisme exponential backoff dan circuit breaker di tingkat aplikasi (ADK menangani sebagian besar dari ini secara internal), dan meminta peningkatan kuota secara proaktif melalui Google Cloud Console sebelum meluncurkan kampanye pemasaran besar.

📊 Simulasi FinOps & TCO Produksi

Salah satu keputusan arsitektural paling berdampak adalah pemilihan model. Menggunakan model heavy-reasoning untuk setiap tugas akan menghancurkan anggaran FinOps Anda.

Di bawah ini adalah simulasi deterministik yang membandingkan Total Cost of Ownership (TCO) bulanan antara menggunakan model besar (Gemini 2.5 Pro) versus model cepat (Gemini 2.5 Flash) untuk beban kerja agen yang berjalan di Cloud Run. Simulasi ini menggunakan harga SKU resmi Google Cloud.

Catatan: Meskipun model Gemini 3.x dan GPT-6 telah diumumkan, simulasi FinOps ini menggunakan SKU Gemini 2.5 yang telah diverifikasi secara komersial untuk mendemonstrasikan delta biaya antara kelas model Pro dan Flash dalam arsitektur yang sama.

📊 Simulasi FinOps & TCO Produksi: Simulasi TCO Bulanan: Agentic Workload di Cloud Run & Vertex AI (1 Juta Eksekusi) (Berdasarkan Informasi SKU Google Terbaru)

Asumsi Beban Kerja Produksi (us-central1 / asia-southeast1):

• Volume: 1,000,000 eksekusi agen per bulan
• Ukuran Prompt: 2,000 input tokens per eksekusi (Total 2,000 Juta Token/bulan)
• Ukuran Output: 500 output tokens per eksekusi (Total 500 Juta Token/bulan)
• Komputasi: Cloud Run dengan 1 vCPU dan 1 GiB RAM, durasi rata-rata 2 detik per eksekusi (Total 2,000,000 detik/bulan)

Opsi Arsitektur	Rincian Rumus & Harga Satuan SKU (Resmi)	Estimasi Biaya Bulanan
Opsi A: Heavy Reasoning Agent (Gemini 2.5 Pro)	Gemini 2.5 Pro Input Tokens: $1.25/1M input tokens × 2,000 = $2,500.00 Gemini 2.5 Pro Output Tokens: $10/1M output tokens × 500 = $5,000.00 Cloud Run vCPU Allocation: $2.4e-05/vCPU-second × 2,000,000 = $48.00 Cloud Run Memory Allocation: $2.5e-06/GiB-second × 2,000,000 = $5.00	$7,553.00 / mo
Opsi B: Fast Routing Agent (Gemini 2.5 Flash)	Gemini 2.5 Flash Input Tokens: $0.15/1M input tokens × 2,000 = $300.00 Gemini 2.5 Flash Output Tokens: $0.6/1M output tokens × 500 = $300.00 Cloud Run vCPU Allocation: $2.4e-05/vCPU-second × 2,000,000 = $48.00 Cloud Run Memory Allocation: $2.5e-06/GiB-second × 2,000,000 = $5.00	$653.00 / mo
Dampak Net FinOps (Penghematan Bulanan)	Berdasarkan informasi SKU Google terbaru	Penghematan 91.4% ($6,900.00 / bulan)

Sumber Harga Resmi Google Cloud (2026.09): cloud.google.com, cloud.google.com

Analisis Arsitektural FinOps

Tabel di atas mengungkapkan wawasan teknis yang krusial: biaya komputasi (Cloud Run) hampir tidak relevan ($53/bulan) dibandingkan dengan biaya inferensi LLM.

Dalam Opsi A, menggunakan model kelas Pro untuk 1 juta eksekusi menelan biaya lebih dari $7,500. Namun, dengan menerapkan pola Model Routing (seperti yang ditunjukkan pada kode implementasi di atas) dan mengalihkan beban kerja ke model kelas Flash (Opsi B), kita mencapai penghematan 91.4%.

Inilah mengapa ketersediaan berbagai model—dari Gemini 3.8 Flash hingga GPT-6 Luna—di dalam satu platform Vertex AI sangat penting. Arsitek sistem kini memiliki kebebasan untuk secara dinamis menukar model berdasarkan kompleksitas prompt, mengoptimalkan unit economics tanpa harus menulis ulang logika aplikasi atau mengelola kontrak vendor yang terpisah.

Secara keseluruhan, konvergensi antara fleksibilitas model OpenAI, ketahanan infrastruktur Google Cloud, dan alat orkestrasi seperti ADK 2.0 memberikan fondasi yang solid bagi enterprise untuk membangun sistem AI generasi berikutnya yang aman, terukur, dan efisien secara finansial. Kebebasan memilih model kini bukan lagi sekadar jargon pemasaran, melainkan realitas arsitektural yang dapat diimplementasikan hari ini.