Panduan Google Cloud: Bagaimana Menerapkan Introducing Physical-Engineering’s Last Exam di Production?

Ringkasan: Google Cloud baru saja merilis Physical-Engineering's Last Exam (PLE), sebuah benchmark komprehensif untuk menguji kemampuan frontier models dalam menyelesaikan tugas-tugas rekayasa fisik (mekanikal, elektrikal, sipil, dan struktural) secara end-to-end. Dikombinasikan dengan rilisnya Agent Development Kit (ADK) 2.0 yang mendukung graph workflows dan eksekusi serverless di Cloud Run, blueprint ini membedah bagaimana enterprise dapat membangun agen AI otonom yang mematuhi standar compliance ketat menggunakan model generasi terbaru di Vertex AI.

Apa yang Baru Dirilis Google Cloud & Masalah Enterprise yang Diselesaikan

Secara fundamental, lanskap evaluasi kecerdasan buatan telah mencapai titik jenuh pada benchmark akademis tradisional. Model bahasa frontier saat ini secara konsisten mencetak skor di atas 90% pada ujian berbasis teks standar. Namun, dalam evaluasi arsitektural kami terhadap beban kerja enterprise di dunia nyata, benchmark gaya buku teks ini gagal merepresentasikan kompleksitas operasional yang dihadapi oleh para insinyur profesional. Untuk mengatasi kesenjangan validasi ini, tim Google AI & Infrastructure, bekerja sama dengan Mercor, merilis Physical-Engineering's Last Exam (PLE).

PLE bukanlah sekadar kumpulan prompt tanya-jawab. Ini adalah lingkungan evaluasi long-horizon yang terdiri dari 85 tugas kompleks yang mencakup empat disiplin ilmu utama: teknik mekanikal (30 tugas), elektrikal (27 tugas), sipil (18 tugas), dan struktural (10 tugas). Alih-alih merespons satu prompt terisolasi, agen AI harus beroperasi di dalam direktori proyek yang dikontainerisasi—dibangun di atas lingkungan Archipelago dari Mercor—yang mereplikasi secara presisi apa yang diterima oleh seorang insinyur praktisi di lapangan. Setiap tugas dalam PLE berisi rata-rata 61 file (total 5,170 file di seluruh benchmark), yang mencakup dokumen PDF, spreadsheet, email, gambar CAD 2D, model BIM 3D, dan revisi dokumen historis. Agen diwajibkan untuk melakukan penalaran lintas-modalitas (cross-modal reasoning) melalui file-file ini, mengidentifikasi kode bangunan yang berlaku, menghitung batasan fisik, dan menghasilkan deliverables siap produksi yang dapat disetujui oleh reviewer berlisensi.

Hasil baseline dari PLE mengungkapkan realitas teknis yang keras: semua frontier models saat ini mencetak skor di bawah 50% pada private test set, dengan model berkinerja tertinggi hanya mencapai skor rata-rata 48.3%. Lebih jauh lagi, meskipun konfigurasi agen terbaik mampu memenuhi 91% batasan individual pada tugas-tugas yang ditulis bersama (co-authored tasks), hanya 41.3% dari hasil akhirnya yang berhasil melewati setiap gerbang keselamatan (hard safety gates) dan pemeriksaan kelayakan yang diwajibkan. Hal ini menegaskan bahwa membangun agen untuk rekayasa fisik membutuhkan lebih dari sekadar model dasar yang cerdas; ia membutuhkan orkestrasi yang deterministik, guardrails yang ketat, dan infrastruktur eksekusi yang tangguh.

Di sinilah Agent Development Kit (ADK) 2.0 masuk sebagai solusi arsitektural. ADK 2.0 adalah framework pengembangan agen open-source dari Google yang memungkinkan engineering teams untuk menenun kode deterministik dengan penalaran AI yang adaptif melalui graph-based workflows. Dengan dukungan untuk Python, TypeScript, Go, Java, dan Kotlin, ADK 2.0 memfasilitasi transisi dari prototipe prompt-based yang rapuh menuju orkestrasi multi-agent berskala enterprise. Ketika agen ADK ini di-deploy di atas Cloud Run—platform komputasi serverless Google Cloud yang kini mendukung akselerasi GPU (NVIDIA L4), worker pools, dan eksekusi jobs asinkron—organisasi mendapatkan lingkungan runtime yang dapat menskalakan dari nol hingga ribuan instans secara instan, menangani throughput tinggi tanpa mengorbankan isolasi keamanan.

Sebagai mesin penalaran kognitif di balik agen-agen ini, Vertex AI menyediakan akses ke model generasi terbaru seperti gemini-3.1-pro-preview dan gemini-3.8-flash. Model-model tahun 2026 ini menawarkan jendela konteks masif dan kemampuan multimodal bawaan yang sangat krusial untuk memproses ribuan token dari file CAD dan spesifikasi teknis secara simultan, memungkinkan agen untuk "melihat" dan "membaca" proyek rekayasa fisik dengan tingkat pemahaman spasial dan tekstual yang belum pernah ada sebelumnya.

Use Case Nyata di Lapangan: Ide Implementasi Praktis

Untuk menjembatani teori arsitektural dengan aplikasi industri, berikut adalah tiga use case nyata di mana integrasi PLE, ADK 2.0, Cloud Run, dan Vertex AI secara fundamental mengubah cara enterprise beroperasi:

1. High-Throughput Enterprise Workloads: Isolasi Tail-Latency di Bawah Burst Traffic

• Masalah Sehari-hari: Perusahaan konstruksi dan firma arsitektur sering kali menerima ratusan revisi desain (file BIM/CAD) secara bersamaan dari berbagai subkontraktor pada akhir minggu. Memproses dokumen-dokumen berat ini melalui sistem monolitik tradisional sering kali menyebabkan bottleneck antrean, tail-latency yang tidak dapat diprediksi, dan kehabisan kuota API secara tiba-tiba, yang pada akhirnya menunda persetujuan proyek.
• Cara Kerja di Praktik: Menggunakan arsitektur event-driven, setiap file yang diunggah ke Cloud Storage secara otomatis memicu event melalui Eventarc yang menginstansiasi agen ADK 2.0 independen di Cloud Run. Cloud Run secara dinamis mengalokasikan CPU dan memori (atau GPU L4 jika rendering lokal diperlukan) untuk setiap tugas secara paralel, sementara agen memanggil Vertex AI (gemini-3.1-pro-preview) untuk melakukan analisis kepatuhan kode bangunan.
• Dampak Tangible: Isolasi workload yang sempurna. Kegagalan atau latensi pada satu dokumen tidak memengaruhi dokumen lainnya. Skalabilitas horizontal otomatis memastikan bahwa memproses 10 dokumen atau 10.000 dokumen memakan waktu wall-clock yang hampir sama, memberikan prediktabilitas operasional yang absolut bagi tim manajemen proyek.

2. Zero-Trust Governance & IAM: Penegakan Batas Least-Privilege

• Masalah Sehari-hari: Memberikan agen AI otonom akses ke repositori desain teknik yang berisi kekayaan intelektual (IP) bernilai jutaan dolar menimbulkan risiko eksfiltrasi data yang masif. Para CISO dan pemimpin keamanan sering kali memblokir inisiatif AI karena ketidakmampuan untuk membatasi apa yang dapat dilihat dan dilakukan oleh agen di dalam jaringan perusahaan.
• Cara Kerja di Praktik: Setiap agen ADK di Cloud Run dijalankan di bawah identitas IAM Service Account yang unik dan berprinsip least-privilege, yang hanya memiliki izin baca ke bucket Cloud Storage spesifik proyek tersebut. Seluruh topologi dibungkus dalam perimeter VPC Service Controls (VPC SC), yang secara kriptografis mencegah data mengalir ke luar batas jaringan yang diizinkan, bahkan jika agen tersebut dikompromikan atau mengalami hallucination yang mengarah pada upaya eksfiltrasi.
• Dampak Tangible: Kepatuhan keamanan tingkat militer. Tim engineering dapat berinovasi dengan agen AI otonom tanpa melanggar kebijakan Zero-Trust perusahaan, memastikan bahwa IP desain fisik tetap aman dan setiap tindakan agen tercatat secara immutable di Cloud Audit Logs.

3. Production FinOps & Unit Economics: Optimalisasi Cost-per-Request

• Masalah Sehari-hari: Menjalankan model frontier terbesar dan termahal untuk setiap tugas—termasuk tugas sepele seperti mengklasifikasikan jenis dokumen—menghancurkan margin keuntungan dan membuat unit economics dari otomatisasi AI menjadi tidak masuk akal bagi CFO.
• Cara Kerja di Praktik: Mengimplementasikan pola model routing dinamis di dalam graph workflows ADK 2.0. Agen pertama-tama menggunakan model yang sangat cepat dan hemat biaya seperti gemini-3.8-flash atau gemini-2.5-flash untuk melakukan triase dokumen, mengekstrak metadata, dan memvalidasi kelengkapan file. Hanya ketika anomali struktural yang kompleks terdeteksi, workflow merutekan tugas tersebut ke model penalaran mendalam seperti gemini-3.1-pro-preview atau gemini-2.5-pro untuk analisis mendalam.
• Dampak Tangible: Optimalisasi cost-per-request yang drastis. Dengan memanfaatkan model yang tepat untuk tingkat kompleksitas yang sesuai, enterprise dapat mengurangi pengeluaran inferensi LLM hingga lebih dari 80% sambil mempertahankan tingkat akurasi yang diperlukan untuk tugas-tugas rekayasa kritis.

Arsitektur Referensi di Google Cloud

Untuk mengimplementasikan agen rekayasa fisik yang mampu menangani kompleksitas benchmark PLE di lingkungan produksi, kita memerlukan topologi yang memisahkan penyimpanan state, eksekusi komputasi, dan penalaran kognitif, sambil mempertahankan batas keamanan yang ketat. Analisis topologi menunjukkan bahwa pendekatan serverless container yang dikombinasikan dengan managed AI services memberikan keseimbangan optimal antara kontrol operasional dan overhead pemeliharaan.

Berikut adalah arsitektur referensi blueprint untuk agen rekayasa fisik otonom di Google Cloud:

flowchart LR
    subgraph "VPC Service Controls Perimeter (Zero-Trust Boundary)"
        direction TB
        
        subgraph "Data Ingestion & Eventing"
            GCS["Cloud Storage<br/>(CAD, PDF, BIM Files)"]
            EVT["Eventarc<br/>(Event Router)"]
            GCS -->|Object.Finalize| EVT
        end

        subgraph "Compute & Orchestration"
            CR[Cloud Run<br/>ADK 2.0 Agent Container<br/>4 vCPU / 16GB RAM]
            EVT -->|HTTP POST| CR
        end

        subgraph "Cognitive Engine & State"
            VAI[Vertex AI<br/>Gemini 3.1 Pro Preview<br/>Multimodal Reasoning]
            CSQL[(Cloud SQL PG17<br/>Agent State & Memory)]
            BQ[(BigQuery<br/>Evaluation & Telemetry)]
            
            CR <-->|REST/gRPC| VAI
            CR -->|Read/Write State| CSQL
            CR -->|Stream Metrics| BQ
        end
    end
    
    User([Licensed Engineer<br/>Reviewer]) -->|HTTPS / IAP| CR
    
    classDef gcp fill:#e8f0fe,stroke:#4285f4,stroke-width:2px,color:#1a73e8;
    class GCS,EVT,CR,VAI,CSQL,BQ gcp;

Komponen Arsitektural Utama:

1. Cloud Storage & Eventarc: Bertindak sebagai lapisan ingestion asinkron. Direktori proyek yang berisi puluhan file (seperti dalam tugas PLE) diunggah ke bucket GCS. Eventarc menangkap event pembuatan objek dan memicu instans Cloud Run, memastikan bahwa agen hanya berjalan ketika ada pekerjaan yang harus diselesaikan, mengoptimalkan pemanfaatan sumber daya.
2. Cloud Run (ADK 2.0 Agent): Berfungsi sebagai control plane deterministik. Kontainer ini menjalankan graph workflow ADK 2.0 yang mengorkestrasi pemanggilan tools, mengelola retries, dan menegakkan hard safety gates. Cloud Run dikonfigurasi dengan profil komputasi tinggi (misalnya, 4 vCPU dan 16GB RAM) untuk menangani parsing file lokal sebelum mengirimkan token ke Vertex AI.
3. Vertex AI (Gemini 3.1 Pro Preview): Mesin kognitif utama. Model ini menerima konteks masif (hingga jutaan token) yang terdiri dari teks, gambar CAD, dan spesifikasi teknis, lalu melakukan penalaran spasial dan struktural untuk menghasilkan evaluasi desain.
4. Cloud SQL (PostgreSQL 17) & BigQuery: Cloud SQL menyimpan state agen, riwayat sesi, dan checkpoint dari graph workflow, memungkinkan agen untuk dilanjutkan (resume) jika terjadi interupsi. BigQuery bertindak sebagai data warehouse telemetri, menyimpan metrik evaluasi, latensi, dan biaya per tugas untuk analisis FinOps berkelanjutan.
5. VPC Service Controls (VPC SC): Membungkus seluruh topologi dalam perimeter keamanan logis, mencegah akses API dari luar perimeter dan memblokir eksfiltrasi data ke layanan GCP eksternal atau internet publik yang tidak sah.

Implementasi Langkah demi Langkah

Untuk mengimplementasikan arsitektur di atas, kita akan menggunakan Python ADK 2.0 untuk mendefinisikan agen rekayasa fisik, dan gcloud CLI untuk men-deploy agen tersebut ke Cloud Run.

Langkah 1: Mendefinisikan Agen dengan Python ADK 2.0 Kode berikut mendemonstrasikan bagaimana menginisialisasi agen menggunakan model gemini-3.1-pro-preview yang dioptimalkan untuk penalaran kompleks, dilengkapi dengan custom tools untuk membaca file CAD dan memvalidasi kode bangunan.

# main.py
import os
from google.adk import Agent
from google.adk.tools import Tool

# Mendefinisikan custom tool untuk membaca spesifikasi teknis dari Cloud Storage
def read_engineering_specs(project_id: str, file_path: str) -> str:
    """Membaca dan mengekstrak teks dari file spesifikasi teknik di GCS."""
    # Implementasi ekstraksi file (PDF/CAD) menggunakan library internal
    return f"Extracted technical specifications for {file_path}..."

engineering_spec_tool = Tool(
    name="read_engineering_specs",
    description="Membaca spesifikasi teknis mekanikal/struktural dari repositori proyek.",
    func=read_engineering_specs
)

# Menginisialisasi Agen ADK 2.0 dengan model Gemini 3.1 Pro Preview (Tahun 2026)
physical_engineering_agent = Agent(
    name="ple_structural_reviewer",
    model="gemini-3.1-pro-preview",
    instruction=(
        "Anda adalah insinyur struktural berlisensi. Tugas Anda adalah mengevaluasi "
        "direktori proyek yang berisi file CAD dan spesifikasi material. "
        "Anda harus memverifikasi kepatuhan terhadap kode bangunan lokal, "
        "menghitung batas toleransi beban, dan menghasilkan laporan evaluasi "
        "yang menyoroti pelanggaran keselamatan (hard safety gates)."
    ),
    tools=[engineering_spec_tool],
)

# Entry point untuk Cloud Run (menggunakan framework web ringan seperti FastAPI/Flask di bawah kap)
if __name__ == "__main__":
    # ADK menyediakan server bawaan untuk mengekspos agen sebagai endpoint HTTP
    from google.adk.server import serve
    port = int(os.environ.get("PORT", 8080))
    serve(physical_engineering_agent, port=port, host="0.0.0.0")

Langkah 2: Deployment ke Cloud Run via gcloud CLI Setelah kode agen siap, kita men-deploy-nya ke Cloud Run. Perintah berikut mengonfigurasi instans dengan 4 vCPU, 16GB RAM, dan menetapkan Service Account khusus untuk menegakkan least-privilege.

# 1. Membuat Service Account khusus untuk agen
gcloud iam service-accounts create ple-agent-sa \
    --display-name="PLE Physical Engineering Agent SA"

# 2. Memberikan akses baca ke bucket Cloud Storage proyek
gcloud projects add-iam-policy-binding my-enterprise-project \
    --member="serviceAccount:ple-agent-sa@my-enterprise-project.iam.gserviceaccount.com" \
    --role="roles/storage.objectViewer"

# 3. Men-deploy agen ADK ke Cloud Run
gcloud run deploy ple-structural-agent \
    --source . \
    --region asia-southeast1 \
    --service-account ple-agent-sa@my-enterprise-project.iam.gserviceaccount.com \
    --cpu 4 \
    --memory 16Gi \
    --concurrency 1 \
    --max-instances 100 \
    --no-allow-unauthenticated \
    --set-env-vars="GOOGLE_CLOUD_PROJECT=my-enterprise-project"

Catatan Arsitektural: Parameter --concurrency 1 sangat penting di sini. Karena tugas rekayasa fisik sangat intensif secara komputasi dan memori (memproses file besar secara lokal sebelum memanggil Vertex AI), membatasi konkurensi ke 1 permintaan per instans memastikan bahwa agen tidak mengalami Out-Of-Memory (OOM) kills selama eksekusi long-horizon.

Kesiapan Production: FinOps, Kuota & Guardrails Keamanan

Membawa agen AI dari lingkungan eksperimental ke produksi enterprise membutuhkan disiplin operasional yang ketat, terutama di tiga area kritis: keamanan, manajemen kuota, dan FinOps.

1. Guardrails Keamanan & Kepatuhan (Security Guardrails) Dalam konteks rekayasa fisik, data yang diproses oleh agen (seperti cetak biru gedung pencakar langit atau desain chip komputer) adalah aset paling berharga milik perusahaan. Oleh karena itu, arsitektur harus menerapkan VPC Service Controls (VPC SC). VPC SC bertindak sebagai firewall logis di tingkat API Google Cloud. Dengan menempatkan Cloud Run, Cloud Storage, dan Vertex AI di dalam perimeter yang sama, kita memastikan bahwa agen tidak dapat secara tidak sengaja (atau karena manipulasi prompt) mengirimkan data desain ke bucket penyimpanan eksternal atau memanggil API di luar proyek yang diizinkan. Selain itu, penggunaan Identity-Aware Proxy (IAP) di depan Cloud Run memastikan bahwa hanya insinyur berlisensi yang terautentikasi melalui SSO perusahaan yang dapat berinteraksi dengan antarmuka agen atau meninjau hasil evaluasinya.

2. Manajemen Kuota & Keandalan (Quotas & Reliability) Beban kerja agen otonom, terutama yang beroperasi pada graph workflows yang kompleks, dapat dengan cepat menghabiskan kuota API. Untuk Vertex AI, metrik kritis yang harus dipantau adalah Tokens Per Minute (TPM) dan Requests Per Minute (RPM). Karena setiap tugas PLE melibatkan rata-rata 61 file yang dapat diterjemahkan menjadi jutaan token input, sangat penting untuk mengimplementasikan mekanisme exponential backoff dan circuit breakers di dalam ADK 2.0. Di sisi Cloud Run, mengonfigurasi --max-instances (seperti yang ditunjukkan pada langkah implementasi) mencegah lonjakan traffic yang tiba-tiba dari menguras anggaran komputasi atau memicu pembatasan kuota regional secara tidak sengaja.

3. FinOps & Unit Economics Biaya inferensi LLM pada skala produksi dapat menjadi tidak terkendali jika tidak diarsiteki dengan benar. Pemilihan model (misalnya, antara gemini-2.5-flash yang dioptimalkan untuk throughput tinggi versus gemini-2.5-pro yang dioptimalkan untuk penalaran mendalam) memiliki dampak eksponensial terhadap Total Cost of Ownership (TCO).

Untuk memberikan visibilitas deterministik terhadap unit economics ini, kami telah menjalankan simulasi FinOps menggunakan SKU resmi Google Cloud untuk beban kerja yang memproses 10.000 tugas evaluasi rekayasa per bulan.

📊 Simulasi FinOps & TCO Produksi: TCO Simulation: Physical-Engineering Agent Workloads (10k Tasks/Month) (Berdasarkan Informasi SKU Google Terbaru)

Asumsi Beban Kerja Produksi (us-central1 / asia-southeast1):

• 10,000 engineering evaluation tasks per month
• Each task processes 50 files (CAD, PDF, BIM) averaging 2,000,000 input tokens per task
• Each task generates 10,000 output tokens (design rationale, safety checks)
• Cloud Run execution averages 120 seconds per task
• Option A uses Gemini 2.5 Flash with 4 vCPU and 8 GiB RAM per Cloud Run instance
• Option B uses Gemini 2.5 Pro with 4 vCPU, 16 GiB RAM, and 1 NVIDIA L4 GPU per Cloud Run instance for local CAD preprocessing

Sumber Harga Resmi Google Cloud (2026.09): cloud.google.com, cloud.google.com

Analisis FinOps di atas secara gamblang mengilustrasikan pentingnya model routing yang cerdas. Meskipun Opsi B (menggunakan Gemini 2.5 Pro dan akselerasi GPU L4 di Cloud Run) menawarkan kemampuan penalaran spasial dan struktural yang jauh lebih superior untuk memecahkan tugas-tugas tersulit dalam benchmark PLE, biayanya hampir 9x lipat lebih tinggi dibandingkan Opsi A.

Dalam implementasi produksi yang matang, arsitek cloud tidak boleh memilih satu opsi secara eksklusif. Praktik terbaik adalah membangun pipeline hibrida menggunakan ADK 2.0: merutekan 80% tugas triase dan ekstraksi standar ke Opsi A (menghemat puluhan ribu dolar), dan secara selektif mengekskalasi 20% tugas yang membutuhkan validasi keselamatan struktural kritis ke Opsi B. Dengan cara ini, enterprise dapat mencapai keseimbangan optimal antara keandalan rekayasa fisik dan keberlanjutan finansial di era agen AI otonom.