Một bản tin giúp Developer cập nhật nhanh AI, Cloud, Open Source và những công nghệ đáng chú ý trong ngày.
📌 Executive Summary
Vercel AI Gateway bắt đầu tạo OpenTelemetry trace cho từng request, giúp theo dõi routing, fallback, token, chi phí và độ trễ mà không xuất prompt hoặc completion.
Vercel đưa AI Gateway lên AWS Marketplace, mở đường cho doanh nghiệp gộp chi phí inference vào hóa đơn và cam kết chi tiêu AWS hiện có.
Vercel Sandbox nâng giới hạn lên 10.000 sandbox chạy đồng thời và tối đa 5.000 vCPU được cấp phát mỗi phút cho các gói phù hợp.
Meta Muse Spark 1.2 xuất hiện trên Vercel AI Gateway với trọng tâm vào coding, debugging và tác vụ dài hơi trên toàn codebase.
Vercel Workflows bổ sung khả năng đo thời gian giữa các step để tìm idle time và nguyên nhân khiến workflow khởi chạy chậm.
Node.js 26.7.0 được phát hành trên nhánh Current; các đội production vẫn nên tiếp tục ưu tiên Node.js 24 LTS.
OpenAI công bố cohort đầu tiên của Economic Research Exchange, chuyển chương trình nghiên cứu tác động kinh tế của AI sang giai đoạn triển khai dự án.
Claude Opus 4.1 đã chạm mốc retirement được công bố trên Google Cloud; ứng dụng còn pin model này cần chuyển sang phiên bản được hỗ trợ.
Vercel tiếp tục thu gọn quy trình quản lý domain với tìm kiếm, mua và cấu hình domain ngay trong dashboard.
Project avatar tùy chỉnh là cập nhật nhỏ nhưng hữu ích cho những tổ chức vận hành nhiều môi trường và project có tên gần giống nhau.
📈 Hôm nay có gì nổi bật?
Xu hướng rõ nhất hôm nay là AI infrastructure đang được vận hành giống hạ tầng production truyền thống hơn. Khi AI Gateway có OpenTelemetry trace, token usage, provider fallback và chi phí có thể đi vào cùng hệ thống quan sát với API, database và background job, đội kỹ thuật không còn phải quản lý AI bằng một dashboard tách biệt.
Vấn đề thứ hai là quy mô thực thi agent đang tăng rất nhanh. Giới hạn 10.000 sandbox đồng thời không chỉ phục vụ vài phiên chạy code thử nghiệm. Nó hướng tới các hệ thống trong đó hàng nghìn agent hoặc sub-agent có thể đồng thời build, kiểm thử, phân tích repository và xử lý tác vụ cô lập.
Điểm cuối cùng là vòng đời model trở thành một dependency vận hành thực sự. Model có thể được thêm vào gateway hôm nay và bị retire trên một nền tảng khác vào ngày mai. Việc hard-code tên model trong source mà không có routing layer, fallback hoặc inventory sẽ ngày càng giống việc pin một dependency đã hết hỗ trợ.
📰 Tin nổi bật
AI Infrastructure và Observability
Vercel AI Gateway xuất OpenTelemetry trace qua Vercel Drains
Vercel AI Gateway hiện tạo một OpenTelemetry trace cho mỗi request. Các đội Pro và Enterprise có thể gửi trace qua Vercel Drains tới endpoint tương thích OTLP/HTTP.
Các integration được Vercel nêu gồm:
Braintrust
Dash0
Kubiks
Sentry
Statsig
Mỗi trace thể hiện toàn bộ vòng đời request:
Model và provider được chọn.
Các lần fallback hoặc retry.
Token usage và chi phí.
Time to first token.
Tổng thời gian request.
Response status.
Project, deployment, API key, environment và custom tag.
Vercel cho biết trace không chứa nội dung prompt hoặc completion. Đây là lựa chọn hợp lý cho observability mặc định vì giảm nguy cơ dữ liệu nhạy cảm bị sao chép sang hệ thống giám sát thứ ba.
Chi phí được công bố là 0,05 USD cho mỗi 1.000 trace được chuyển thành công tới từng drain, cộng chi phí dữ liệu tiêu chuẩn của Vercel Drains.
Tác động với developer
AI request không còn là một hộp đen chỉ có input và output. Đội kỹ thuật có thể xác định latency đến từ provider, retry, routing hay chính ứng dụng; đồng thời quy chiếu chi phí theo project và environment.
Developer nên làm gì?
Chuẩn hóa tag như feature, tenant, environment và use_case.
Không đưa dữ liệu người dùng vào custom tag.
Chọn sampling rate phù hợp thay vì xuất toàn bộ traffic ngay lập tức.
Tạo cảnh báo riêng cho fallback rate, error rate và time to first token.
Kiểm tra chi phí khi cùng một trace được gửi tới nhiều drain.
Nguồn: Vercel — Export AI Gateway traces with Vercel Drains
Vercel AI Gateway có mặt trên AWS Marketplace
Doanh nghiệp hiện có thể mua Vercel AI Gateway thông qua tài khoản AWS hiện tại.
Mô hình thương mại gồm:
Private offer.
Hợp đồng hằng năm.
Usage-based pricing khi vượt cam kết.
Chi phí inference được hợp nhất vào hóa đơn AWS.
Có thể sử dụng một phần cam kết chi tiêu AWS hiện có.
Theo Vercel, mua qua AWS Marketplace không làm thay đổi giá token. AI Gateway vẫn cung cấp một endpoint thống nhất để gọi nhiều model, cùng routing, fallback, regional inference, budget và Zero Data Retention.
Vì sao đáng quan tâm?
Trong doanh nghiệp lớn, procurement thường là rào cản lớn hơn phần tích hợp kỹ thuật. Một nhóm có thể hoàn thành prototype trong vài ngày nhưng phải chờ hàng tháng để thêm vendor mới, hoàn tất security review và ký hợp đồng.
Khả năng mua qua marketplace không làm sản phẩm tốt hơn về mặt kỹ thuật, nhưng có thể rút ngắn đáng kể thời gian từ thử nghiệm đến production.
Developer nên làm gì?
Trước khi chuyển procurement sang AWS Marketplace, cần làm rõ:
Đơn vị nào chịu chi phí.
Usage được phân bổ theo account, team hay project.
Cam kết hằng năm có phù hợp với nhu cầu thực tế không.
Dữ liệu request đi qua region nào.
Quy tắc Zero Data Retention có áp dụng cho mọi provider được chọn không.
Nguồn: Vercel — AI Gateway is now available on AWS Marketplace
Vercel Sandbox tăng lên 10.000 sandbox chạy đồng thời
Vercel nâng giới hạn Sandbox cho các đội Pro và Enterprise lên:
Giới hạn mới được áp dụng tự động, không cần thay đổi cấu hình.
Sandbox thường được dùng để:
Chạy code do AI tạo ra.
Build và test repository.
Thực hiện tác vụ nền cô lập.
Phân tích package hoặc artifact không đáng tin cậy.
Chạy nhiều sub-agent song song.
Vì sao đáng quan tâm?
Khi agent chỉ chạy một task tại một thời điểm, sandboxing là vấn đề bảo mật. Khi hệ thống chạy hàng nghìn agent đồng thời, nó còn trở thành bài toán scheduler, quota, cold start, chi phí và backpressure.
Giới hạn cao không đồng nghĩa ứng dụng nên mặc định tạo hàng nghìn sandbox. Một lỗi retry hoặc fan-out thiếu kiểm soát có thể nhân tải rất nhanh.
Developer nên làm gì?
Đặt concurrency limit ở cấp ứng dụng thấp hơn quota của nền tảng.
Sử dụng queue và backpressure.
Giới hạn CPU, thời gian chạy và network access theo loại task.
Dùng idempotency key để tránh chạy lại cùng một công việc.
Theo dõi tỷ lệ sandbox thất bại, timeout và bị hủy.
Nguồn: Vercel — Sandbox concurrency and vCPU limits
AI Model và Coding Agent
Muse Spark 1.2 của Meta hiện có thể được gọi thông qua Vercel AI Gateway bằng model identifier:
import { streamText } from "ai";
const result = streamText({
model: "meta/muse-spark-1.2",
prompt: "Migrate this service off the deprecated API.",
});
