# Daily Tech Brief — 12/09/2026

> Bản tin hằng ngày dành cho developer: AI coding-agent plugins, inference routing, model caching, multimodal retrieval, multi-turn agent evaluation, background agents và những thay đổi cho thấy AI infrastructure đang chuyển từ “gọi model” sang “thiết kế execution system”.

* * *

## 📌 Executive Summary

*   **24 giờ vừa qua khá yên ắng ở nhóm nguồn developer ưu tiên.** Không có đủ 10–15 product announcement chất lượng cao ngày 11/09 để tạo một bản tin mà không lặp hoặc kéo những headline yếu. Vì vậy bản hôm nay chủ động mở rộng sang ngày 10/09, vẫn nằm trong cửa sổ tối đa 72 giờ.
    
*   OpenAI ngày **11/09** xuất bản recording mới về **ChatGPT Work cho data analytics teams**. Đây là tài nguyên hướng dẫn thay vì product launch, nên được đưa vào mục “Bài viết/tài liệu nên xem” chứ không dùng để thổi phồng thành headline.
    
*   **Google Cloud ra mắt** `google-cloud-developer`**, plugin dành cho AI coding agents**, đóng gói skills, guardrails cho `gcloud`, authentication/authorization guidance và Developer Knowledge MCP server trong cùng một bundle.
    
*   Điểm quan trọng hơn chính plugin: Google xây nó theo **Agent Plugins specification**, một chuẩn vendor-neutral nhằm đóng gói Agent Skills và MCP servers thành các unit có thể di chuyển giữa nhiều coding-agent environments.
    
*   **SageMaker Inference có prefix-aware routing**. Request có chung prompt prefix được giữ trên cùng instance để tận dụng KV cache. AWS benchmark Llama 3.1 70B cho thấy P50 time-to-first-token giảm tới **77%**, KV cache hit rate tăng từ khoảng **25% lên hơn 80%** và throughput tăng tới 16%.
    
*   **SageMaker HyperPod có model caching cho inference**, pre-load model weights và container images xuống local NVMe trước khi pod cần chúng. AWS cho biết workload có thể chuyển từ cold start mất hàng chục phút xuống còn vài giây trong điều kiện phù hợp.
    
*   Hai update trên kể cùng một câu chuyện: **AI inference performance ngày càng phụ thuộc vào data locality**. KV cache phải ở đúng instance; model weights phải ở đúng node. Scaling không chỉ là “thêm GPU”.
    
*   **TwelveLabs Marengo Embed 3.0 đã GA trong Amazon Bedrock Knowledge Bases**, đưa video, audio, image và text vào cùng vector space 512 chiều. Managed Knowledge Bases có thể tự segment video, sample frames, transcribe audio và tạo multimodal embeddings để search bằng natural language.
    
*   AWS đề xuất **Agent Evaluation Metric — AEM** cho multi-turn agents, tách correctness thành truthfulness và completeness theo từng turn, đồng thời phân biệt **root-cause failure** với những turn chỉ hỏng vì kế thừa lỗi trước đó.
    
*   **Pizza Bot được AWS open-source** như một “inbox cho background agents”. Thay vì buộc user ngồi nhìn chat, task có thể chạy lâu, pause để đợi approval, tiếp tục sau khi reconnect và trả kết quả vào các queue như `Unread` hoặc `Action`.
    
*   Pizza Bot hỗ trợ nhiều provider — Anthropic, Bedrock, Gemini, OpenAI, OpenRouter và Ollama — đồng thời giữ state bằng LangGraph/DeepAgents, SQLite và files mà người dùng tự kiểm soát.
    
*   **BigQuery thêm ba analytics primitive ở Preview:** `ML.CORRELATION`, `ML.METRICS` và `AI.CAUSAL_EFFECT`. Điểm đáng chú ý là evaluation và causal analysis đang được đưa trực tiếp vào SQL/data-warehouse layer thay vì luôn phải xuất dữ liệu sang pipeline bên ngoài.
    
*   **Kubernetes v1.37 thử nghiệm Scheduler Preemption for In-Place Pod Resize ở Alpha**, giúp scheduler xem xét preemption khi Pod cần tăng resource tại chỗ nhưng node hiện tại không đủ capacity.
    
*   Anthropic cũng công bố một bộ evaluations mới cho **tactical intelligence targeting và conventional-weapons capability**. Kết quả quan trọng với AI governance là một số frontier models đã tiến tới mức thực hiện những tác vụ vốn trước đây cần expert labor khan hiếm; điều này khiến capability evaluation cần mở rộng ra ngoài cybersecurity và biorisk.
    
*   Chủ đề xuyên suốt hôm nay là **locality + composability + evaluation**: tool knowledge phải được đóng gói cho agents, request phải tới đúng cache, model phải ở đúng node và lỗi agent phải được truy về đúng turn đã gây ra nó.
    

* * *

## 📈 Hôm nay có gì nổi bật?

Có một shift khá rõ trong những release hôm nay.

Một năm trước, kiến trúc AI application thường được vẽ như:

```plaintext
application
  -> model API
  -> response
```

Nhưng production AI ngày càng trông giống:

```plaintext
user intent
  -> agent runtime
  -> skills/plugins
  -> tools/MCP
  -> router
  -> inference fleet
  -> cache
  -> state
  -> evaluator
  -> approval
  -> side effect
```

Càng nhìn kỹ, càng thấy model chỉ là một component.

### Locality đang trở thành optimization primitive

Prefix-aware routing cho thấy:

```plaintext
cache có tồn tại
```

chưa đủ.

Request phải quay lại **đúng instance giữ cache đó**.

HyperPod model caching cũng tương tự:

```plaintext
model weights tồn tại trên S3
```

chưa đủ.

Weights phải có sẵn **trên node sẽ chạy inference**.

Đây là nguyên lý rất quen thuộc trong distributed systems:

> dữ liệu gần compute thường quan trọng không kém bản thân compute.

### Plugins đang trở thành packaging layer của agents

Google Cloud plugin cũng đáng chú ý vì nó không đơn giản là “một prompt bundle”.

Nó kết hợp:

```plaintext
skills
MCP configuration
docs grounding
IAM guidance
guardrails
```

thành một package có structure chuẩn.

Nếu hướng này phát triển, agent ecosystem có thể lặp lại evolution của software ecosystem:

```plaintext
source files
  -> packages
  -> package managers
  -> registries
  -> policy
```

### Evaluation phải biết lỗi bắt đầu ở đâu

Một multi-turn agent có thể hỏng ở turn 2 nhưng tất cả turn 3–8 cũng trở thành sai.

Nếu metric tính:

```plaintext
7 failures
```

team có thể tưởng có bảy bug.

Thực tế chỉ có:

```plaintext
1 root cause
+
6 cascading failures
```

AEM nhấn mạnh distinction này.

Đây là bước cần thiết nếu agents thật sự muốn có regression engineering giống software truyền thống.

* * *

# 📰 Tin nổi bật

## 🤖 AI Coding Agents

### Google Cloud ra mắt plugin chính thức dành cho AI coding agents

> **Tin mở rộng 24–72 giờ — công bố 10/09/2026**

Google Cloud giới thiệu plugin mới:

```plaintext
google-cloud-developer
```

dành cho AI coding agents.

Plugin đóng gói nhiều capability liên quan thay vì yêu cầu developer cài từng skill/tool riêng lẻ.

Nó tập trung vào các nền tảng:

*   authentication;
    
*   authorization;
    
*   project management;
    
*   `gcloud` CLI operations;
    
*   IAM best practices;
    
*   official Google Cloud documentation.
    

Plugin cũng cấu hình **Developer Knowledge MCP server**, giúp agent truy cập tài liệu developer chính thức mới nhất của Google.

### Agent Plugins specification

Điểm đáng chú ý nhất là Google xây plugin theo một **open, vendor-neutral Agent Plugins specification**.

Ý tưởng:

```plaintext
plugin
  ├── skills
  ├── MCP servers
  ├── configuration
  └── manifest
```

thay vì mỗi agent environment phải có wrapper riêng.

Google cung cấp installation flow cho nhiều môi trường, bao gồm:

*   Antigravity CLI;
    
*   Claude Code;
    
*   Codex CLI.
    

### Tác động với developer

Agent tooling bắt đầu có một packaging problem giống dependencies trước đây.

Không có packaging layer, team dễ rơi vào:

```plaintext
copy prompt
copy MCP config
install another skill
edit CLAUDE.md
edit agent instructions
forget one dependency
```

Plugin bundle tạo ra một deployment unit rõ ràng hơn.

### Developer nên làm gì?

Nếu đang xây internal agent tooling:

*   gom related skills thành logical package;
    
*   version package;
    
*   ghi rõ tool permissions;
    
*   tách docs grounding khỏi writable operations;
    
*   đừng để installation instruction chỉ nằm trong wiki nội bộ.
    

**Nguồn:** [Google Cloud — Introducing the Google Cloud Developer Plugin for AI Coding Agents](https://cloud.google.com/blog/topics/developers-practitioners/introducing-the-google-cloud-developer-plugin-for-ai-coding-agents)

* * *

# ⚡ LLM Inference

## SageMaker có prefix-aware routing để tận dụng KV cache

> **Tin mở rộng 24–72 giờ — công bố 10/09/2026**

Prefix caching đã tồn tại trong serving frameworks như:

*   vLLM;
    
*   TensorRT-LLM.
    

Ví dụ nhiều requests có cùng system prompt dài:

```plaintext
[3000-token instructions]
  + user message A

[3000-token instructions]
  + user message B
```

Framework có thể cache KV state của 3000 tokens đầu.

Nhưng khi endpoint có nhiều instances:

```plaintext
request 1 -> instance A
request 2 -> instance B
request 3 -> instance C
```

cache bị phân tán và hit rate thấp.

AWS giải bài toán này bằng:

```plaintext
PREFIX_AWARE routing
```

Các request có cùng phần đầu được ưu tiên gửi lại cùng instance.

### Benchmark AWS

Với Llama 3.1 70B và 7 `ml.p5.48xlarge` instances:

Long-context workload với shared prefix khoảng 8.000 tokens ghi nhận:

*   P50 TTFT giảm khoảng 71–77%;
    
*   P90 TTFT giảm khoảng 33–37%;
    
*   KV cache hit rate tăng từ khoảng 25% lên khoảng 82%;
    
*   throughput tăng 15–16%.
    

Routing overhead chỉ khoảng:

```plaintext
1,3–1,9 ms/request
```

trong benchmark đó.

### Safeguards

Router vẫn có overload protection.

Nếu preferred instance đã đạt concurrency threshold:

```plaintext
cache locality
  ↓
nhường ưu tiên cho
  ↓
load balancing
```

### Tác động với developer

Load balancing cho LLM không phải lúc nào cũng nên:

```plaintext
random
```

hoặc:

```plaintext
least connections
```

Request content có thể là một scheduling signal.

### Developer nên làm gì?

Prefix-aware routing đặc biệt đáng benchmark với:

*   RAG trên cùng documents;
    
*   multi-turn conversations;
    
*   agents có system prompt dài;
    
*   coding assistants;
    
*   applications có stable prompt templates.
    

Đo:

```plaintext
TTFT
KV cache hit rate
throughput
p95/p99
instance balance
```

Không nên chỉ nhìn average latency.

**Nguồn:** [AWS — Reduce LLM latency with prefix-aware routing on Amazon SageMaker Inference](https://aws.amazon.com/blogs/machine-learning/reduce-llm-latency-with-prefix-aware-routing-on-amazon-sagemaker-inference/)

* * *

# 💾 Model Serving

## HyperPod model caching đưa inference cold start từ hàng chục phút xuống vài giây

> **Tin mở rộng 24–72 giờ — công bố 10/09/2026**

SageMaker HyperPod Inference bổ sung **model caching**.

Có hai cache riêng:

### Weights cache

Model weights được tải trước xuống:

```plaintext
local NVMe
```

trên target nodes.

AWS cho biết local NVMe có thể đọc ở khoảng:

```plaintext
~7 GB/s
```

thay vì tải model lại qua network mỗi khi pod khởi động.

### Image cache

Inference container image cũng được pre-pull xuống node.

Điều này loại bỏ thời gian:

```plaintext
ECR image pull
```

khỏi startup path.

AWS đưa ví dụ:

*   inference image có thể mất 5–7 phút để pull;
    
*   model 145 GB có thể mất hơn 20 phút để tải;
    
*   model hơn 600 GB như DeepSeek-R1 có thể mất hơn 30 phút.
    

### Benchmark

AWS cho biết trong các test model 57–145 GB:

*   weights caching cải thiện scale-out khoảng 60%;
    
*   image cache có thể giảm tới 97% thời gian pull image trong một số trường hợp.
    

### Tác động với developer

Autoscaling reaction time không giống serving reaction time.

Bạn có thể có:

```plaintext
HPA reacts in 5 seconds
```

nhưng:

```plaintext
new GPU pod ready in 30 minutes
```

thì autoscaling vẫn không xử lý được traffic spike hữu ích.

### Developer nên làm gì?

Capacity planning cho inference nên đo:

```plaintext
scale signal
  -> scheduler
  -> node ready
  -> image ready
  -> model loaded
  -> first successful token
```

Đó mới là **real scale-out latency**.

Ngoài ra cần kiểm tra NVMe capacity vì mỗi node giữ một copy weights riêng.

**Nguồn:** [AWS — Reduce inference cold starts on Amazon SageMaker HyperPod with model caching](https://aws.amazon.com/blogs/machine-learning/reduce-inference-cold-starts-on-amazon-sagemaker-hyperpod-with-model-caching/)

* * *

# 🎬 Multimodal RAG

## Marengo Embed 3.0 GA trong Amazon Bedrock Knowledge Bases

> **Tin mở rộng 24–72 giờ — công bố 10/09/2026**

TwelveLabs **Marengo Embed 3.0** hiện Generally Available dưới dạng embedding model trong Amazon Bedrock Knowledge Bases.

Model đưa:

```plaintext
video
audio
image
text
```

vào cùng một:

```plaintext
512-dimensional vector space
```

### Managed multimodal ingestion

Bedrock Managed Knowledge Bases có thể tự:

*   segment video;
    
*   sample frames;
    
*   transcribe audio;
    
*   tạo embeddings;
    
*   index vectors.
    

File support gồm:

*   MP4;
    
*   MOV;
    
*   JPEG;
    
*   PNG;
    
*   audio tracks.
    

Sau đó application có thể search kiểu:

> “Tìm đoạn có cú sút penalty trong hiệp hai.”

và nhận lại chunks kèm:

*   start time;
    
*   end time;
    
*   source URI;
    
*   embedding metadata.
    

### Tác động với developer

Multimodal search trước đây thường phải tự nối:

```plaintext
transcription
  +
frame extraction
  +
embeddings
  +
vector DB
  +
timestamp alignment
```

Managed KB đang nén pipeline này thành một ingestion configuration.

### Developer nên làm gì?

Đánh giá retrieval quality theo domain thật.

Ví dụ với video:

*   action recognition;
    
*   spoken content;
    
*   text xuất hiện trong frame;
    
*   scene semantics;
    
*   timestamp precision.
    

Một model tốt ở “semantic scene” chưa chắc tốt ở OCR hoặc exact speech retrieval.

**Nguồn:** [AWS — Video and image search in Amazon Bedrock Knowledge Base using Marengo 3.0](https://aws.amazon.com/blogs/machine-learning/video-and-image-search-in-amazon-bedrock-knowledge-base-using-marengo-3-0/)

* * *

# 📏 Agent Evaluation

## AWS đề xuất AEM để tìm đúng turn gây lỗi trong multi-turn agents

> **Tin mở rộng 24–72 giờ — công bố 10/09/2026**

AWS giới thiệu **Agent Evaluation Metric — AEM**.

Bài toán:

```plaintext
turn 1 correct
turn 2 wrong tool parameter
turn 3 uses wrong result
turn 4 uses wrong result
turn 5 uses wrong result
```

Outcome evaluator có thể nói:

```plaintext
4 turns failed
```

AEM cố trả lời:

```plaintext
root cause = turn 2
```

và:

```plaintext
turn 3–5 = cascading failures
```

### Correctness được tách thành hai phần

```plaintext
Truthfulness
Completeness
```

Đối với tool call:

**Completeness**

*   đủ parameters hay không;
    
*   có parameter thừa hay không.
    

**Truthfulness**

*   parameter values đúng semantics hay không.
    

Ngoài ra còn structural failures:

```plaintext
tool_mismatch
action_mismatch
```

và label:

```plaintext
prior_action_failed
```

để đánh dấu lỗi kế thừa.

### Tác động với developer

Regression dashboard không nên biến cascading failure thành hàng chục “independent bugs”.

Root-cause attribution giúp team tập trung vào turn đầu tiên phá trajectory.

### Developer nên làm gì?

Dataset evaluation nên lưu:

```plaintext
expected response
expected tool
expected action
expected params
dependency between turns
```

Sau đó dashboard nên hiển thị ít nhất:

```plaintext
success rate
first failure turn
root cause
cascading failure count
```

**Nguồn:** [AWS — Agent Evaluation Metric for multi-turn conversations](https://aws.amazon.com/blogs/machine-learning/agent-evaluation-metric-for-multi-turn-conversations/)

* * *

# 📥 Background Agents

## AWS open-source Pizza Bot — inbox cho agents chạy nền

> **Tin mở rộng 24–72 giờ — công bố 10/09/2026**

Pizza Bot bắt đầu từ một assumption khá thú vị:

> User không ngồi nhìn agent chạy.

Một task có thể:

```plaintext
chạy 20 phút
  -> cần approval
  -> user đang họp
  -> pause
  -> user trả lời 1 giờ sau
  -> agent tiếp tục
```

Chat UI truyền thống không tối ưu cho flow này.

Pizza Bot sử dụng kiểu inbox.

### Ba queues

```plaintext
All
Unread
Action
```

`Unread` chứa finished work chưa xem.

`Action` chứa tasks đang pause vì cần user quyết định.

### Durable state

Pizza Bot dùng:

*   DeepAgents;
    
*   LangGraph;
    
*   SQLite;
    
*   filesystem checkpoints.
    

Run có thể tồn tại qua:

*   page reload;
    
*   client disconnect;
    
*   chuyển thiết bị.
    

### Provider-neutral

Có thể dùng:

*   Anthropic;
    
*   Amazon Bedrock;
    
*   Google Gemini;
    
*   OpenAI;
    
*   OpenRouter;
    
*   Ollama.
    

AWS cho biết những phiên bản trước của hệ thống này đã được hơn **2.000 người bên trong Amazon** sử dụng.

### Security model

Disk không được access mặc định.

User phải grant folder:

```plaintext
read-only
```

hoặc:

```plaintext
read/write
```

MCP tools được giới hạn theo skill.

Sensitive tools có thể yêu cầu approval.

### Tác động với developer

Background agents cần UX khác chatbot.

Các primitive quan trọng là:

```plaintext
durable task
notification
pause
approval
resume
schedule
audit
```

chứ không phải typing indicator.

### Developer nên làm gì?

Nếu xây long-running agent, đừng giữ toàn bộ state trong WebSocket/browser session.

Execution state nên tồn tại độc lập với UI connection.

**Nguồn:** [AWS Open Source — Introducing Pizza Bot](https://aws.amazon.com/blogs/opensource/introducing-pizza-bot-an-open-source-inbox-for-ai-agents-that-work-in-the-background/)

* * *

# 📊 Data + AI

## BigQuery thêm correlation, generic ML metrics và causal-effect analysis

> **Tin mở rộng 24–72 giờ — công bố 10/09/2026**

BigQuery có ba function mới ở **Preview**.

### `ML.CORRELATION`

Tính statistical correlation giữa:

```plaintext
target column
```

và:

```plaintext
metric columns
```

### `ML.METRICS`

Tính evaluation metrics cho:

*   classification;
    
*   regression.
    

Điểm đáng chú ý:

không bắt buộc dữ liệu prediction phải đến từ một stored BigQuery ML model.

Chỉ cần table/query chứa:

```plaintext
actual
predicted
```

### `AI.CAUSAL_EFFECT`

Dùng để estimate tác động của intervention đối với time-series data.

Ví dụ về mặt concept:

> “Campaign này thực sự làm conversion tăng bao nhiêu so với baseline?”

thay vì chỉ:

> “Conversion tăng sau campaign.”

### Tác động với developer

Data warehouse đang hấp thụ ngày càng nhiều phần việc trước đây nằm ở notebook pipeline:

```plaintext
analysis
evaluation
inference
causal measurement
```

Điều đó giúp giảm data movement.

### Developer nên làm gì?

Đối với `ML.METRICS`, đây có thể là cách đơn giản để evaluate predictions đến từ:

*   external model API;
    
*   batch model;
    
*   different model versions.
    

Lưu predictions vào table rồi so bằng cùng một SQL evaluation layer.

**Nguồn:** [Google Cloud — BigQuery release notes](https://docs.cloud.google.com/bigquery/docs/release-notes)

* * *

# ☸️ Kubernetes

## Kubernetes v1.37 thử nghiệm preemption cho In-Place Pod Resize

> **Tin mở rộng 24–72 giờ — công bố 10/09/2026**

In-Place Pod Vertical Scaling đã GA từ Kubernetes v1.35.

Nó cho phép thay đổi CPU/memory request của container mà không phải luôn recreate Pod.

Nhưng có một edge case.

Pod đang chạy trên Node A:

```plaintext
CPU request = 2
```

muốn resize:

```plaintext
CPU request = 8
```

Node A không còn đủ capacity.

Trong một số tình huống, scheduler cần khả năng preempt lower-priority workloads để tạo capacity cho resize.

Kubernetes v1.37 giới thiệu feature gate:

```plaintext
InPlacePodVerticalScalingSchedulerPreemption
```

ở trạng thái:

```plaintext
Alpha
```

### Tác động với developer

Dynamic resource resizing đang tiến gần behavior của workload scheduler “thực sự động”.

Nhưng preemption có consequences.

Giúp một high-priority Pod resize có thể đồng nghĩa:

```plaintext
lower-priority Pods bị evict
```

### Developer nên làm gì?

Chỉ thử ở non-production trước.

Theo dõi:

*   eviction frequency;
    
*   resize latency;
    
*   Pod priority configuration;
    
*   disruption budgets;
    
*   scheduler events.
    

Dynamic resource management không nên được bật mà không quan sát collateral impact.

**Nguồn:** [Kubernetes — Scheduler Preemption for In-Place Pod Resize](https://kubernetes.io/blog/2026/09/10/kubernetes-v1-37-scheduler-preemption-for-in-place-pod-resize-alpha/)

* * *

# 🛡️ Frontier AI Evaluation

## Anthropic mở rộng capability evaluation sang tactical intelligence và conventional weapons

> **Tin mở rộng 24–72 giờ — công bố 10/09/2026**

Anthropic Frontier Red Team công bố một nhóm evaluations mới nhằm đo model capability ở các task liên quan tới:

*   identity correlation;
    
*   person classification;
    
*   image geolocation;
    
*   text-based geolocation;
    
*   simulated guidance/navigation/control engineering.
    

Điểm đáng chú ý với developer không nằm ở domain quân sự cụ thể mà ở **evaluation methodology**.

Anthropic dùng:

*   synthetic social datasets;
    
*   hidden ground truth;
    
*   post-knowledge-cutoff image subsets;
    
*   tool-use restrictions;
    
*   anti-cheating controls;
    
*   randomized simulation environments.
    

Một example đáng chú ý:

trên image geolocation benchmark, Anthropic báo cáo Mythos Preview đạt median error **37 km** trên 6.000 photos, so với 151 km ở benchmark proxy từ nhóm GeoGuessr Champion Division.

Anthropic cảnh báo hai task không hoàn toàn giống nhau nên comparison không nên được hiểu như benchmark tuyệt đối.

### Tác động với developer

Frontier-model evals ngày càng phải đo:

```plaintext
capability
  ≠
chatbot quality
```

Một model có thể không “cảm giác” khác nhiều trong chat nhưng lại vượt threshold quan trọng ở:

*   search;
    
*   correlation;
    
*   coding;
    
*   planning;
    
*   tool use.
    

### Developer nên làm gì?

Với high-impact AI systems, đánh giá model theo **capability relevant tới quyền mà bạn cấp**, không chỉ benchmark tổng quát.

Ví dụ:

agent có browser + private data access thì cần test:

```plaintext
re-identification risk
data correlation
external search behavior
```

chứ không chỉ SWE-bench.

**Nguồn:** [Anthropic — Measuring tactical intelligence targeting and conventional weapons capabilities of AI models](https://www.anthropic.com/research/intelligence-targeting-conventional-weapons-capabilities)

* * *

# 🔥 Top 5 đáng chú ý nhất hôm nay

| Hạng | Chủ đề | Vì sao đáng chú ý |
| --- | --- | --- |
| 1 | Prefix-aware LLM routing | Cho thấy request scheduling phải hiểu cache locality; benchmark giảm P50 TTFT tới 77% mà không đổi model. |
| 2 | HyperPod model caching | GPU autoscaling vô nghĩa nếu model mất 30 phút để tải; model locality trở thành capacity primitive. |
| 3 | Google Cloud Agent Plugin | Skills + MCP + docs + guardrails bắt đầu được đóng gói thành portable agent plugins thay vì config rời rạc. |
| 4 | AEM cho multi-turn agents | Tách root cause khỏi cascading failures — nền tảng cần thiết cho regression engineering của agents. |
| 5 | Pizza Bot | Background agent UX chuyển từ synchronous chat sang durable inbox + approvals + resume. |

* * *

# 🛠 Công cụ đáng thử

## Google Cloud Developer Plugin

Tool đáng thử nhất hôm nay nếu đang sử dụng coding agents với Google Cloud.

Nó giúp agent có một bộ capability thống nhất cho:

```plaintext
auth
IAM
gcloud
projects
official docs
```

thay vì phụ thuộc prompt thủ công.

[Google Cloud Developer Plugin](https://cloud.google.com/blog/topics/developers-practitioners/introducing-the-google-cloud-developer-plugin-for-ai-coding-agents)

* * *

## Pizza Bot

Đáng thử nếu muốn nghiên cứu UX cho:

```plaintext
long-running
asynchronous
scheduled
approval-driven
```

agents.

Điểm thú vị nhất không phải model integration mà là persistence model.

[AWS — Pizza Bot](https://aws.amazon.com/blogs/opensource/introducing-pizza-bot-an-open-source-inbox-for-ai-agents-that-work-in-the-background/)

* * *

## SageMaker Prefix-Aware Routing

Nếu inference request có long common prefixes, đây có thể là optimization có impact rất lớn mà không cần quantize hoặc đổi GPU.

[AWS — Prefix-aware routing](https://aws.amazon.com/blogs/machine-learning/reduce-llm-latency-with-prefix-aware-routing-on-amazon-sagemaker-inference/)

* * *

# 📚 Bài viết nên đọc

## Reduce LLM latency with prefix-aware routing on Amazon SageMaker Inference

Bài infrastructure đáng đọc nhất hôm nay.

Nó minh họa rất rõ sự khác biệt giữa:

```plaintext
model optimization
```

và:

```plaintext
system optimization
```

Không đổi model, nhưng routing strategy vẫn tạo khác biệt rất lớn về TTFT và cache hit rate.

[Đọc trên AWS](https://aws.amazon.com/blogs/machine-learning/reduce-llm-latency-with-prefix-aware-routing-on-amazon-sagemaker-inference/)

* * *

## Agent Evaluation Metric for multi-turn conversations

Nếu đang xây agent evaluation pipeline, đây là bài nên đọc.

Điểm đáng lấy về không phải metric name, mà là concept:

```plaintext
root cause
  !=
downstream failure
```

[Đọc trên AWS](https://aws.amazon.com/blogs/machine-learning/agent-evaluation-metric-for-multi-turn-conversations/)

* * *

## Measuring tactical intelligence targeting and conventional weapons capabilities of AI models

Bài đáng đọc về frontier capability evaluation methodology.

Đặc biệt hữu ích ở cách Anthropic:

*   tạo ground truth;
    
*   ngăn memorization;
    
*   dùng synthetic environments;
    
*   phân biệt simulation với real-world capability.
    

[Đọc trên Anthropic](https://www.anthropic.com/research/intelligence-targeting-conventional-weapons-capabilities)

* * *

## ChatGPT Work for data analytics teams

> **Tài liệu mới trong 24 giờ — đăng 11/09/2026**

OpenAI Academy đăng recording tập trung vào việc dùng ChatGPT Work trong workflow của data analytics teams.

Đây không phải product launch nên không đưa vào nhóm headline, nhưng là tài liệu mới đáng tham khảo cho team đang đưa AI vào analytics workflow.

[OpenAI Academy — ChatGPT Work for data analytics teams](https://academy.openai.com/public/clubs/work-users-ynjqu/videos/chatgpt-work-for-data-analytics-teams-recording-2026-08-19)

* * *

# 🚀 GitHub Repository nổi bật

## google/skills

Repository nổi bật nhất hôm nay.

Google Cloud Developer Plugin và các Agent Skills được phân phối từ ecosystem này.

Đây là repository đáng theo dõi nếu muốn hiểu cách Google tổ chức:

```plaintext
agent plugins
skills
manifests
tool integrations
```

[github.com/google/skills](https://github.com/google/skills)

* * *

## strands-agents/sdk-python

AEM được mô tả như một custom evaluator có thể chạy cùng Strands Agents evaluation pipeline.

Nếu đang xây agent eval harness bằng Python, repository này đáng xem để hiểu trace/evaluation integration.

[github.com/strands-agents/sdk-python](https://github.com/strands-agents/sdk-python)

* * *

## aws-samples/amazon-bedrock-samples

Repository thực dụng để tham khảo các pattern Bedrock Knowledge Bases, RAG và multimodal retrieval liên quan tới update Marengo 3.0.

[github.com/aws-samples/amazon-bedrock-samples](https://github.com/aws-samples/amazon-bedrock-samples)

* * *

# 💬 Góc nhìn của mình

Bản hôm nay khiến mình nghĩ nhiều nhất về một thứ:

**AI performance đang trở lại với những bài toán distributed systems rất cổ điển.**

Prefix-aware routing về bản chất là:

> đưa cùng một workload quay lại nơi đang giữ state hữu ích.

Model caching là:

> đưa dữ liệu tới compute trước khi compute cần nó.

Hai nguyên tắc này không mới.

Databases đã làm chúng.

CDN đã làm chúng.

CPU caches đã làm chúng.

Distributed storage đã làm chúng.

AI infrastructure chỉ đang rediscover cùng principle ở scale khác.

Điểm thứ hai là agent plugins.

Khi mỗi agent cần:

```plaintext
prompt
skill
MCP server
docs
permissions
```

thì configuration thủ công sẽ không scale.

Software ecosystem từng giải vấn đề tương tự bằng:

```plaintext
package
version
dependency
registry
```

Rất có thể agent ecosystem sẽ đi cùng hướng.

Điểm thứ ba là evaluation.

Multi-turn agent khác API request bình thường ở chỗ:

**lỗi có memory.**

Một tool parameter sai ở phút thứ hai có thể phá kết quả 20 phút sau.

Vì vậy nếu observability chỉ báo:

```plaintext
task failed
```

thì gần như vô dụng.

Ta cần:

```plaintext
first wrong decision
dependency chain
cascading impact
```

AEM đang đi đúng hướng.

Điểm thứ tư là Pizza Bot.

Nhiều product vẫn thiết kế agent như chatbot:

```plaintext
user gửi
user đợi
agent trả
```

Nhưng task đủ lớn sẽ phá UX này.

Một developer có thể giao:

> nâng package, chạy test, fix failures và mở PR.

Không ai muốn nhìn màn hình 25 phút để đợi agent.

Long-running agents cần semantics giống job system hơn:

```plaintext
queued
running
blocked
awaiting approval
completed
failed
```

Chat chỉ là một interface.

Cuối cùng, mình nghĩ prefix-aware routing có một lesson rộng hơn.

Trong AI systems, chúng ta thường hỏi:

> model nào nhanh nhất?

Nhưng production latency có thể đến từ:

```plaintext
routing
cache miss
image pull
weight loading
queueing
tool call
networking
```

Thay model đôi khi là cách tối ưu đắt nhất.

Architecture mới là nơi có những improvement 10×.

* * *

# 📝 Kết luận

12/09 là một ngày tương đối yên ắng ở các nguồn developer lớn trong đúng cửa sổ 24 giờ.

Thay vì lặp lại tin 09–10/09 hoặc đưa những announcement yếu, bản hôm nay sử dụng **một tài nguyên mới ngày 11/09** và mở rộng có chọn lọc sang **8 chủ đề chất lượng ngày 10/09** chưa xuất hiện trong các bản Daily Tech Brief gần nhất.

Ba việc đáng thử:

1.  Với LLM workloads có long shared prefixes, benchmark **cache-aware routing** trước khi mua thêm compute.
    
2.  Với coding agents, bắt đầu quản lý **skills + tools + documentation + guardrails như một versioned package**.
    
3.  Với multi-turn agents, đo **first root-cause failure** thay vì chỉ đếm số turn cuối cùng bị sai.
    

Thông điệp lớn hôm nay:

**Một AI system tốt không chỉ cần model tốt.**

Nó cần:

```plaintext
đúng tool
đúng state
đúng instance
đúng cache
đúng evaluator
đúng permission
```

vào đúng thời điểm.

Và càng tiến tới long-running agents, phần engineering xung quanh model càng trở nên quan trọng.

* * *

# 🔗 Nguồn tham khảo

1.  [Google Cloud — Introducing the Google Cloud Developer Plugin for AI Coding Agents](https://cloud.google.com/blog/topics/developers-practitioners/introducing-the-google-cloud-developer-plugin-for-ai-coding-agents)
    
2.  [AWS — Reduce LLM latency with prefix-aware routing on Amazon SageMaker Inference](https://aws.amazon.com/blogs/machine-learning/reduce-llm-latency-with-prefix-aware-routing-on-amazon-sagemaker-inference/)
    
3.  [AWS — Reduce inference cold starts on Amazon SageMaker HyperPod with model caching](https://aws.amazon.com/blogs/machine-learning/reduce-inference-cold-starts-on-amazon-sagemaker-hyperpod-with-model-caching/)
    
4.  [AWS — Video and image search in Amazon Bedrock Knowledge Base using Marengo 3.0](https://aws.amazon.com/blogs/machine-learning/video-and-image-search-in-amazon-bedrock-knowledge-base-using-marengo-3-0/)
    
5.  [AWS — Agent Evaluation Metric for multi-turn conversations](https://aws.amazon.com/blogs/machine-learning/agent-evaluation-metric-for-multi-turn-conversations/)
    
6.  [AWS Open Source — Introducing Pizza Bot](https://aws.amazon.com/blogs/opensource/introducing-pizza-bot-an-open-source-inbox-for-ai-agents-that-work-in-the-background/)
    
7.  [Google Cloud — BigQuery release notes](https://docs.cloud.google.com/bigquery/docs/release-notes)
    
8.  [Kubernetes — Scheduler Preemption for In-Place Pod Resize](https://kubernetes.io/blog/2026/09/10/kubernetes-v1-37-scheduler-preemption-for-in-place-pod-resize-alpha/)
    
9.  [Anthropic — Measuring tactical intelligence targeting and conventional weapons capabilities](https://www.anthropic.com/research/intelligence-targeting-conventional-weapons-capabilities)
    
10.  [OpenAI Academy — ChatGPT Work for data analytics teams](https://academy.openai.com/public/clubs/work-users-ynjqu/videos/chatgpt-work-for-data-analytics-teams-recording-2026-08-19)