LLM 吃完文字,Physical AI 開始吃「人類動作」:下一波自動化會碰到誰的工作?

晶片觀測站2026/09/2510 min read
分享

30秒摘要

生成式 AI 主要學習文字、圖片與程式碼,Physical AI 則開始把抓取、搬運、組裝、行走與操作工具等人類動作轉成可訓練資料。這不代表人形機器人明天就會造成大規模失業,但它可能逐步改變倉儲、製造、物流、零售甚至服務業的工作內容,讓自動化從固定產線走向更複雜的真實世界。

重點摘要

  1. 012025 年全球工廠運行中的工業機器人已達約 500 萬台。
  2. 022025 年 Humanoid 工業與專業服務用途銷量仍只有約 7,000 台,大規模取代人力尚未發生。
  3. 03Physical AI 的關鍵資料來源之一,是透過 Teleoperation 將人類操作經驗記錄為 Demonstration Data。
  4. 04Simulation 與 Synthetic Data 能放大少量真人示範,降低收集真實機器人資料的成本。
  5. 05勞動市場最可能先看到 Task Automation,而不是整個職業瞬間消失。
  6. 06真正可能降低人力需求的關鍵指標之一,是一名人類能監督多少台自主機器,以及機器需要人工介入的頻率。
  7. 07Physical AI 可能讓原本存在於手、眼睛與肌肉記憶中的 Tacit Knowledge,逐步變成可複製的 Software Asset。

AI 下一個缺的資料,可能不在網路上

過去幾年,人工智慧最重要的原料之一是資料。

大型語言模型從網頁、書籍、文件與程式碼中學習語言;影像生成模型則從大量圖片與文字描述中建立視覺概念。

但當 AI 開始離開螢幕,進入機器人、機械手臂、倉庫、工廠甚至家庭時,一個新的問題開始出現:網路上有大量文字,卻沒有同等規模、可以直接教機器人怎麼使用身體的高品質資料。

人類知道「把杯子放進洗碗機」是什麼意思,但真正執行這個動作,需要判斷杯子的位置、方向、重量、握力、碰撞、手腕旋轉角度與洗碗機內部空間。

這些知識很少被寫成文字。

它們存在於人的視覺、手指、肌肉記憶與多年經驗中。

因此 Physical AI 正在面對與早期大型語言模型非常相似、但更加昂貴的問題:怎麼把人類會做的事情變成機器可以學習的資料?


從文字資料,走向動作資料

Physical AI 通常指能夠感知、理解並實際操作物理世界的 AI 系統。

它不只是回答「箱子在哪裡」,而是必須真的完成:

看到箱子 → 判斷距離 → 移動手臂 → 選擇抓取位置 → 控制握力 → 搬運 → 避開障礙物 → 放下箱子。

因此現在機器人研究非常重要的一條資料管線,就是 Human Demonstration,也就是人類示範資料。

研究人員可以透過 teleoperation 遙控機器人,紀錄攝影機影像、關節位置、末端執行器姿態、力量與動作序列,再讓模型從這些成功示範中進行 imitation learning。

NVIDIA 目前公開的 Physical AI 教學流程就包含這套架構:人類先透過 teleoperation 操作機器人,在模擬或真實環境收集 demonstrations,再利用 imitation learning、domain randomization 與 sim-to-real 技術將策略部署到實體機器人。

這代表一件非常重要的事:人的操作經驗第一次可以比較系統化地被記錄成可複製的機器學習資料。

以前一名熟練員工會操作某種設備,這項能力主要存在於那個人身上。

現在可能逐漸變成:

人類操作 → 動作被記錄 → Dataset → Model → Robot Policy → 部署到更多機器。

這與大型語言模型的發展有一個非常有趣的平行關係。

網路文章 → Language Dataset → LLM → Language Skill

人類操作 → Motion Dataset → Physical AI → Physical Skill

AI 正從學習人類「寫下來的知識」,逐漸走向學習人類「用身體完成的知識」。


甚至不一定需要一萬次真人示範

真正讓這件事情開始加速的,是 simulation 與 synthetic data。

真實世界的 robot demonstration 非常昂貴。

每收集一段資料,都可能需要機器人設備、人類操作員、安全空間、攝影機、感測器,以及大量時間。

而且真實資料容易受到光線、設備差異、攝影機角度、摩擦力甚至物體位置影響。

因此現在 Physical AI 常採用另一條路線:

少量真人示範 → 建立基礎行為 → Simulation → 大量變化 → Synthetic Data → Real Robot。

例如在 simulation 裡,同一次抓杯子的任務可以自動改變杯子的顏色、位置、大小、桌面摩擦力、燈光、攝影機角度與機器人初始姿態。

這就是 domain randomization 的重要用途。

目的不是讓模擬世界百分之百複製現實,而是故意製造大量變化,逼模型學會比較一般化的規則。

NVIDIA 的 Physical AI 教學也明確區分兩種資料:simulation data 數量大而一致,但與真實世界仍有差距;real teleoperation data 更接近現實,品質卻昂貴而有限。因此目前一個重要方向是將兩者一起訓練。

2026 年甚至已經出現更激進的方向。Skild AI 公布的 S1 robot foundation model 宣稱可以從單一影片示範理解新的長序列任務,不需要為該任務重新更新模型權重。

距離真正通用仍然很遠,但研究方向已經相當清楚:Physical AI 的目標不是每一個動作都重新寫程式,而是讓機器可以從示範中學習。


這跟失業有什麼關係?答案不是「機器人直接把職位刪掉」

談到機器人與 AI,很容易直接跳到失業率。

但勞動市場真正可能先發生的事情,通常不是整個 Job 消失,而是 Job 裡面的部分 Task 被自動化。

假設一名倉儲工作者每天負責:

揀貨、搬運、掃描條碼、整理貨架、檢查商品、處理破損物品、應付位置錯誤,以及與其他人協調。

Physical AI 不需要一次完成全部工作,才能產生經濟影響。

它可能先做到:

搬運 A 到 B、固定貨架揀貨、棧板堆疊、重複性分類。

而人仍然負責:

異常處理、破損判斷、特殊訂單、安全監督與機器管理。

於是職位可能仍然叫做「倉儲作業員」,但實際工作已經從大量搬運變成管理設備與處理例外。

因此分析 Physical AI 對工作的影響,比起問「這個職業會不會消失」,更實用的問題可能是:

這個職位裡,有多少工作內容可以被拆成可重複、可觀察、可驗證的動作?

可重複程度越高、環境越可控、成功條件越明確,就越容易成為早期自動化目標。


工業機器人其實早就來了,只是以前不太像 AI

機器人進入工作場所並不是未來式。

International Federation of Robotics 在 2026 年 9 月公布的 World Robotics 2026 資料顯示,2025 年全球工廠中正在運作的 industrial robot 已經達到約 500 萬台,較前一年增加 9%。

光是 2025 年,全球工廠就新增超過 60 萬台工業機器人,年度安裝量成長約 11%。

但傳統工業機器人和今天討論的 Physical AI 有一個巨大差異。

傳統機器人最喜歡的世界是:

位置固定、零件固定、動作固定、路線固定、環境固定。

只要世界夠可預測,一台非常笨但極度精準的機械手臂就能工作十年。

Physical AI 想突破的則是另一個世界:

物品位置會變、人會走動、環境不完全知道、任務偶爾改變、同一種物體可能有不同外觀。

如果這種泛化能力逐步成熟,自動化的邊界就可能從高度結構化的汽車工廠,向倉儲、物流、零售、農業、建築、清潔與其他服務環境擴張。

真正重要的並不只是 humanoid 長得像不像人,而是機器能不能在「為人設計的世界」裡工作。


但 Humanoid 距離大規模取代人類仍然非常遠

這裡必須踩煞車。

2026 年的 humanoid 熱潮非常巨大,但實際部署規模仍很小。

根據 IFR 統計,2025 年全球工業與專業服務用途的 humanoid robot 銷量約 7,000 台。

相較於數十萬台等級的傳統 industrial robot,humanoid 仍然只是非常小的一部分。

而且其中相當一部分機器人是由研究機構或企業購買,用於 AI development、測試與 pilot program,而不是直接進入工廠取代一名全職員工。

因此目前沒有充分證據支持「Humanoid 已經開始造成全球大規模失業」這種說法。

今天真正正在建立的是底層能力與資料管線。

感知模型、robot foundation model、teleoperation、simulation、synthetic data、reinforcement learning、imitation learning、world model、低成本 actuator 與更強的 edge compute 正在慢慢拼成同一個系統。

等這些零件逐漸成熟,勞動市場才可能開始看見更大規模的二階效應。


真正可能改變用人需求的,是「一個人可以管理多少台機器」

Physical AI 對就業最容易被忽略的一點,可能不是完全無人化,而是 Human-to-Robot Ratio。

早期機器人可能需要:

1 名人類 → 操作 1 台 Robot。

這幾乎沒有節省多少勞動力。

當 autonomous capability 提升後,可能變成:

1 名人類 → 監控 5~10 台 Robot。

再進一步:

1 名人類 → 管理數十台 Robot,只處理 exception。

這時,即使現場仍然存在人類工作者,總體人力需求也可能下降。

這與航空、資料中心和大型 IT infrastructure 很相似。真正造成 productivity leap 的往往不是完全不需要人,而是同一名工程師可以管理遠比以前更多的設備。

因此 Physical AI 對工作市場最值得追蹤的指標,未必只是 Robot 數量,而可能是:

每名員工可以監督多少自主設備,以及每台設備需要多少人類 intervention。

當 intervention rate 持續降低,自動化的經濟效果才會真正開始放大。


人類可能先變成「機器人的老師」

在全面 autonomous robot 出現以前,反而可能產生一批以前不存在的工作。

例如 Robot Teleoperator、Robot Fleet Supervisor、Demonstration Data Operator、Simulation Technician、Robot Safety Operator、Exception Handler。

這形成一個有點反直覺的階段:

工人不一定先被機器取代,而可能先開始教機器怎麼做自己的工作。

人類戴著 VR 裝置、操作 leader arm、使用控制器或直接示範動作,讓系統紀錄成功執行任務的方式。

這些 demonstration 隨後成為 dataset,再拿去訓練 robot policy。

長期來看,這也產生一個非常值得討論的經濟問題。

過去一名技師花十年累積的操作技巧,是屬於他的個人技能。

如果未來這些操作可以大量被記錄、資料化,再部署到數千台機器上,那麼「經驗」本身的經濟結構就可能改變。

企業購買的可能不只是 Robot Hardware,而是一套已經學會特定工作流程的 Robot Policy。

某種意義上,工作技能可能開始變成 Software Asset。


WEF 的企業調查已經把 Robotics 列為重要勞動市場變因

World Economic Forum 的 Future of Jobs Report 2025 顯示,接受調查的企業中有 58% 預期 robotics and autonomous systems 將在 2030 年以前顯著改變自己的業務。

WEF 的模型也將 robotics and autonomous systems 列為主要的淨工作 displacement technology 之一,估計在其調查框架下對全球職位造成約 500 萬個淨減少。

但這個數字必須非常小心閱讀。

它不是「已經因為機器人失業 500 萬人」,也不是對未來失業率的精準預測,而是根據企業調查與 WEF 方法建立的 2030 情境估計。

同一波技術也會創造新的工程、維護、系統整合、AI、資料與機器人相關工作。

因此更合理的描述不是「機器人讓工作消失」,而是 工作結構正在重新分配。


哪些工作比較可能先感受到 Physical AI?

短期內最容易受到影響的通常不是所有體力工作,而是具有三種特性的任務。

第一,環境相對可控。例如倉庫與工廠比一般家庭容易自動化。

第二,任務大量重複。例如同樣的搬運、分揀、取放與檢查動作。

第三,成功條件容易量化。例如物品是否放到指定位置、零件是否安裝完成、條碼是否掃描成功。

因此製造、倉儲與物流很可能仍然是 Physical AI 最重要的早期戰場。

而醫療照護、建築、維修、餐飲與家庭環境雖然同樣有大量 Physical Work,但人的互動、環境變化、安全責任與 edge cases 更多,自動化速度未必相同。

Physical AI 的世界不會是一條所有職業同時下降的直線,而更像一張非常不均勻的地圖。


從「知識被資料化」走向「身體經驗被資料化」

生成式 AI 最大的歷史轉折之一,是讓大量原本分散在人類文字中的知識,可以被壓縮進模型並快速重新組合。

Physical AI 可能帶來另一個類似、但影響完全不同的轉折:把原本存在於身體中的 tacit knowledge 轉成 machine-readable experience。

怎麼拿起一個滑溜的物體。

怎麼把形狀不規則的箱子塞進有限空間。

怎麼在工具開始震動時微調手腕。

怎麼發現一個零件的位置看起來不太對。

人類通常不會把這些事情寫成 SOP 的數千條規則,而是經過工作逐漸「會了」。

Physical AI 想做的事情,就是從這些示範裡學到那個「會了」。

這也是為什麼下一波 AI 自動化可能與上一波非常不同。

上一波主要進入瀏覽器、Office、IDE 與客服系統。

下一波則可能開始碰觸倉庫、產線、貨架、工具與人類的工作空間。

真正值得關注的不是「機器人什麼時候會完全取代人類」。

而是另一個比較安靜的問題:

當一個人的工作經驗,可以被轉成資料、複製成模型,再部署到一千台機器上,工作的價值與人的角色會如何改變?

這可能才是 Physical AI 對未來勞動市場最深的衝擊。


Tech English|本文技術專有名詞

Physical AI|實體人工智慧:能感知、理解並對真實物理環境採取行動的 AI 系統,例如機器人、機械手臂與自主設備。

Teleoperation|遠端操作:由人類透過控制器、VR、leader arm 或其他裝置直接操作機器人,除了實際控制設備,也常被用來收集 robot demonstration data。

Imitation Learning|模仿學習:讓模型從人類或其他 agent 的成功示範中學習行為策略,而不是完全依靠人工撰寫控制規則。

Sim-to-Real|模擬轉真實:先在 simulation 訓練機器人,再將學到的 policy 部署到真實設備的技術流程,核心問題是縮小模擬世界與現實世界之間的差距。

Domain Randomization|域隨機化:在模擬環境中刻意隨機改變物體位置、光線、摩擦力、材質與攝影機角度等條件,讓模型不要只記住單一環境,提高部署到真實世界後的泛化能力。

Robot Foundation Model|機器人基礎模型:希望讓同一個大型模型理解多種機器人、場景與任務,而不是每項工作都重新建立一套獨立控制程式的模型架構。

Core takeaway

Physical AI 真正可能改變勞動市場的關鍵,不只是機器人數量增加,而是人類的操作經驗開始能被轉成資料、學成模型,再複製部署到大量機器。

Why it matters

傳統自動化主要侷限於高度固定的工廠環境;如果 Physical AI 能透過人類示範、模擬與 foundation model 泛化到更多真實場景,自動化邊界可能逐步延伸至物流、倉儲、零售與服務業。短期更可能看到的是工作內容被重新拆分,以及一名員工監督更多機器,而不是所有實體工作突然消失。

Data story

04

500萬台

2025 年全球工廠運行中的工業機器人

International Federation of Robotics, World Robotics 2026IFR 於 2026 年 9 月公布,全球 operational stock 較前一年增加約 9%。

60萬+

2025 年全球新增工業機器人

International Federation of Robotics, World Robotics 2026全球年度安裝量較前一年增加約 11%。

約7,000台

2025 年全球工業與專業服務 Humanoid 銷量

International Federation of Robotics / Reuters許多機器仍用於研究、AI development 或 pilot program,不能直接視為 7,000 個被取代的人類職位。

58%

預期 Robotics 將在 2030 年前改變業務的受訪企業

World Economic Forum, Future of Jobs Report 2025屬企業調查結果,不等同於 58% 工作會被機器人自動化。

Data figure

成熟工業機器人與 Humanoid 的部署規模仍有巨大差距

2025 年全球數量級比較

Unit · 台
01500000300000045000006000000運行中的工業機器人2025Humanoid 銷量
International Federation of Robotics500 萬為工廠內 industrial robot operational stock;7,000 為 2025 年 humanoid 銷量,兩者統計口徑不同,因此僅用於呈現規模差距,不代表直接市場份額比較。

Tech index

08
01Physical AI
02Embodied AI
03Teleoperation
04Imitation Learning
05Sim-to-Real
06Domain Randomization
07Robot Foundation Model
08Synthetic Data

限制與注意

05
  1. 012025 年約 7,000 台 Humanoid 銷量仍非常小,而且不少設備主要用於研究、AI development 與 pilot program,不能據此宣稱 Humanoid 已造成大規模失業。
  2. 02WEF 的約 500 萬個 Robotics 淨工作減少屬 2030 情境與企業調查模型,不是已發生的失業人數,也不是對未來失業率的精準預測。
  3. 03傳統 industrial robot 與 Physical AI / Humanoid 的能力、用途與市場成熟度不同,不應直接視為同一類產品。
  4. 04Task automation 不等於 Job elimination。單一職位通常包含多種任務,自動化其中一部分可能改變工作內容,而不一定直接消除整個職位。
  5. 05Sim-to-Real、robot foundation model 與從影片學習新任務等技術仍在快速發展,研究展示不等於已具備大規模商業部署可靠度。

資料來源

05
01

International Federation of Robotics - World Robotics 2026

industry report

02

Reuters - Humanoid robot sales tally hit 7,000 globally last year

news

03

World Economic Forum - Future of Jobs Report 2025

labour market report

04

NVIDIA Physical AI - Sim-to-Real and Teleoperation Training Materials

technical documentation

05

NVIDIA - Skild AI S1 Physical AI

technical / company source

相關公司

SUPPORT INDEPENDENT JOURNALISM

支持獨立科技內容

Chip Insight 不依賴廣告或付費牆。若這篇文章對你有所幫助,歡迎透過加密貨幣自願支持網站持續研究與內容製作。

了解贊助方式 →

相關文章

探索更多 →