跳至主要內容
王平
照片:Ping Wang

關於我

華盛頓大學 · 大學部學生研究員

我是王平(Ping Wang),在華盛頓大學 Paul G. Allen 電腦科學與工程學院就讀資訊工程。我在華盛頓大學與 Noah A. Smith 教授一起做研究,並自 2026 年 5 月起,在臺灣大學 Music and AI Lab 與楊奕軒教授一起研究。

我的研究關注如何讓生成模型更可控、更具適應性,並與人類的意圖對齊。我特別關注後訓練(post-training)、強化學習與多模態學習:模型如何從回饋中學習、如何設計有意義的獎勵訊號,以及模型如何透過互動來適應。我也對這些想法如何延伸到多智能體系統(multi-agent systems)有興趣,也就是多個智能體必須在動態環境中彼此協調、相互回應的情境。

我近期的研究多半透過音樂與音訊來探索這些問題,包括文字生成音樂的評分標準(rubric)最佳化、與人類判斷一致的自動採譜評估,以及從音訊到符號音樂的理解。透過這些研究,我希望發展能改善生成模型如何學習、理解並與複雜資訊互動的方法,應用範圍涵蓋音樂,也不限於音樂。

研究興趣

  • 與人類對齊的 AI
  • 自我改進的 AI
  • 人機共同演化
  • 強化學習
  • 生成模型後訓練
  • 偏好學習
  • 獎勵建模
  • 自適應評估
  • 多智能體強化學習
  • 社會學習
  • 人機協作
  • 自適應學習環境
  • 世界模型
  • 多模態生成建模
  • 音樂 AI
  • 音樂資訊檢索(MIR)

學歷

  1. 華盛頓大學

    美國西雅圖

    資訊工程學士,Paul G. Allen 電腦科學與工程學院 · GPA 3.91/4.0

    預計 2027 年 6 月畢業
    • 相關課程:機器學習、自然語言處理、社會強化學習、機率圖模型、電腦圖學、資料結構與演算法、分散式系統、作業系統、計算機網路。
  2. 國立科學工業園區實驗高級中學

    臺灣新竹

    高中

    2020 – 2023

研究經歷

  1. 學生研究員 — 指導教授:Noah A. Smith 教授

    2025 年 8 月 – 至今
    • A Dual Evaluation for Music Transcription:在 230 段鋼琴演奏上,從樂譜正確性與播放擬真度雙重評估 24 種採譜流程(8 個音訊轉 MIDI 模型 × 3 個 MIDI 轉樂譜系統)。設計經 IRB 核定豁免、以參考錄音為錨點的 ABX 聽測,涵蓋全部 276 組系統配對,隨機化 A/B 順序,並以模擬檢定力分析決定招募人數(106 位受試者、3,180 筆判斷),再以 Bradley–Terry 模型彙整;CLEWS 與聽眾判斷最一致(Spearman ρ = 0.971),成本也最低。
    • Rubric-Based Optimization for Text-to-Music Generation:以預訓練音訊語言模型的評分標準(rubric)作為文字生成音樂的後訓練獎勵:同一提示詞產生的候選依 rubric 分數排序成偏好資料對,用於 MusicGen-small 與 ACE-Step v1 的 DPO;分數也直接作為 ACE-Step 上 DiffusionNFT 線上強化學習的獎勵。Rubric 獎勵能同時提升 CLAP、SongEval 與 Audiobox-Aesthetics,而只用單一指標當獎勵則會造成指標間的取捨。
  2. 學生研究員 — 指導教授:楊奕軒教授

    2026 年 5 月 – 至今
    • SheetSage-Pro:提出構想並主導專案,設計系統架構並實作完整系統。雙語(中文/英文)、歌詞對齊的音訊轉主旋律譜系統,整合預訓練模型進行音源分離、拍點與強拍追蹤、段落結構、旋律、和弦與歌詞對齊。以相同程式碼評分,相較原版 Sheet Sage,GTSinger 上的音符 F1@50 ms 從 0.080 提升到 0.295,GuitarSet 上的和弦 WCSR 從 0.621 提升到 0.904。已獲 ISMIR 2026 Late-Breaking/Demo 接受發表。
    • 以 MIDI-LLM 與 MIDI-SAG 進行歌詞生成歌曲:端到端、以歌詞為條件的歌曲生成流程,串接符號主旋律譜生成、編曲與音訊合成。以 LoRA 監督式微調(SFT)微調 Qwen,以生成旋律、和弦、節奏與歌詞對齊的符號表示,包含音節層級的歌詞指標、發音資訊、休止、換氣,以及多對多的歌詞與音符對齊,以實現可控生成。
  3. 學生研究員 — 指導教授:Shwetak Patel 教授

    2024 年 9 月 – 2025 年 10 月
    • 嵌入式手勢辨識:在資源受限的嵌入式裝置上,以輕量神經網路進行即時手勢辨識,包含模型量化與裝置端推論部署。
    • 以咳嗽音訊篩檢結核病:使用 Audio Spectrogram Transformer(AST)與 MobileViT 等 Transformer 架構,從咳嗽音訊進行結核病風險分類。
    • 咳嗽偵測與定位:在連續音訊錄音中偵測咳嗽事件並定位其時間位置的機器學習模型。

業界經歷

  1. Amazon

    臺灣臺北

    軟體開發工程師實習生

    2025 年 6 月 – 2025 年 9 月
    • 嵌入式韌體開發:為智慧家庭裝置設計並實作晶片間通訊、相機模組整合與 Wi-Fi 連線驗證的韌體。
    • 軟硬體整合:跨嵌入式硬體、韌體、相機模組與網路介面的板級整合與除錯。
    • 測試基礎設施:建立自動化單元測試與周邊模擬框架,在各種硬體狀態下驗證韌體,提升測試覆蓋率並降低回歸風險。
  2. 群聯電子

    臺灣苗栗

    機器學習/嵌入式系統工程師實習生

    2024 年 6 月 – 2024 年 8 月
    • 大型語言模型記憶體估算:直接從模型設定檔估算大型語言模型記憶體用量(含權重與激活值)的參數計算系統。
    • Transformer 架構分析:分析 LLaMA 2/3、CodeLlama、Falcon、Mistral、Mixtral、Breeze、Whisper 與 Vicuna,著重於注意力架構、模型規模與記憶體需求。
    • 大型模型訓練:使用多 GPU Linux 環境與群聯 AI SSD 系統進行模型訓練與實驗。

榮譽與獎項

  1. 全國學生音樂比賽(全國決賽) 優等

    臺灣

    大提琴獨奏(高中非音樂班組)

    2019、2022
  2. 第六屆新加坡萊佛士國際音樂大賽 金獎

    新加坡

    大提琴獨奏

    2019

課外活動

  1. 華盛頓大學 Husky 桌球社

    美國西雅圖

    行銷幹部

    2023 – 至今
  2. 華盛頓大學 Campus Philharmonia 管弦樂團

    美國西雅圖

    大提琴手

    2023 – 至今

技能

程式語言
Python, C, C++, Java
機器學習
PyTorch、Transformers、偏好最佳化(DPO)、強化學習、擴散/流匹配模型、LoRA
音樂與音訊
自動採譜、音樂生成、音訊表徵學習、符號音樂建模、MIDI、MusicXML
系統與工具
Linux、Git、分散式訓練、多 GPU 運算、嵌入式系統、FPGA