
關於我
華盛頓大學 · 大學部學生研究員
我是王平(Ping Wang),在華盛頓大學 Paul G. Allen 電腦科學與工程學院就讀資訊工程。我在華盛頓大學與 Noah A. Smith 教授一起做研究,並自 2026 年 5 月起,在臺灣大學 Music and AI Lab 與楊奕軒教授一起研究。
我的研究關注如何讓生成模型更可控、更具適應性,並與人類的意圖對齊。我特別關注後訓練(post-training)、強化學習與多模態學習:模型如何從回饋中學習、如何設計有意義的獎勵訊號,以及模型如何透過互動來適應。我也對這些想法如何延伸到多智能體系統(multi-agent systems)有興趣,也就是多個智能體必須在動態環境中彼此協調、相互回應的情境。
我近期的研究多半透過音樂與音訊來探索這些問題,包括文字生成音樂的評分標準(rubric)最佳化、與人類判斷一致的自動採譜評估,以及從音訊到符號音樂的理解。透過這些研究,我希望發展能改善生成模型如何學習、理解並與複雜資訊互動的方法,應用範圍涵蓋音樂,也不限於音樂。
研究興趣
- 與人類對齊的 AI
- 自我改進的 AI
- 人機共同演化
- 強化學習
- 生成模型後訓練
- 偏好學習
- 獎勵建模
- 自適應評估
- 多智能體強化學習
- 社會學習
- 人機協作
- 自適應學習環境
- 世界模型
- 多模態生成建模
- 音樂 AI
- 音樂資訊檢索(MIR)
學歷
華盛頓大學
美國西雅圖資訊工程學士,Paul G. Allen 電腦科學與工程學院 · GPA 3.91/4.0
預計 2027 年 6 月畢業- 相關課程:機器學習、自然語言處理、社會強化學習、機率圖模型、電腦圖學、資料結構與演算法、分散式系統、作業系統、計算機網路。
國立科學工業園區實驗高級中學
臺灣新竹高中
2020 – 2023
研究經歷
華盛頓大學 Noah’s ARK
美國西雅圖學生研究員 — 指導教授:Noah A. Smith 教授
2025 年 8 月 – 至今- A Dual Evaluation for Music Transcription:在 230 段鋼琴演奏上,從樂譜正確性與播放擬真度雙重評估 24 種採譜流程(8 個音訊轉 MIDI 模型 × 3 個 MIDI 轉樂譜系統)。設計經 IRB 核定豁免、以參考錄音為錨點的 ABX 聽測,涵蓋全部 276 組系統配對,隨機化 A/B 順序,並以模擬檢定力分析決定招募人數(106 位受試者、3,180 筆判斷),再以 Bradley–Terry 模型彙整;CLEWS 與聽眾判斷最一致(Spearman ρ = 0.971),成本也最低。
- Rubric-Based Optimization for Text-to-Music Generation:以預訓練音訊語言模型的評分標準(rubric)作為文字生成音樂的後訓練獎勵:同一提示詞產生的候選依 rubric 分數排序成偏好資料對,用於 MusicGen-small 與 ACE-Step v1 的 DPO;分數也直接作為 ACE-Step 上 DiffusionNFT 線上強化學習的獎勵。Rubric 獎勵能同時提升 CLAP、SongEval 與 Audiobox-Aesthetics,而只用單一指標當獎勵則會造成指標間的取捨。
學生研究員 — 指導教授:楊奕軒教授
2026 年 5 月 – 至今- SheetSage-Pro:提出構想並主導專案,設計系統架構並實作完整系統。雙語(中文/英文)、歌詞對齊的音訊轉主旋律譜系統,整合預訓練模型進行音源分離、拍點與強拍追蹤、段落結構、旋律、和弦與歌詞對齊。以相同程式碼評分,相較原版 Sheet Sage,GTSinger 上的音符 F1@50 ms 從 0.080 提升到 0.295,GuitarSet 上的和弦 WCSR 從 0.621 提升到 0.904。已獲 ISMIR 2026 Late-Breaking/Demo 接受發表。
- 以 MIDI-LLM 與 MIDI-SAG 進行歌詞生成歌曲:端到端、以歌詞為條件的歌曲生成流程,串接符號主旋律譜生成、編曲與音訊合成。以 LoRA 監督式微調(SFT)微調 Qwen,以生成旋律、和弦、節奏與歌詞對齊的符號表示,包含音節層級的歌詞指標、發音資訊、休止、換氣,以及多對多的歌詞與音符對齊,以實現可控生成。
學生研究員 — 指導教授:Shwetak Patel 教授
2024 年 9 月 – 2025 年 10 月- 嵌入式手勢辨識:在資源受限的嵌入式裝置上,以輕量神經網路進行即時手勢辨識,包含模型量化與裝置端推論部署。
- 以咳嗽音訊篩檢結核病:使用 Audio Spectrogram Transformer(AST)與 MobileViT 等 Transformer 架構,從咳嗽音訊進行結核病風險分類。
- 咳嗽偵測與定位:在連續音訊錄音中偵測咳嗽事件並定位其時間位置的機器學習模型。
業界經歷
Amazon
臺灣臺北軟體開發工程師實習生
2025 年 6 月 – 2025 年 9 月- 嵌入式韌體開發:為智慧家庭裝置設計並實作晶片間通訊、相機模組整合與 Wi-Fi 連線驗證的韌體。
- 軟硬體整合:跨嵌入式硬體、韌體、相機模組與網路介面的板級整合與除錯。
- 測試基礎設施:建立自動化單元測試與周邊模擬框架,在各種硬體狀態下驗證韌體,提升測試覆蓋率並降低回歸風險。
群聯電子
臺灣苗栗機器學習/嵌入式系統工程師實習生
2024 年 6 月 – 2024 年 8 月- 大型語言模型記憶體估算:直接從模型設定檔估算大型語言模型記憶體用量(含權重與激活值)的參數計算系統。
- Transformer 架構分析:分析 LLaMA 2/3、CodeLlama、Falcon、Mistral、Mixtral、Breeze、Whisper 與 Vicuna,著重於注意力架構、模型規模與記憶體需求。
- 大型模型訓練:使用多 GPU Linux 環境與群聯 AI SSD 系統進行模型訓練與實驗。
榮譽與獎項
全國學生音樂比賽(全國決賽) 優等
臺灣大提琴獨奏(高中非音樂班組)
2019、2022第六屆新加坡萊佛士國際音樂大賽 金獎
新加坡大提琴獨奏
2019
課外活動
華盛頓大學 Husky 桌球社
美國西雅圖行銷幹部
2023 – 至今華盛頓大學 Campus Philharmonia 管弦樂團
美國西雅圖大提琴手
2023 – 至今
技能
- 程式語言
- Python, C, C++, Java
- 機器學習
- PyTorch、Transformers、偏好最佳化(DPO)、強化學習、擴散/流匹配模型、LoRA
- 音樂與音訊
- 自動採譜、音樂生成、音訊表徵學習、符號音樂建模、MIDI、MusicXML
- 系統與工具
- Linux、Git、分散式訓練、多 GPU 運算、嵌入式系統、FPGA