Statistical Mechanics
情報統計力学, スピングラス, 相転移, マルコフ連鎖モンテカルロ法. Information statistical mechanics, spin glasses, phase transitions, Markov chain Monte Carlo.
Yuma
Ichikawa
市川 佑馬 · Ph.D.Ph.D. (The University of Tokyo)
Research Director, Fujitsu Limited
Project Researcher, RIKEN AIP
情報統計力学と学習理論を礎に, 組合せ最適化から大規模言語モデルの極限圧縮・新規アーキテクチャまで, 理論と実装の両輪で探究しています. Grounded in statistical mechanics and learning theory, I explore everything from combinatorial optimization to extreme LLM compression and novel architectures — in both theory and practice.
01
About
東京大学にて博士号(Ph.D.)を取得後, 富士通株式会社に入社. 現在は Research Director として, また理化学研究所 革新知能統合研究センター(RIKEN AIP)の Project Researcher として研究に従事しています. After receiving a Ph.D. from The University of Tokyo, I joined Fujitsu Limited, where I currently serve as a Research Director. I am also a Project Researcher at the RIKEN Center for Advanced Intelligence Project (AIP).
専門は情報統計力学・高次元統計を基盤とした機械学習の理論解析, および組合せ最適化と大規模言語モデル(LLM)の圧縮技術(量子化・枝刈り)・新規アーキテクチャ設計です. NeurIPS, ICML, ICLR, ACL, AISTATS などの国際会議や物理学・応用数理系ジャーナルで成果を発表し, OneComp や QQA4CO などのオープンソースソフトウェアとしても公開しています. My expertise lies in the theoretical analysis of machine learning via statistical mechanics and high-dimensional statistics, combinatorial optimization, and LLM compression (quantization and pruning) as well as novel architecture design. I publish at venues such as NeurIPS, ICML, ICLR, ACL, and AISTATS, and release open-source software including OneComp and QQA4CO.
Recruiting — 基盤モデルの圧縮(主に LLM 量子化)や, Transformer とは一線を画す新規 LLM アーキテクチャの開発を一緒に研究する仲間を募集しています. カジュアル面談・1on1 はいつでも歓迎です. Recruiting — We are looking for researchers to advance foundation-model compression (primarily quantization) and to build next-generation, non-Transformer LLMs. Casual chats and 1-on-1s are always welcome.
02
Research
Learning Theory
高次元統計, 学習ダイナミクス. High-dimensional statistics, learning dynamics.
Combinatorial Optimization
最適化のための学習, ヒューリスティクス, シミュレーテッドアニーリング. Learning for optimization, heuristics, simulated annealing.
Large Language Models
アーキテクチャ, 圧縮, 量子化, 枝刈り. Architecture, compression, quantization, pruning.
03
Publications
Tensor-Network Population Annealing
arXiv:2604.11155
テンソルネットワークによる自由エネルギー評価とポピュレーションアニーリングを融合し, スピングラス系の低温サンプリングを高精度化する手法を提案. Combines tensor-network free-energy estimation with population annealing to achieve accurate low-temperature sampling of spin-glass systems.
OneComp: One-Line Revolution for Generative AI Model Compression
arXiv:2603.28845
QEP, GPTQ, DBFなどの最先端量子化手法を統一APIに集約し, 1行のコードでLLM圧縮を自動実行するOSSライブラリを開発. An OSS library unifying state-of-the-art quantization methods (QEP, GPTQ, DBF, etc.) behind a single API — compressing LLMs with one line of code.
PHOTON: Hierarchical Autoregressive Modeling for Lightspeed and Memory-Efficient Language Generation
ACL 2026 Oral
トークン単位の水平スキャンを階層的な垂直スキャンに置き換え, KVキャッシュのトラフィックを削減する新アーキテクチャを提案. メモリあたりスループットを最大10³倍に向上. Replaces horizontal token-by-token scanning with vertical, multi-resolution context scanning, cutting KV-cache traffic and yielding up to 10³× higher throughput per unit memory.
Sign Lock-In: Randomly Initialized Weight Signs Persist and Bottleneck Sub-Bit Model Compression
arXiv:2602.17063
ランダム初期化された重みの符号が学習を通じて固定化される現象を発見し, それがサブビット圧縮のボトルネックになることを示した. Discovers that randomly initialized weight signs persist through training, and shows this "sign lock-in" bottlenecks sub-bit model compression.
High-Dimensional Learning Dynamics of Quantized Models with Straight-Through Estimator
ICML 2026
Straight-Through Estimatorによる量子化学習のダイナミクスを高次元極限で解析し, その振る舞いを理論的に特徴付けた. Analyzes the learning dynamics of quantized models trained with the straight-through estimator in the high-dimensional limit.
More Than Bits: Multi-Envelope Double Binary Factorization for Extreme Quantization
arXiv:2512.24545
複数のエンベロープを持つ二値行列分解により, 1bit級の極限量子化でも精度を維持する重み表現を提案. Proposes a multi-envelope double binary factorization that preserves accuracy even under extreme 1-bit-class quantization.
LPCD: Unified Framework from Layer-Wise to Submodule Quantization
arXiv:2512.01546
層単位量子化からサブモジュール単位量子化までを単一の最適化問題として統一する枠組みを提案. A unified optimization framework spanning layer-wise to submodule-level post-training quantization.
Quantization Error Propagation: Revisiting Layer-Wise Post-Training Quantization
NeurIPS 2025
層単位量子化で生じる誤差が後続層へ伝播する効果を明示的に補正し, 低ビット量子化の精度を大幅に改善する手法QEPを提案. QEP explicitly compensates for quantization errors propagating to subsequent layers, substantially improving low-bit post-training quantization.
Optimization by Parallel Quasi-Quantum Annealing with Gradient-Based Sampling
ICLR 2025
勾配ベースサンプリングと並列準量子アニーリングにより, GPU上で大規模組合せ最適化を高速に解くソルバーを提案. A GPU solver for large-scale combinatorial optimization via parallel quasi-quantum annealing with gradient-based sampling.
Continuous Parallel Relaxation for Finding Diverse Solutions in Combinatorial Optimization Problems
Transactions on Machine Learning Research (TMLR)
連続並列緩和により, 組合せ最適化問題の質の高い多様な解を同時に発見する枠組みCPRAを提案. CPRA finds diverse, high-quality solutions to combinatorial optimization problems simultaneously via continuous parallel relaxation.
High-dimensional Asymptotics of VAEs: Threshold of Posterior Collapse and Dataset-size Dependence of Rate-Distortion Curve
Journal of Statistical Mechanics: Theory and Experiment, 073402 (2025)
高次元極限のVAEを解析し, 後部崩壊が生じる正則化係数の閾値とレート歪み曲線のデータサイズ依存性を厳密に導出. Derives the exact threshold of posterior collapse and the dataset-size dependence of the rate-distortion curve for VAEs in the high-dimensional limit.
Large Multimodal AI and Its Application to Disaster Field
Mathematical Sciences Practice Research Letter, LMSR 2024-4
大規模マルチモーダルAIの災害分野への応用可能性を整理し, 実践上の課題を論じた. Surveys applications of large multimodal AI to disaster response and discusses practical challenges.
Ratio Divergence Learning Using Target Energy in Restricted Boltzmann Machines: Beyond Kullback–Leibler Divergence Learning
Physical Review E 112, 045306
目標分布のエネルギー情報を活用するratio divergence学習を制限ボルツマンマシンに導入し, KL学習を超える性能を実証. Introduces ratio-divergence learning that exploits target-energy information in RBMs, outperforming standard KL-divergence learning.
Statistical Mechanics of Min-Max Problems
Transactions on Machine Learning Research (TMLR)
min-max問題の典型的性質をレプリカ法により解析し, 解の構造を統計力学の視点から特徴付けた. Characterizes the typical-case properties of min-max problems via the replica method from a statistical-mechanics perspective.
Training-Free Time-Series Anomaly Detection: Leveraging Image Foundation Models
arXiv:2408.14756
画像基盤モデルの表現力を活用し, 追加学習なしで時系列異常検知を行う手法を提案. Leverages image foundation models to detect time-series anomalies without any additional training.
Adaptive Flip Graph Algorithm for Matrix Multiplication
ISSAC 2024
フリップグラフ探索を適応化することで, 行列積アルゴリズムの新たな高速スキームを発見. An adaptive flip-graph search discovering new fast matrix-multiplication schemes.
Controlling Continuous Relaxation for Combinatorial Optimization
NeurIPS 2024
連続緩和のエントロピー項を制御することで, 教師なしGNNベース組合せ最適化ソルバーの性能を改善する手法CRAを提案. CRA improves unsupervised GNN-based combinatorial optimization by controlling the entropy term of continuous relaxation.
Learning Dynamics in Linear VAE: Posterior Collapse Threshold, Superfluous Latent Space Pitfalls, and Speedup with KL Annealing
AISTATS 2024
線形VAEの学習ダイナミクスを解析し, 後部崩壊の閾値, 冗長な潜在空間の落とし穴, KLアニーリングによる高速化を理論的に示した. Analyzes learning dynamics of linear VAEs, revealing the posterior-collapse threshold, pitfalls of superfluous latent space, and speedup by KL annealing.
Statistical-mechanical Study of Deep Boltzmann Machine Given Weight Parameters after Training by Singular Value Decomposition
Journal of the Physical Society of Japan, 91, 114001
特異値分解で表現した学習後の重みを持つ深層ボルツマンマシンを統計力学的に解析し, その典型的性質を明らかにした. A statistical-mechanical analysis of deep Boltzmann machines whose trained weights are represented via singular value decomposition.
Toward Unlimited Self-Learning MCMC with Parallel Adaptive Annealing
arXiv:2211.14024
並列適応アニーリングを導入し, 自己学習MCMCの適用範囲を大幅に拡張する手法を提案. Parallel adaptive annealing extends the applicability of self-learning MCMC toward unlimited settings.
04
Software
LLM Compression
OneComp
1行のコードでLLM量子化を自動実行するOSSライブラリ. QEP・QQAなどの独自アルゴリズムを搭載し, 1bit級の極限圧縮を実現. Quantize any LLM with a single line of code. Powered by QEP, QQA, and more — down to extreme 1-bit compression.
詳しく見るLearn more → Combinatorial OptimizationQQA4CO
GPU上で動く準量子アニーリングソルバー. 20+の問題クラス, Streamlitダッシュボード, CLIを備えたPyTorchツールキット (ICLR 2025). A GPU quasi-quantum annealing solver: 20+ problem classes, a Streamlit dashboard, and a CLI in one PyTorch toolkit (ICLR 2025).
詳しく見るLearn more → Learning TheoryStatPhys-ML
レプリカ法・オンライン学習理論による機械学習の理論解析と数値実験を統一するシミュレーションパッケージ. A simulation playground unifying replica-method and online-learning-theory analyses of machine learning models.
詳しく見るLearn more →
05
Invited Talks
2026
- 2026/05LSIとシステムのワークショップ2026 —「超効率化への挑戦: LLM 1bit量子化のロードマップ」LSI and Systems Workshop 2026 — "The Challenge of Hyper-Efficiency: A Roadmap for 1-bit LLM Quantization"
- 2026/04A vLLM Deep Dive — Model Compression with OneComp (OSS: OneComp)A vLLM Deep Dive: Distributed Inference, KV Cache Evolution, and Model Compression — Model Compression with OneComp
- 2026/03AI・データ利活研究会 第104回, JSIAM (日本応用数理学会) —「超効率化への挑戦: 大規模モデルの量子化のワークフローと研究状況」JSIAM AI & Data Utilization Study Group #104 — "Quantization Workflows and Research Landscape for Large Models"
- 2026/01LF AI & Data Japan Regional User Group —「1bit LLM量子化のオープンソース化について」LF AI & Data Japan Regional User Group — "Open-Sourcing 1-bit LLM Quantization"
- 2026/01東京大学大学院情報理工学系研究科 コンピュータ科学専攻 第四回産学交流会 —「超効率化への挑戦: LLM 1bit量子化のロードマップ」The University of Tokyo, Dept. of Computer Science, 4th Industry-Academia Exchange — "A Roadmap for 1-bit LLM Quantization"
2025
- 2025/12エマージングテクノロジー小委員会 第18回討議 —「超効率化への挑戦: LLM 1bit量子化」Emerging Technology Subcommittee, 18th Session — "The Challenge of Hyper-Efficiency: 1-bit LLM Quantization"
- 2025/11実環境インタラクション講演 —「エッジで動く基盤モデル: 極低ビット量子化ワークフロー」Real-World Interaction Lecture — "Foundation Models on the Edge: Extreme Low-Bit Quantization Workflows"
- 2025/10京都大学 情報学研究科 先端技術講演会 —「生成AI量子化技術 / 富士通の先端AI技術研究」Kyoto University, Graduate School of Informatics — "Generative AI Quantization / Advanced AI Research at Fujitsu"
- 2025/10NLPコロキウム —「超効率化への挑戦: LLM 1bit量子化のロードマップ」NLP Colloquium — "A Roadmap for 1-bit LLM Quantization"
- 2025/07Jij Inc —「数理最適化技術紹介 (NeurIPS, ICLRの内容)」Jij Inc — "Mathematical Optimization Techniques (NeurIPS & ICLR results)"
2024
- 2024/04情報統計力学とその周辺, 東京大学 駒場Iキャンパス —「変分オートエンコーダの統計力学的解析」Information Statistical Mechanics and Beyond, UTokyo Komaba — "Statistical-Mechanical Analysis of VAEs"
- 2024/02富山数理ワークショップ2024, 富山大学 —「強化学習を応用した最適化ソルバーの限界と教師なし学習による大規模最適化ソルバーの開発」Toyama Mathematical Workshop 2024 — "Limits of RL-based Optimization Solvers and Unsupervised Large-Scale Solvers"
2023
- 2023/09融合の場2023 深層学習がもたらすブレイクスルーと可能性(創発的研究支援事業), 早稲田大学 —「機械学習を応用した組み合わせ最適化ソルバーの限界と可能性」FOREST Program Workshop 2023, Waseda University — "Limits and Possibilities of ML-based Combinatorial Optimization Solvers"
06
Awards
-
2026/03
COCN 10 Emerging Technologies 2026
1ビットAI推論 (1-bit Quantized AI for Inference)1-bit Quantized AI for Inference
-
2025/12
井上研究奨励賞Inoue Research Award for Young Scientists
表現学習の統計力学: 機械学習における低次元表現の獲得と利点Statistical Mechanics of Representation Learning: Acquisition and Advantage of Low-Dimensional Representations
-
2025/03
東京大学一高記念賞UTokyo Ichiko Memorial Prize
表現学習の統計力学: 機械学習における低次元表現の獲得と利点Statistical Mechanics of Representation Learning
-
2024/04
日本物理学会 学生優秀発表賞JPS Student Presentation Award
レプリカ法による変分オートエンコーダの学習ダイナミクスにおける最適解への到達可能性Optimal-solution reachability in VAE learning dynamics via the replica method
-
2021/03
東京大学大学院総合文化研究科 広域科学専攻奨励賞UTokyo Graduate School of Arts and Sciences Encouragement Award
学習を反映した重みパラメータを持つ深層ボルツマンマシンの統計力学的解析Statistical-mechanical analysis of deep Boltzmann machines with trained weights
-
2020/03
卒業研究優秀発表賞Best Presentation Award for Graduation Research
van Hove理論を用いたスピングラス緩和過程の解析Analysis of spin-glass relaxation via van Hove theory
07
Press & News
-
2026/06
富士通, LLM新アーキテクチャ「PHOTON」を開発 — GPUあたりのスループットがTransformerの最大475倍Fujitsu develops "PHOTON," a new LLM architecture — up to 475× the per-GPU throughput of Transformers
- 「Transformerの最大475倍」 富士通, GPUを効率的に使うLLMアーキテクチャ「PHOTON」開発 — ITmedia AI+
- 富士通, 新アーキテクチャー「PHOTON」を開発 — 生成AIのコスト構造に転換点 — ZDNET Japan
- 富士通, 生成AIの運用コストを削減する新アーキテクチャ「PHOTON」を開発 — IoTNEWS AI+
- 富士通, LLM新アーキテクチャ「PHOTON」開発 GPU効率最大475倍に — NOVAIST
- ACL 2026 Oral — PHOTON: Hierarchical Autoregressive Modeling (ACL Anthology)
-
2026/01
富士通がLLMの量子化ソフトを公開へ, 1ビット化しても性能を9割保持 — 日経XTECHFujitsu to release LLM quantization software — 90% accuracy retained even at 1-bit — Nikkei XTECH
-
2025/11
「手挙げ制度」で1万3000人が大異動 新卒5年目の部長級誕生 — 日経ビジネス13,000 employees relocated under self-nomination system; fifth-year employee reaches director level — Nikkei Business
-
2025/11
【対談】AI分野の国際学会NeurIPS2025に採択！若手研究者が語る, 次世代AI研究 — 富士通 広報note[Interview] Accepted at NeurIPS 2025 — young researchers on next-generation AI research — Fujitsu PR note
-
2025/09
「働きながら博士進学」に道 富士通や島津製作所, 新領域のコア人材に — 日経新聞A path to doctoral study while working — Nikkei
-
2025/09
AIの軽量化・省電力を実現する生成AI再構成技術を開発し, 富士通の大規模言語モデル「Takane」を強化 — 富士通株式会社Fujitsu develops generative-AI reconstruction technology for lightweight, power-efficient AI, strengthening its LLM "Takane"
- 富士通, 生成AIの省電力化技術を開発 GPU使用枚数は4分の1へ — 日本経済新聞Fujitsu develops power-saving generative AI — GPU count cut to one quarter — Nikkei
- “1ビット量子化”で精度を約9割維持 富士通が独自のLLM軽量化・省電力技術 — ASCII~90% accuracy with 1-bit quantization: Fujitsu's LLM compression technology — ASCII
- 富士通, LLMの軽量化技術を発表 1ビット量子化でも約9割の精度を維持 3倍に高速化も — ITmedia AIFujitsu announces LLM compression: ~90% accuracy at 1-bit, 3× faster — ITmedia AI
- 富士通, 1ビット量子化によるAIの軽量化・省電力化 — Ledge.aiFujitsu: lightweight, power-efficient AI via 1-bit quantization — Ledge.ai
- 富士通, LLMの軽量化・省電力を実現するAI軽量化技術を開発 — クラウドWatchFujitsu develops AI compression for lightweight, power-efficient LLMs — Cloud Watch
-
2025/02
【一日密着】博士人材の新たな未来！富士通研究員の一日 — 卓越社会人制度[A Day in the Life] The new future of Ph.D. talent: a day with a Fujitsu researcher
-
2025/01
NeurIPS2024に参加・発表しました #1 ～GPUを用いた次世代組み合わせ最適化ソルバー～ — Fujitsu Tech BlogPresenting at NeurIPS 2024 #1 — next-generation GPU combinatorial optimization solvers — Fujitsu Tech Blog
08
Contact
共同研究・講演依頼・カジュアル面談など, お気軽にご連絡ください. For collaboration, speaking requests, or a casual chat — feel free to reach out.