作者：July，七月在线创始人兼CEO、结构之法算法之道blog之博主
时间：2010年10月-2024年12月，一直在不断更新中..
出处：http://blog.csdn.net/v_JULY_v 

目录

前言

第一部分 经典重温：微软面试、算法研究、编程艺术、红黑树系列

一、微软面试100题系列

二、十五个经典算法研究与总结、目录+索引

三、程序员编程艺术第一~四十章集锦与总结

四、红黑树、B树、R树、Trie树

第二部分 从AI到大模型：机器学习、ChatGPT、改造Transformer、AIGC与多模态等

五、机器学习十大算法系列

5.1 AI数学基础

5.2 AI工程实践

5.3 AI经典模型：从SVM XGBoost CNN RNN LSTM

六、大模型与ChatGPT系列：原理、论文、代码、应用

6.1 ChatGPT与o1的原理与实现系列

6.2 国内外类ChatGPT：比如Llama2、Llama3、Llama3.1

6.3 大模型背后的关键技术与前沿发展：LoRA/并行训练/长度扩展

6.4 医疗及LLM与KG、DB的结合

七、对Transformer的各种改进与挑战：mamba、KAN、TTT、vLLM及各种注意力等

7.1 改进Transformer与注意力：KAN、TTT、Flash Attention、PagedAttention

7.2 挑战Transformer：mamba、mamba2、mamba各种变体

​八、火爆全球的DeepSeek系列模型：涉及V3、R1的原理及其复现

8.1 DeepSeek V2/V3系列

8.2 DeepSeek R1系列

九、AIGC与CV多模态：图像/视频/代码生成/自动驾驶

9.1 AIGC/AI绘画/CV多模态/图像生成、提问VLM项目

9.2 视频生成，含OpenAI首个视频生成模型sora

9.3 其他生成：代码生成

9.4 自动驾驶大模型

第三部分 大模型加速驱动协作机器人、具身智能、人形机器人的发展

十、ALOHA/umi/dexcap中的模仿学习与动作预测

10.1 模仿学习的集中爆发：斯坦福机器人Mobile Aloha、UMI、DexCap、SRT

10.2 预训练 + RL机器人

十一、VLA发展史：从Robotics VLM到VLA

11.1 始于RT2

11.2 从robot VLM到VLA

十二、通用机械臂之路: π0等VLA sota模型

12.1 机器人大模型之演变

12.2 开源vla sota π0模型，涉及源码剖析、微调等

十三、具身背景之下：iDP3等人形机器人的复现与开发

13.1 斯坦福HumanPlus系列

13.2 斯坦福的iDP3系列，包含全套代码的解析

13.3 CMU、UC San Diego的各个人形机器人，比如OmniH2O、TeleVision等

13.4 通用人形之路，比如Figure 02的Helix

第四部分 我司七月的部分大模型实践：科研论文大模型、RAG、智能体等

十四、七月科研论文大模型：含论文的审稿微调、阅读、写作、修订

14.1 七月论文审稿GPT(从第1版到第6版)

14.2 论文的阅读：基于大模型的翻译系统、检索、摘要、对话系统

14.3 论文的写作：idea的提出(涉及论文的抓取 检索 召回 排序 提炼)

14.4 七月硕士论文助手——论文修订、语法纠错、润色等

十五、RAG知识库问答系列

15.1 七月RAG第一版之探索，基本流程与基本框架

15.2 七月RAG第二版之探索，通用文档处理

十六、智能体Agent项目

16.1 AI Agent

十七、其它重要文章节选

17.1、经典数据结构 & 算法系列

17.2、数据处理/网站架构系列

17.3、推荐 & 搜索算法系列

17.4、其它

后记

转发送书

---

前言

开博10年有余，回首这10余年，自己一开始侧重编程、面试、数据结构/算法，中途侧重数据挖掘、机器学习，近期则专攻AIGC/ChatGPT，而自己在本blog上也着实花费了巨大的时间和精力，写的东西可能也够几本书的内容了。然不管怎样，希望我能真真正正的为读者提供实实在在的价值与帮助

比如，下图是2023年ChatGPT、大模型、具身智能大爆发之前，每一年所写的文章

下面，敬请观赏。有任何问题，欢迎随时不吝指正(同时，若你也能帮助回复blog内留言的任何朋友的问题，欢迎你随时不吝分享&回复，我们一起讨论，互帮互助，谢谢)

第一部分 经典重温：微软面试、算法研究、编程艺术、红黑树系列

一、微软面试100题系列

• 横空出世，席卷Csdn--评微软等数据结构+算法面试100题 （微软面试100题系列原题+答案索引）
• 微软100题   （微软面试完整第1-100题）
• 微软面试100题2010年版全部答案集锦（含下载地址）
• 全新整理：微软、谷歌、百度等公司经典面试100题[第101-160题]
• 全新整理：微软、Google等公司的面试题及解答[第161-170题]  
• 十道海量数据处理面试题与十个方法大总结  （十道海量数据处理面试题）
• 海量数据处理面试题集锦与Bit-map详解  （十七道海量数据处理面试题）
• 教你如何迅速秒杀掉：99%的海量数据处理面试题   （海量数据处理PDF）
• 九月腾讯，创新工场，淘宝等公司最新面试三十题（第171-200题） （2011年度九月最新面试三十题）
• 十月上旬百度，阿里巴巴，迅雷搜狗最新面试七十题（第201-270题） （2011年度十月上旬七十题）
• 十月下旬腾讯，网易游戏，百度最新校园招聘笔试题集锦(第271-330题)  （2011年度十月下旬校招）
• 九月十月百度人搜，阿里巴巴，腾讯华为笔试面试八十题(第331-410题)  （2012年度笔试面试八十题）
• 九月百度，迅雷，华为，阿里巴巴，最新校招笔试面试十(第411-470题)   （2013年度校招笔试面试十题）
• 上述微软面试100题系列(共计11篇文章，300多道面试题)的PDF文档近期已经制作出来，其下载地址为：微软面试100题系列之高清完整版PDF文档[带目录+标签]by_July_pdf-C++文档类资源-CSDN下载

二、十五个经典算法研究与总结、目录+索引

• 一、A*搜索算法
• 一（续）、A*，Dijkstra，BFS算法性能比较及A*算法的应用
• 二、Dijkstra 算法初探          （Dijkstra算法系列4篇文章）
• 二（续）、彻底理解Dijkstra算法
• 二（再续）、Dijkstra 算法+fibonacci堆的逐步c实现
• 二（三续）、Dijkstra 算法+Heap堆的完整c实现源码
• 通俗理解动态规划：由浅入深DP并解决LCS问题(23年修订版)
• 如何通透理解：BFS和DFS优先搜索算法(23年修订版)
• 五、教你透彻了解红黑树     （红黑树系列6篇文章之其中两篇）
• 五（续）、红黑树算法的实现与剖析
• 六、教你初步了解KMP算法
• 六（续）、从KMP算法一步一步谈到BM算法
• 六（三续）、从头到尾彻底理解KMP   （KMP的PDF）
• 七、遗传算法 透析GA本质
• 八、再谈启发式搜索算法
• 九、图像特征提取与匹配之SIFT算法      (sift算法系列五篇文章)
• 九（续）、sift算法的编译与实现
• 九（再续）、教你一步一步用c语言实现sift算法、上
• 九（再续）、教你一步一步用c语言实现sift算法、下
• 九（三续）：SIFT算法的应用--目标识别之Bag-of-words模型
• 九（四续）、SIFT + KD_BBF算法 （此文第3部分）
• 十、从头到尾彻底理解傅里叶变换算法、上
• 十、从头到尾彻底理解傅里叶变换算法、下
• 十一、从头到尾彻底解析Hash表算法
• 十一（续）、倒排索引关键词Hash不重复编码实践
• 十二、快速排序算法      （快速排序算法3篇文章）
• 十二（续）、快速排序算法的深入分析
• 十二（再续）：快速排序算法之所有版本的c/c++实现
• 十三、通过浙大上机复试试题学SPFA 算法
• 十四、快速选择SELECT算法的深入分析与实现
• 十五、多项式乘法与快速傅里叶变换
• 最新的十五个经典算法研究的PDF文档0积分下载地址如下(1个月5000+人次下载)

三、程序员编程艺术第一~四十章集锦与总结

• 第一章、左旋转字符串
• 第二章、字符串是否包含问题
• 第三章、寻找最小的k个数
• 第三章续、Top K算法问题的实现
• 第三章再续：快速选择SELECT算法的深入分析与实现
• 三之三续、求数组中给定下标区间内的第K小（大）元素
• 第四章、现场编写类似strstr/strcpy/strpbrk的函数
• 第五章、寻找满足条件的两个或多个数
• 第六章、求解500万以内的亲和数
• 第七章、求连续子数组的最大和
• 第八章、从头至尾漫谈虚函数
• 第九章、闲话链表追赶问题
• 第十章、如何给10^7个数据量的磁盘文件排序
• 第十一章、最长公共子序列（LCS）问题
• 第十二~十五章：数的判断，中签概率，IP访问次数，回文问题（初稿）

• 第十六~第二十章：全排列/跳台阶/奇偶调序，及一致性hash算法

• 第二十一~二十二章：出现次数超过一半的数字，最短摘要的生成

• 第二十三、四章：杨氏矩阵查找，倒排索引关键词Hash不重复编码实践

• 第二十五章：Jon Bentley：90%无法正确实现二分查找

• 第二十六章：基于给定的文档生成倒排索引的编码与实践
• 第二十七章：不改变正负数之间相对顺序重新排列数组
• 第二十八~二十九章：最大连续乘积子串、字符串编辑距离
• 第三十~三十一章：字符串转换成整数，字符串匹配问题
• 第三十二~三十三章：最小操作数，木块砌墙问题
• 第三十四~三十五章：格子取数问题，完美洗牌算法
• 第三十六~三十七章、搜索智能提示suggestion，附近地点搜索
• 第三十八章：Hero在线编程判题、出题系统的演进与优化
• 第三十九~四十章：最近公共祖先LCA问题、打印螺旋矩阵
• 第四十一章~四十二章：荷兰国旗、矩阵相乘Strassen算法
• ...
• 程序员编程艺术第1~37章带标签的最新PDF下载地址为（3天3000人下载）
• 编程艺术github优化版阅读地址：https://github.com/julycoding/The-Art-Of-Programming-By-July-2nd
• 重大消息：经过反复修改、优化，编程艺术系列最终成书出版，并改名为《编程之法：面试和算法心得》，目前京东、当当、亚马逊等各大网店均已有现货销售。京东抢购地址：《编程之法：面试和算法心得(异步图书出品)》(July)【摘要 书评 试读】- 京东图书，且23年Q4将上市第二版

四、红黑树、B树、R树、Trie树

• 教你初步了解红黑树  （红黑树系列）
• 红黑树算法的实现与剖析
• 红黑树的C实现完整源码
• 一步一图一代码，R-B Tree
• 红黑树插入和删除结点的全程演示
• 红黑树的C++完整实现源码
• 从2-3-4树谈到Red-Black Tree（红黑树）
• 从B树、B+树、B*树谈到R 树   （B树的PDF）
• B树的C 实现
• 从Trie树（字典树）谈到后缀树  （其余树结构）
• 从LSM-Tree、COLA-Tree谈到StackOverflow、OSQA

第二部分 从AI到大模型：机器学习、ChatGPT、改造Transformer、AIGC与多模态等

五、机器学习十大算法系列

• 5.1 AI数学基础

• 概率统计极简入门：通俗理解微积分/期望方差/正态分布前世今生(23修订版)
• 一文通透优化算法：从随机梯度、随机梯度下降法到牛顿法、共轭梯度
• ..

• 5.2 AI工程实践

• 一文读懂特征工程
• 教你从头到尾利用DL学梵高作画：GTX 1070 cuda 8.0 tensorflow gpu版
• 没GPU也能玩梵高作画：Ubuntu tensorflow CPU版
• 基于torch学汪峰写歌词、聊天机器人、图像着色/生成、看图说话、字幕生成
• 教你从头到尾利用DQN自动玩flappy bird（全程命令提示，GPU+CPU版）
• 手把手教你搭建caffe及手写数字识别（Ubuntu下且附mac、纯通俗教程）
• 如何从零起步学习AI（附学习路线）
• GAN之父在NIPS 2016上做的报告：两个竞争网络的对抗（含译文下载）
• Kaggle—So Easy!百行代码实现排名Top 5%的图像分类比赛
• BAT机器学习面试1000题系列（第1~500题）

• 5.3 AI经典模型：从SVM XGBoost CNN RNN LSTM

• 数据挖掘领域十大经典算法初探
• 从K近邻算法、距离度量谈到KD树、SIFT+BBF算法，2012年11月
• 从决策树学习谈到贝叶斯分类算法、EM、HMM，2012年5月
• 支持向量机通俗导论（理解SVM的三层境界）   PDF下载    LaTeX版本1    LaTeX版本2，2012年6月
• 最大熵模型中的数学推导，2014年10月
• 如何通俗理解EM算法，2018年8月
• Adaboost 的原理与推导    LaTeX版本下载，2014年11月
• 从拉普拉斯矩阵说到谱聚类，2014年11月
• 从贝叶斯方法谈到贝叶斯网络    LaTeX版本下载，2014年11月
• 通俗理解LDA主题模型    LaTeX版本下载，2014年11月
• CNN笔记：通俗理解卷积神经网络，2016年7月
• 图解CNN：通过100张图一步步理解CNN，2018年3月
• 一文读懂目标检测：R-CNN、Fast R-CNN、Faster R-CNN、YOLO、SSD，2018年5月
• ​​​​​​通俗理解kaggle比赛大杀器xgboost，2018年8月
• 如何从RNN起步，一步一步通俗理解LSTM，2019年5月
• 如何通俗理解Word2Vec，2019年10月首发，后2023年全面修订
• GNN通俗笔记：图神经网络在推荐/广告中的应用，2021年3月
• 通俗理解卡尔曼滤波（感知融合的经典算法），2021年9月
• ..

六、大模型与ChatGPT系列：原理、论文、代码、应用

• 6.1 ChatGPT与o1的原理与实现系列

• ChatGPT技术原理解析：从RL之PPO算法、RLHF到GPT-N、instructGPT
• 强化学习极简入门：通俗理解MDP、DP MC TC和Q学习、策略梯度、PPO
• 从零实现带RLHF的类ChatGPT：逐行解析微软DeepSpeed Chat的源码
• RLHF的替代算法之DPO原理解析：从RLHF、Claude的RAILF到DPO、Zephyr
• LLM/ChatGPT与多模态必读论文150篇(已更至第101篇)
• 一文通透OpenAI o1：从CoT、Quiet-STaR、Self-Correct、Self-play RL、MCST等技术细节到工程复现

• 6.2 国内外类ChatGPT：比如Llama2、Llama3、Llama3.1

• LLaMA的解读与其微调(含LLaMA 2)：Alpaca-LoRA/Vicuna/BELLE/中文LLaMA/姜子牙
• 详解带RLHF的类ChatGPT：从TRL、ChatLLaMA到ColossalChat、DSC
• ChatGLM两代的部署/微调/实现：从基座GLM、ChatGLM的LoRA/P-Tuning微调、6B源码解读到ChatGLM2的微调与实现
• baichuan7B/13B的原理与微调：从baichuan的SFT实现到baichuan2的RLHF实现
• 一文速览Llama 3：从Llama 3的模型架构到如何把长度扩展到100万——基于NTK-aware插值
• 一文速览Llama 3.1——对其92页paper的全面细致解读：涵盖语言、视觉、语音的架构、原理

• // 待更..

• 6.3 大模型背后的关键技术与前沿发展：LoRA/并行训练/长度扩展

• LLM高效参数微调方法：从Prefix Tuning、Prompt Tuning、P-Tuning V1/V2到LoRA、QLoRA(含对模型量化的解释)
• 大模型并行训练指南：通俗理解Megatron-DeepSpeed之模型并行与数据并行
• 大模型长度扩展综述：从直接外推ALiBi、插值PI、NTK-aware插值(对此介绍最详)、YaRN到S2-Attention
• 大模型上下文长度的超强扩展：从LongLoRA到LongQLoRA(含源码剖析)

• 6.4 医疗及LLM与KG、DB的结合

• 医疗金融法律大模型：从ChatDoctor到BloombergGPT/FinGPT/FinBERT、ChatLaw/LawGPT_zh
• 知识图谱实战导论：从什么是KG到LLM与KG/DB的结合实战
• ..// 待更..

七、对Transformer的各种改进与挑战：mamba、KAN、TTT、vLLM及各种注意力等

• 7.1 改进Transformer与注意力：KAN、TTT、Flash Attention、PagedAttention

• Transformer通俗笔记：从Word2Vec、Seq2Seq逐步理解到GPT、BERT
• 从零实现Transformer的简易版与强大版：从300多行到3000多行
• 一文通透位置编码：从标准位置编码、旋转位置编码RoPE到ALiBi、LLaMA 2 Long(含NTK-aware简介)
• 一文通透各种注意力：从多头注意力MHA到分组查询注意力GQA、多查询注意力MQA
• 一文通透想取代MLP的KAN：通俗理解Kolmogorov-Arnold定理和KAN的方方面面
• 一文通透TTT：让RNN的隐藏层变成可学习的函数——继mamba之后也想超越Transformer
• 通透理解FlashAttention(含其2代和第3代)：全面降低显存读写、加快计算速度
• 一文通透vLLM与其核心技术PagedAttention：减少KV Cache碎片、提高GPU显存利用率(加速推理利器)

• 7.2 挑战Transformer：mamba、mamba2、mamba各种变体

• 一文通透想颠覆Transformer的Mamba：从SSM、HiPPO、S4到Mamba(被誉为Mamba最佳解读)
• 一文通透mamba2「力证Transformer are SSM」：从SSM、半可分矩阵、SMA、SSD到mamba2
• ​​​​​​一文速览mamba的各种变体与改进：从MoE-Mamba、Vision Mamba、VMamba、Jamba到Falcon Mamba
• ..

​八、火爆全球的DeepSeek系列模型：涉及V3、R1的原理及其复现

• 8.1 DeepSeek V2/V3系列

• 一文速览DeepSeekMoE及相关MoE大模型：从Mixtral 8x7B到DeepSeekMoE(含DeepSeek LLM的详解)、Qwen2.5-Max
• 一文速览DeepSeekMath及GRPO：通俗理解群体相对策略优化GRPO(含DeepSeek-Coder的简介)
• 一文通透DeepSeek V2：详解Math版提出的GRPO、V2版提出的MLA(改造Transformer注意力)
• 一文通透让Meta恐慌的DeepSeek-V3：在MoE、GRPO、MLA基础上提出Multi-Token预测(含FP8训练详解)

• 8.2 DeepSeek R1系列

• 一文速览DeepSeek R1：如何通过纯RL训练大模型的推理能力以比肩甚至超越OpenAI o1(含Kimi K1.5解读)
• 一文速览DeepSeek-R1的本地部署——可联网、可实现本地知识库问答：包括671B满血版和各个蒸馏版的部署
• 从零复现R1之路[1/3]——DeepSeek V2中多头潜在注意力MLA的源码解读及其推理改进：图、公式、代码逐一对应
• 从零复现R1之路[2/3]——我对DeepSeek V3中多token预测MTP的代码实现(含对V3官方MoE、MLA推理代码的解读)
• 从零复现R1之路[3/3]：一文速览Open R1——对DeepSeek R1训练流程前两个阶段的复现(SFT和GRPO训练)
• .....

九、AIGC与CV多模态：图像/视频/代码生成/自动驾驶

• 9.1 AIGC/AI绘画/CV多模态/图像生成、提问VLM项目

• 图像生成发展起源：从VAE、VQ-VAE、扩散模型DDPM、DETR到ViT、Swin transformer
• AI绘画原理解析：从CLIP、BLIP到DALLE、DALLE 2、DALLE 3、Stable Diffusion
• 图像分割的大变革：从SAM(分割一切)到FastSAM、MobileSAM
• 文生图中从扩散模型到流匹配的演变：从SDXL到Stable Diffusion3(含Flow Matching和Rectified Flow的详解)
• 从DINO、DINOv2到DINO-X——自监督视觉Transformer的升级改进之路(基于ViT)
• 一文通透Qwen多模态大模型：从Qwen-VL、Qwen2-VL到Qwen2.5-VL(含我司提问VLM项目的实现思路)

• 9.2 视频生成，含OpenAI首个视频生成模型sora

• Sora之前的视频生成发展史：从Gen2、Emu Video到PixelDance、SVD、Pika 1.0
• 视频生成Sora的全面解析：从AI绘画、ViT到ViViT、TECO、DiT、VDT、NaViT等
• 视频生成Sora的从零复现：从Latte、Open-Sora 1.0到StreamingT2V
• Diffusion Transformer(DiT)——将扩散过程中的U-Net换成ViT：近频繁用于视频生成与机器人动作预测(含清华PAD详解)
• Google发布Genie硬杠Sora：通过大量无监督视频训练最终生成可交互虚拟世界

• 9.3 其他生成：代码生成

• 代码生成的原理解析：从Codex、GitHub Copliot到CodeLlama(用了NTK-aware)、CodeGeex

• 9.4 自动驾驶大模型

• 2024自动驾驶(多模态)大模型综述：从DriveGPT4、DriveMLM到DriveLM、DriveVLM
• // 待更

第三部分 大模型加速驱动协作机器人、具身智能、人形机器人的发展

十、ALOHA/umi/dexcap中的模仿学习与动作预测

• 10.1 模仿学习的集中爆发：斯坦福机器人Mobile Aloha、UMI、DexCap、SRT

• 斯坦福mobile aloha系列与动作分块算法ACT
• 以Mobile ALOHA为代表的模仿学习的爆发：从Dobb·E、Gello到斯坦福ALOHA、UMI、DexCap、伯克利FMB
• 一文通透动作分块算法ACT：斯坦福Moblie Aloha所用的动作序列预测算法(Action Chunking with Transformers)
• 逐行解读ACT的实现：斯坦福Mobile Aloha之动作分块算法ACT的代码剖析、训练部署
• SRT——基于模仿学习的手术机器人：来自约翰霍普金斯大学和斯坦福ALOHA团队
• YAY Robot——斯坦福和UC伯克利开源的：人类直接口头喊话从而实时纠正机器人行为(含FiLM详解)
• 斯坦福UMI、DexCap与动作预测算法Diffusion Policy
• UMI——斯坦福刷盘机器人：从手持夹持器到动作预测Diffusion Policy(含代码解读)
• Diffusion Policy——斯坦福机器人UMI所用的动作预测策略：从原理到其编码实现(含Diff-Control详解)
• 斯坦福UMI代码解析：刷盘机器人Universal Manipulation Interface代码的整体解读
• Fast-UMI——改进斯坦福UMI的硬件：用RealSense T265替代SLAM且实现机械臂的迁移与平替
• 机器人领域中的scaling law：通过复现斯坦福机器人UMI——探讨数据规模化定律(含UMI的复现关键)
• DexCap——斯坦福李飞飞团队泡茶机器人：带灵巧手和动作捕捉的数据收集系统(含硬件清单)
• 斯坦福泡茶机器人DexCap源码解析：涵盖收集数据、处理数据、模型训练三大阶段
• //..

• 10.2 预训练 + RL机器人

• 带RL的机器人：从类似预测下一个token的伯克利Digit到CMU 18万机器人
• HIL-SERL——UC伯克利开源的通用灵巧机器人框架：结合视觉和人类示教与纠正的RL方法(可组装电脑主板和插拔USB)

• ..

十一、VLA发展史：从Robotics VLM到VLA

• 11.1 始于RT2

• 视觉语言机器人的大爆发：从RT2、VoxPoser、OK-Robot到Figure 01、清华CoPa
• Google视觉机器人超级汇总：从RT、RT-2到AutoRT/SARA-RT/RT-Trajectory、RT-H
• ReKep——李飞飞团队提出的新一代机器人操作方法：基于视觉语言模型和关键点约束
• VLM驱动机器狗——从UMI on Legs到Helpful DoggyBot：分别把机械臂装到机器狗背上、夹爪装到机器狗嘴里

• 11.2 从robot VLM到VLA

• 视觉语言动作模型VLA的持续升级：从π0之参考基线Octo到OpenVLA、CogACT(含TinyVLA、DeeR-VLA、3D-VLA)
• 一文通透OpenVLA及其源码剖析——基于Prismatic VLM(SigLIP、DinoV2、Llama 2)及离散化动作预测
• 一文速览CogACT及其源码剖析：把OpenVLA的离散化动作预测换成DiT，逼近π0(含DiT的实现)
• 24年具身智能模型汇总：从训练数据、动作预测、训练方法到Robotics VLM、VLA
• RoboVLM——通用机器人策略的VLA设计哲学：如何选择骨干网络、如何构建VLA架构、何时添加跨本体数据
• ..

十二、通用机械臂之路: π0等VLA sota模型

• 12.1 机器人大模型之演变

• 字节GR2——在大规模视频数据集上预训练且机器人数据上微调，随后预测动作轨迹和视频(含GR1详解)
• RDT——清华开源的双臂机器人扩散大模型：先预训练后微调，支持语言、图像、动作多种输入(1B参数)
• RoboMM..

• 12.2 开源vla sota π0模型，涉及源码剖析、微调等

• π0——用于通用机器人控制的流匹配VLA模型：一套框架控制7种机械臂(基于PaliGemma和ACT的3B模型)
• π0开源了且推出自回归版π0-FAST——打造机器人动作专用的高效Tokenizer：比扩散π0的训练速度快5倍但效果相当
• π0源码剖析——从π0模型架构的实现(如何基于PaLI-Gemma和扩散策略去噪生成动作)，到基于C/S架构下的模型训练与部署
• 对开源VLA sota π0的微调——如何基于各种开源数据集、以及你自己的私有数据集微调π0(含我司的微调实践)
• ..

十三、具身背景之下：人形机器人的发展

• 13.1 斯坦福HumanPlus系列

• HumanPlus——斯坦福ALOHA团队开源的人形机器人：融合影子学习技术、RL、模仿学习
• HumanPlus(斯坦福人形机器人)的代码解读与复现关键：从HST到HIT、HardWare
• 人体姿态估计WHAM与手势估计HaMeR：人形机器人重定向的关键技术之一(含SMPL-X的详解)

• 13.3 CMU、UC San Diego的各个人形机器人，比如OmniH2O、TeleVision等

• OmniH2O——通用灵巧且可全身远程操作并学习的人形机器人(其前身H2O是HumanPlus的重要参考)
• UC San Diego的三大机器人：AnyTeleop、Open-TeleVision、Bunny-VisionPro——从RGB相机到VR远程控制机器人
• 从MDM、RobotMDM到UC San Diego的Exbody——人体运动扩散模型：赋能机器人的训练
• 基于人类视频的模仿学习与VLM推理规划：从DexMV、MimicPlay、SeeDo到人形OKAMI、Harmon(含R3M的详解)
• ..

十四 iDP3等通用人形机器人的复现与开发

• 14.1 斯坦福的iDP3系列，包含全套代码的解析

• 斯坦福通用人形策略iDP3——同一套策略控制各种机器人：改进3D扩散策略，不再依赖相机校准和点云分割
• iDP3的Learning代码解析：逐步分解iDP3的数据集、模型、动作预测策略代码(包含2D和3D两个版本)
• iDP3的训练与部署代码解析：从数据可视化vis_dataset.py、训练脚本train.py到部署脚本deploy.py
• iDP3的人形遥操代码分析：从数据收集、数据转换到VR安装、人形机器人遥控

• 14.2 通用人形之路，比如Figure 02的Helix

• 英伟达HOVER——用于人形机器人的多功能全身控制器：整合不同的控制模式且实现彼此之间的无缝切换
• Helix——Figure 02发布通用人形机器人控制的VLA：一组神经网络权重下的快与慢双系统，让两个机器人协作干活
• ViLLA——智元发布首个通用具身基座模型：Genie Operator-1，提出Vision-Language-Latent-Action架构(含AgiBot World简介)

第四部分 我司七月的部分大模型实践：科研论文大模型、RAG、智能体等

十五、七月科研论文大模型：含论文的审稿微调、阅读、写作、修订

• 15.1 七月论文审稿GPT(从第1版到第6版)

• 23年Q3至24年Q1：第一轮
• 七月论文审稿GPT第1版：通过3万多篇paper和10多万的review数据微调RWKV
• 七月论文审稿GPT第2版：用一万多条paper-review数据微调LLaMA2 7B最终反超GPT4
• 七月论文审稿GPT第2.5和第3版：分别微调GPT3.5、Llama2 13B以扩大对GPT4的优势
• 七月论文审稿GPT第3.2版和第3.5版：通过paper-review数据集分别微调Mistral、gemma
• 一文速览Mistral 7B及其微调——我司论文审稿GPT第3.2版：微调Mistral 7B instruct 0.2
• 七月论文审稿GPT第4版：通过paper-review数据集微调Mixtral-8x7b，对GPT4胜率超过80%
• 七月论文审稿GPT第4.2版：通过15K条paper-review数据微调Llama2 70B(含各种坑)
• 24年Q2至24年Q3：第二轮
• 提升大模型数据质量的三大要素：找到早期paper且基于GPT摘要出来7方面review(七月论文审稿GPT第4.5/4.6/4.8版)
• 微调LLama 3——七月论文审稿GPT第5版：拿早期paper-7方面review数据集微调LLama 3
• 一文速览Gemma 2及其微调：从论文审稿GPT第3.5版(微调Gemma)，到第5.2版(早期paper-7方面review微调Gemma2)
• 微调LLama 3.1——七月论文审稿GPT第5.5版：拿早期paper-review数据集微调LLama 3.1
• ...
• 康奈尔大学之论文审稿模型Reviewer2及我司七月对其的实现(含PeerRead)
• ..

• 15.2 论文的阅读：基于大模型的翻译系统、检索、摘要、对话系统

• 学术论文GPT的源码解读与二次开发：从ChatPaper到gpt_academic
• // 待更..

• 15.3 论文的写作：idea的提出(涉及论文的抓取 检索 召回 排序 提炼)

• 基于大模型的idea提炼：从ResearchAgent，到斯坦福的AI-Researcher、上海AI实验室的VIRSCI
• 让AI写论文——全流程全自动的AI科学家：基于大模型提炼idea、写代码、做实验且最终写成论文
• ..

• 15.4 七月硕士论文助手——论文修订、语法纠错、润色等

• // 待更

十六、RAG知识库问答系列

• 16.1 七月RAG第一版之探索，基本流程与基本框架

• LangChain+LLM的本地知识库问答：从企业单文档问答到批量文档问答
• 知识库问答LangChain+LLM的二次开发：商用时的典型问题及其改进方案
• 一文通透Text Embedding模型：从text2vec、openai-ada-002到m3e、bge
• 一文掌握文本语义分割：从朴素切分、Cross-Segment到阿里SeqModel

• 16.2 七月RAG第二版之探索，通用文档处理

• 从零实现本地知识库问答——详解基于OCR和文本解析器的新一代RAG引擎：RAGFlow(含源码剖析)

十七、智能体Agent项目

• 17.1 AI Agent

• 智能体AI Agent的极速入门：从ReAct、AutoGPT到AutoGen、QwenAgent、XAgent、MetaGPT
   

十八、其它重要文章节选

• 18.1、经典数据结构 & 算法系列

• 精通八大排序算法系列：一之续、快速排序算法的深入分析

  几个最短路径算法Floyd、Dijkstra、Bellman-Ford、SPFA的比较

• 18.2、数据处理/网站架构系列

• 从Hadhoop框架与MapReduce模式中谈海量数据处理

  MapReduce技术的初步了解与学习

  海量数据处理之Bloom Filter详解

  从上百幅架构图中学大型网站建设经验（上）

• Chrome源码剖析、上--多线程模型、进程通信、进程模型
• Nginx源码剖析之内存池，与内存管理

• 18.3、推荐 & 搜索算法系列

• 细数二十世纪最伟大的10大算法     
• 当今世界最为经典的十大算法--投票进行时    （本blog将评选出当今世界最为经典的十大算法）
• 推荐引擎算法学习导论
• 搜索引擎技术之概要预览

• 18.4、其它

• 程序员如何快速准备面试中的算法
• 重启开源，分享无限--诚邀你加入微软面试187题的解题中
• 敏捷软件开发模型Scrum通俗讲义
• 由快速排序引申而来--如何学习算法
• Machine Learning读书会,面试算法讲座,创业活动,算法班(14年10月)   （含所有线下讲座PPT 集锦）
• 结构之法算法之道blog博文集锦第6、第7期CHM文件 第8期  第9期下载（第9期截止到2014年12月9日）
• ....

后记

世上本无路，走的人多了，也就成了路。世上本无免费的午餐，分享的人多了，也就造就了开源的辉煌

如果你发现了本blog中的任何一问题，请一定不吝指正，thanks。此外，你可以永久通过搜索引擎搜索本博客名称的前4个字，即：“结构之法” 这4个关键字，进入本博客。    最后，感谢CSDN，感谢所有一直以来关注本blog的所有朋友。谢谢大家，谢谢。

转发送书

欢迎大家转发下条微博：Sina Visitor System，我会不定期抽奖，经典IT图书大赠送：

---

2024.09.19最新更新：2015年，July团队正式创业，创办七月在线，一开始做教育，后扩科技，如今是「集AI大模型教育、应用开发、机器人解决方案为一体的科技公司」