无标题
实践笔记_多卡大规模训练 DataParallel vs DistributedDataParallel 维度 DataParallel (DP) DistributedDataParallel (DDP) 架构 单进程多线程 多进程（每个GPU一个进程） 通信方式 主GPU收集→分发（串行） 进程间直接通信（Ring All-Reduce） 负载均衡 主GPU负载重 所有GPU负载均衡 性能 慢（GIL限制、通信瓶颈） 快（无GIL、高效通信） 适用场景 单机小规模实验 单机多卡/多机多卡生产环境 代码复杂度 简单（一行代码） 稍复杂（需多进程初始化） 数据加载 单DataLoader 每GPU独立DataLoader Batch Size 总batch size 每GPU batch size 梯度同步 主GPU收集所有梯度（O(N)） Ring All-Reduce（O(log N)） 参数更新 主GPU更新后广播（串行） 每个GPU独立更新（并行） 数据传输 GPU0↔GPU1,...
无标题
三维信息保存格式 数据类型 本质 维度 典型用途 深度图 2D图像，每个像素存距离值 2D网格 单目/双目深度估计、RGB-D感知 PLY点云 3D点集合，存(x,y,z)及属性 无序3D点 3D重建、SLAM、三维检测 HDF5 容器格式，可存储任意数据 灵活 大规模数据集、多模态数据存储 实际案例对比 格式 开发者 本质 压缩 精度 典型用途 NPY NumPy 二进制数组 无 任意 Python单数组存储 NPZ NumPy ZIP压缩包 有 任意 Python多数组存储 PFM 学术界 浮点图像 无 32位浮点 深度图/视差图标准 PNG PNG Group 位图图像 无损 8-16位整型 RGB/深度图通用 PLY Stanford 3D网格/点云 可选 32位浮点 3D模型存储 HDF5 HDF Group 科学数据容器 有 任意 大规模多模态数据 格式 文件大小 保存时间 加载时间 精度损失 跨语言 NPY 8.3 MB 0.02s 0.01s 无 ❌ NPZ 4.1...
无标题
wandb 别名 W&B 是什么？ W&B (Weights & Biases) 是一个专门用于机器学习实验跟踪和可视化的平台。简单来说，它就像一个"白富美版"的TensorBoard——颜值更高、交互性更强，而且会自动记录你的训练过程，不需要你手动写可视化代码 核心功能包括： 📊 实验跟踪：自动记录超参数、损失曲线、准确率等指标 🔍 结果对比：在同一张图上比较多次实验的效果 💻 系统监控：自动记录GPU利用率、显存占用、温度等 📁 模型管理：保存和版本化管理模型checkpoint 🤝 团队协作：与团队成员共享实验结果 W&B会自动监控所有GPU的占用情况，无需额外配置 注册并登录 访问 wandb.ai 注册免费账号 登录后获取你的 API Key（在设置页面可以找到） 在终端执行登录命令： 1wandb login 系统会提示你输入API Key，粘贴进去即可。或者你也可以设置环境变量： 1export...
无标题
Docker使用笔记 背景知识 如果你有一个ubuntu22.04,但是你有一个任务需要在ubuntu2004做，那就需要配置一个docker环境，一个docker环境叫做docler容器container，可以通过镜像构建，一个镜像是一个模板，而容器是一个镜像的实例。 你可以通过docker...
无标题
Weights & Biases (wandb) 介绍与使用指南 1. 什么是 wandb？ Weights & Biases (wandb) 是一个用于机器学习实验跟踪、模型可视化和协作的工具。它帮助研究人员和工程师： 记录实验的超参数、指标、代码版本、硬件信息等 实时可视化训练过程（损失、准确率等） 对比不同实验的结果 共享和协作分析实验 自动化超参数搜索（sweep） wandb 提供云端面板（dashboard）和本地存储两种方式，支持 PyTorch、TensorFlow、Keras、JAX 等主流框架，并可与各种环境（本地、Colab、集群）无缝集成。 2. 为什么选择 wandb？ 轻量级：只需几行代码即可开始跟踪 可视化强大：自动生成图表、表格、图像、媒体等 协作便捷：团队共享实验链接，在线讨论 与 ML 生态深度集成：支持 Hugging Face、PyTorch Lightning、Keras 等 免费学术版：个人和小团队有充足的免费额度 3. 安装与初始化 安装 1pip install...
Hydra 与 OmegaConf 入门教程
Hydra 与 OmegaConf 入门教程 一、为什么需要 Hydra？ 问题场景 你正在训练一个深度学习模型，每次调整参数都要： 手动修改代码 记住一堆命令行参数 不同实验的配置混乱难以管理 Hydra 的解决方案 把所有参数都写在 YAML 配置文件中，运行时想改就改，还能自动保存每次实验的配置。 二、5 分钟快速上手 1. 安装 1pip install hydra-core omegaconf 2. 最简单的例子 创建 config.yaml： 12345# 模型配置model: resnet18batch_size: 32learning_rate: 0.001epochs: 10 创建 train.py： 1234567891011121314151617import hydrafrom omegaconf import DictConfig@hydra.main(config_path=".", config_name="config")def main(cfg: DictConfig): # cfg...
SSH密钥认证
SSH 密钥认证 1. 生成密钥对（在本地机器上） 1234567# 生成 RSA 密钥（默认）ssh-keygen -t rsa -b 4096 -C "your_email@example.com"# 或者生成 Ed25519 密钥（更安全，推荐）ssh-keygen -t ed25519 -C "your_email@example.com"# 一路回车，使用默认路径（~/.ssh/id_rsa）和空密码 2. 复制公钥到服务器 123456789# 方法三：直接复制粘贴# 本地执行cat ~/.ssh/id_rsa.pub# 复制输出的内容# 登录服务器，执行mkdir -p ~/.sshecho "粘贴刚才的内容" >> ~/.ssh/authorized_keyschmod 700 ~/.sshchmod 600 ~/.ssh/authorized_keys 12345# 方法一：使用 ssh-copy-id（最简单）ssh-copy-id username@server_ip#...
论文阅读_Concerto
Concerto Concerto: Joint 2D-3D Self-Supervised Learning for Spatial Representations 基本信息 项目 内容 论文标题 Concerto: Joint 2D-3D Self-Supervised Learning for Spatial Representations 作者 Yujia Zhang, Xiaoyang Wu, Yixing Lao, Chengyao Wang, Zhuotao Tian, Naiyan Wang, Hengshuang Zhao 作者单位 1. 香港大学 2. 香港中文大学 3. 哈尔滨工业大学（深圳） 时间 2025 发表会议/期刊 NeurIPS 2025 方法概览 特点 文章性质 输入 点云及对应的多视角图像（可选） 输出 每个点的稠密特征表示（可用于下游任务） 所属领域 三维自监督学习、跨模态表示学习 1. 摘要精简 Concerto 是一个受人类多感官协同学习概念启发的 2D-3D...
论文阅读_FUSER
FUSER: Feed-forward Multiview Registration Transformer FUSER 没有 “参考点云” 这个概念！ 世界坐标系 = 数据集自带的真实全局坐标系（GT 里给的） 基本信息 项目 内容 论文标题 FUSER: Feed-forward Multiview Registration Transformer 作者 Haobo Jiang, Ao Shenn, Yu Liang, Jiaxiang Yang, Jianxin Xie 作者单位 Nanyang Technological University, Alibaba Group, Nankai University, Nanjing University1. 南洋理工大学 2. 阿里巴巴集团 3. 南开大学 4. 南京大学 时间 2025 发表会议/期刊 CVPR 方法概览 特点 文章性质 输入 无序、部分重叠的多视角点云集合 输出 每个点云的全局刚性变换（旋转 +...
论文阅读_MC-MVSNe
MC-MVSNet: When multi-view stereo meets monocular cues 基本信息 项目 内容 论文标题 MC-MVSNet: When multi-view stereo meets monocular cues 作者 Xincheng Tang, Mengqi Rong, Bin Fan, Hongmin Liu, Shuhan Shen 第一单位 北京科技大学 智能科学与技术学院 (School of Intelligence Science and Technology, University of Science and Technology, Beijing) 时间 2026 发表会议/期刊 Pattern Recognition (Volume 176) 摘要精炼 本文提出了一种名为 MC-MVSNet 的新型多视图立体 (MVS)...