SuffleNet
SuffleNet ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices 旷视科技 摘要 MobileNet和SqueezeNet等一样主要是想应用在移动端 创新点 ResNeXt 在非常小的网络中效率会降低，因为密集的 1×1卷积 代价很高 ，基于此作者提出了 pointwise group convolution 以减少 1×1卷积 的计算复杂度 ； 为克制 pointwise group convolution 带来的副作用，提出了 channel shuffle 的操作，用于实现信息在特征通道之间流动 . ShuffleNet与MobileNet的对比，ShuffleNet不仅计算复杂度更低，而且精度更好。 创新点讲解 DeepwiseConvolution（是一种GroupConvolution） （特征图数就是通道数） 分组卷积(Group Convolution) 的概念首先是在 AlexNet 中引入，用于将模型分布到两块 GPU...
李沐-ResNet
ResNet Deep Residual Learning for Image Recognition 微软研究院的Kaiming...
李沐-TransFormer基础
李沐-TransFormer基础 Attention Is All You Need 谷歌在2017年的论文 同等贡献很多 代码在tensor2tensor 摘要 序列转换模型都是基于复杂的循环神经网络或卷积神经网络，且都包含一个encoder和一个decoder。表现最好的模型还通过attention机制把encoder和decoder联接起来。 提出了一个新的、简单的网络架构，Transformer....
论文阅读_2DGS
2D Gaussian Splatting for Geometrically Accurate Radiance Fields 基本信息 项目 内容 论文标题 2D Gaussian Splatting for Geometrically Accurate Radiance Fields 作者 Binbin Huang, Zehao Yu, Anpei Chen, Andreas Geiger, Shenghua Gao 第一单位 ShanghaiTech University, China 时间 2024 发表会议/期刊 SIGGRAPH Conference Papers '24 方法概览 特点 描述 输入 多视角RGB图像及其对应的相机位姿（由COLMAP估计的稀疏点云初始化） 输出 可实时渲染的2D高斯场景表示、高质量新视角合成图像、噪声低且几何准确的表面网格（Mesh） 所属领域 3D场景表示与渲染、多视角几何重建 1....
AlexNet
李沐-AlexNet和卷积基础 ImageNet Classification With Deep Convolutional Neural Networks 俄罗斯人Alex Krizhevsky、Ilya Sutskever和Geoffrey Hinton 2012 在谷歌实习时候见到过这个人，汇报了这个工作。首个真正意义上的深度卷积神经网络 摘要 ImageNet是一个很大的数据集超过1500万张在超过22,000个类别，取其中一部分1000个类 在Imageet上top-1错误率37.5%，top-5错误率17.0%...
macbook使用方法
Macbook使用笔记 左右分屏：按住Option键拖移窗口，或将指针放在左上角的绿色图标上 分屏幕：三指往上推然后再在顶部把两个软件单指结合到一起 delete键按：fn+删除键，可以删除光标后面的字符 直接到达桌面：四个指头放大然后手拿开 切换输入法：control空格 删除文件：command+delete Safari新建标签页打开：command+左键 截图大全 全屏截图并保存到剪切板：Control + Command + Shift + 3 选择区域截图并保存到剪切板：按下Control + Command + Shift + 4 全屏截图：com➕shift➕3（ipad标注同步） 矩形截图：com➕shift➕4...
swift笔记
0326看到了集合 siwft笔记 引言-写给我自己在学习swift成为苹果开发者之前的猜想 怎么学习swift？如何制作并发布一个由swift制作的软件并发布到ios商店，首先我在知乎等渠道已经知道开发者的一些内容，并且知道了swift和c-sharp的选择问题。重点是怎么学？我这里想的是可以先从国内别人整理好的教程先速通一遍，然后在苹果开发者网站学习新的swift特性。 我的目标是什么？我的时间可太宝贵了，做这个事一定事出有因并且有所成就，我的目标很简单，就是完成一个成品软件，在竞争的时候可以展出，可以顶替一个实习经历。 学习链接： apple开发者的官方教程 apple的官方中文教程 菜鸟教程 swift编程语言中文教程 [youtube上一个声音很好听的教学up](https://www.youtube.com/ChaoCode 博主) 如何阅读Apple developer网站 这是主页 首页的讲座、WWDC、开发者你好（其实指向新闻hello）、开发者见面（其实指向events，是苹果最近的闲暇过从）是单独一个网页 顶部探索 和 首页pathway...
证券投资
...
MindNLP模型微调超级笔记
MindNLP模型微调超级笔记 乱七八糟的学习参考 已完成的bloom模型微调 pull链接这里面只有训练的部分结果，然后讲的是实现了bloom-3b在databricks-dolly-15k数据集上面的lora微调，不知道这个pytorch的训练过程是从哪来的，然后发现lora微调是一种微调方法，然后这里能够找到他fork的仓库，在mindNLP仓库是看不到改动的，需要去他提交pullrequst的fork的仓库，然后在这里点击可以到他fork的仓库，fork的仓库，同时可以看到这里fork后的仓库重新创建的分支叫做intern，然后查看commit改冲在哪里，找到发现在这里mindnlp/llm/finetune/bloom/bloom-3b-qlora，也就是说任务是微调的话就把代码放在llm/finetune这个目录下，然后对比官方的mindspore的仓库发现确实这里pull...
NLP任务微调笔记
NLP任务微调笔记 NLP数据集没有像CV一样大量标号的数据集，所以NLP一般是自监督的，有两种自监督的模型： LM：语言模型，预测下一个词 MLM：带掩码的语言模型，完形填空 每种预训练模型基于不同的技术也分为两种： Word embddings： LSTM之类的传统的 Transformer based pretrained model： Bert：基于encoder，针对Bert的微调，把最后一层重新设计随机初始化，做分类只需要拿出一个然后训练，做QA只需要输出答案的位置 GPT：基于decoder T5：基于encoder和decode 如何做分词 数据集一般是用Unicode进行编码，是对世界所有语言的一种编码，但是我们需要将这些文字变成数字编码的向量，就需要分词 1"我是一个用于测试输出unicode编码的文字".encode('utf-8')#可以看到每个字对应的unicode编码...