mindNLP使用方法以及NLP模型的使用
mindNLP API reference 另一个API reference，这个全 介绍这是什么 MindNLP是基于MindSpore的开源NLP库。这个是个package，类似于huggingface的transformer库，有 250+ 预训练模型支持类似 huggingface transformers 的 API。您可以通过以下代码片段轻松使用，这样可以直接使用已经定义好的模型并且还有模型的权重：支持的模型 123import mindnlp.transformers import AutoModelmodel = AutoModel.from_pretrained（'bert-base-cased'） 全面的数据处理：将多个经典的 NLP 数据集打包成友好的模块，以便于使用，例如 Multi30k、SQuAD、CoNLL 等。 友好的 NLP 模型工具集：MindNLP 提供了各种可配置的组件。使用 MindNLP 自定义模型很友好。 易于使用的引擎：MindNLP 简化了 MindSpore 中复杂的训练过程。它支持...
zed相机使用
Zed相机的驱动安装和图像视频获取 和众多的深度相机一样，下载SDK，然后SDK里有个上位机可以用来快速的获取视频和可视化，然后还有一套ROS，C++，python的API可以编写一些定制程序。 型号 型号 ZED mini垃圾 ZED 2 黑色的 ZED白色的 最垃圾 ZED 2I 想要的 特点 不写了自己看 帧率 陀螺仪 驱动安装 ZED SDK-Python 的环境后面装 我的cuda环境：cuda12.4 参考官网的下载方式是SDK，针对不同硬件平台和cuda版本下载不同的SDK版本，这里下载的SDK版本号是4.2。 1234567891011121314151617181920212223242526272829303132333435363738394041$ sh ./ZED_SDK_Ubuntu22_cuda12.1_v4.2.5.zstd.runVerifying archive integrity... 100% MD5 checksums are OK. All...
FPV ESC学习笔记
...
LLVM tablegen
LLVM和LLVM tablegen学习笔记 LLVM介绍 LLVM 是一个跨平台（可在 Linux、Windows 和 Mac 上使用）C/C++ 编译器工具集，像 GCC一样。 LLVM 可以编译用 C、C++ 和 Objective-C 编写的代码。 LLVM 通过 libc++ 和 libc++ ABI 项目支持 C++11、C++14 和 C++17。 LLVM 还部分支持最新的 C++20 和 C++2b 标准。LLVM之所以优秀，在于以下几点： LLVM的中间表达（IR）是可以阅读的文本形式的，其他很多编译器却只有内存中的数据结构，使得学习调试难度大增。 LLVM 工具集提供的 Clang 可以比 GCC 更快地编译 C 和 C++ 代码。与 GCC 相比，LLVM 调试器 LLDB...
大恒相机硬触发
...
mindspore.mint接口测试任务
mindspore.mint接口测试任务 任务 任务背景 mindspore.mint提供了大量的functional、nn、优化器接口，API用法及功能等与业界主流用法一致，方便用户参考使用。 mint接口当前是实验性接口，在图编译模式为O0和PyNative模式下性能比ops更优。当前暂不支持图下沉模式及CPU、GPU后端，后续会逐步完善。 mindspore.mint.div逐元素计算 input 除以 other 的商。 mindspore.mint.divide mindspore.mint.erf mindspore.mint.erfc mindspore.mint.erfinv 需求描述 对应Pytorch 的相应接口进行测试： a) 测试random输入不同dtype，对比两个框架的支持度 b) 测试固定dtype，random输入值，对比两个框架输出是否相等（误差范围为小于1e-3） c) 测试固定shape，固定输入值，不同输入参数（string\bool等类型），两个框架的支持度 d)...
Mindspore实习-AKG SIG算子addlayernorm编辑和合并
Mindspore实习-AKG SIG算子addlayernorm编辑和合并 什么是算子 计算图和算子在计算本质上是一致的。算子是打包后的计算图，计算图是拆包后的算子 比如sigmod复合算子可以看作一个计算图，由基础算子Exp，Add，Reciprocal等基础算子组成，用小规模的“基本算子”集合就可以表达任意现有计算图。 计算图可以完全由基础算子组成，但是还是得定义复合算子，比如sigmod这种，因为对于基本算子计算图来说，相邻算子之间只能通过全局内存（或显存）进行数据传递。而对于复合算子来说，相邻的基本计算之间则可以通过局部内存或者寄存器进行数据传递。除了性能之外，在一些场景下，通过算子融合也能有效减少对全局内存的的实际占用。 mindspore的算子融合方案是什么 在TVM、XLA等自动算子编译技术出现之前，AI框架主流采用手工融合的方式解决如上问题。主要思路是： 手工融合: 1）识别常见的热点算子组合子图，比如： Add(Mul(x, y))。然后针对该算子子图手工实现对应融合算子；...
colmap介绍和使用
colmap官方教程的笔记 需要CUDA才能稠密重建，否则只能稀疏重建 Colmap论文——《Structure-from-Motion Revisited》论文阅读笔记 Tutorial 传统上，基于图像的3D重建首先使用“运动结构Structure-from-Motion”来恢复场景的稀疏表示和输入图像的相机姿态。然后，此输出用作“多视图立体Multi-View Stereo”的输入，以恢复场景的密集表示。 12345678/path/to/project/...+── images│ +── image1.jpg│ +── image2.jpg│ +── ...│ +── imageN.jpg+── database.db+── project.ini 重建的过程 Structure-from-Motion 是将3D结构从投影重建为一系列图像的过程。输入是从不同视点拍摄的同一对象的一组重叠图像。输出是物体的三维重建，以及所有图像的重建的内在和外在相机参数。 通常，“运动结构”系统将此过程分为三个阶段： 特征检测与提取 特征匹配和几何验证...
GAN生成对抗模型入门
GAN笔记 简介 GAN的思想来自零和博弈理论，由两个部分组成，一个是生成器Generator，随机接收一个随机噪声来生成图像。一个是鉴别器Discriminator，判断一张图像是不是“真实的”，输入是一张图像，输出是该图像为真实图像的概率，介于0-1之间，概率值越小认为生成图像不真实的可能性越大。生成器的目标是通过生成接近真实的图像来欺骗判别器，而判别器的目标是尽量辨别出生成器生成的假图像和真实图像的区别。 自编码器（Auto-Encoder)以及变分自编码器（Variational Auto-Encoder)都是典型的生成器。输入通过Encoder编码成code，然后code通过Decoder重建原图，其中自编码器中的Decoder就是生成器，code可随机取值，产生不同的输出。 自编码器是一种能够通过无监督学习，对输入数据进行特征提取，学习到数据的抽象表示，称为编码过程，编码结果往往维度远小于输入数据，自编码器可以用于降维和特征提取， 变分自编码器（Variational auto-encoder，VAE）是一类重要的生成模型（generative...
HuggingFace的模型和数据集dataset
HuggingFace的模型和数据集dataset 微调数据集：wikitext-103-v1 模型：BigBirdPegasusForCausalLM 如何下载模型和数据集并调用 这里的模型和数据集是需要在huggingface上找到专门的名称的，然后有多种下载方法，默认会下载到.cache/huggingface/hub/,但是后面.cache可能会被清空。加载的时候，直接传入地址即可 通过 huggingface model hub 网页的下载按钮进行下载。模型项目页的 Files 栏中可以获取文件的下载链接。无需登录直接点击下载 通过 huggingface 的 huggingface_hub 工具进行下载 123456789pip install huggingface_hubhuggingface-cli download internlm/internlm2-chat-7b# 但是直接这么下载还是网络超时，所以使用镜像python -m pip install huggingface_hubexport...