20250329陕师大讲解mindnlp模型微调
讲解mindnlp模型微调20250329 先给大家说自己是三维视觉领域 首先讲解mindnlp的组成，训练方法 然后讲解模型任务，模型分为四种 然后讲解微调数据集的选择，微调的两种方法 然后讲解微调数据集的格式 然后讲解PEFT 然后讲解Ascend 910B 看效果 MindNLP MindNLP是基于MindSpore的一个自然语言处理（NLP）开源库，其中包含了许多自然语言处理的常用方法，提供了一个易用的NLP平台，旨在帮助研究人员和开发者更高效地构建和训练模型。 丰富完备的数据预处理模块 提供丰富的NLP数据处理模块，可灵活高效地完成数据预处理，包括Multi30k、SQuAD、CoNLL等经典数据集。 用户友好的NLP模型工具集 提供多种可配置神经网络组件，易于用户自定义模型，可大幅提升NLP任务建模的效率。 灵活易用的训练与推理引擎 简化了MindSpore中复杂的训练过程，提供了灵活易用的 Trainer 和 Evaluator...
swiftUI
swiftUI OK，我们先学习官方的swiftUI教程 Creating and combining views 创建一个项目 interface中的storyboard可以使用swift或者objective-C进行编写 项目初建 File > New > File （文件 > New > File） 以再次打开模板选择器。在用户界面部分，选择“SwiftUI 视图”，然后单击下一步。将文件命名为 CircleImage.swift，然后单击 Create。 12345678910111213141516171819202122232425262728import SwiftUI// `@main` 属性标识应用程序的入口点。@mainstruct LandmarksApp: App { var body: some Scene { WindowGroup { ContentView() } }}//...
macbook使用方法
Macbook使用笔记 左右分屏：按住Option键拖移窗口，或将指针放在左上角的绿色图标上 分屏幕：三指往上推然后再在顶部把两个软件单指结合到一起 delete键按：fn+删除键，可以删除光标后面的字符 直接到达桌面：四个指头放大然后手拿开 切换输入法：control空格 删除文件：command+delete Safari新建标签页打开：command+左键 截图大全 全屏截图并保存到剪切板：Control + Command + Shift + 3 选择区域截图并保存到剪切板：按下Control + Command + Shift + 4 全屏截图：com➕shift➕3（ipad标注同步） 矩形截图：com➕shift➕4...
swift笔记
0326看到了集合 siwft笔记 引言-写给我自己在学习swift成为苹果开发者之前的猜想 怎么学习swift？如何制作并发布一个由swift制作的软件并发布到ios商店，首先我在知乎等渠道已经知道开发者的一些内容，并且知道了swift和c-sharp的选择问题。重点是怎么学？我这里想的是可以先从国内别人整理好的教程先速通一遍，然后在苹果开发者网站学习新的swift特性。 我的目标是什么？我的时间可太宝贵了，做这个事一定事出有因并且有所成就，我的目标很简单，就是完成一个成品软件，在竞争的时候可以展出，可以顶替一个实习经历。 学习链接： apple开发者的官方教程 apple的官方中文教程 菜鸟教程 swift编程语言中文教程 [youtube上一个声音很好听的教学up](https://www.youtube.com/ChaoCode 博主) 如何阅读Apple developer网站 这是主页 首页的讲座、WWDC、开发者你好（其实指向新闻hello）、开发者见面（其实指向events，是苹果最近的闲暇过从）是单独一个网页 顶部探索 和 首页pathway...
证券投资
...
MindNLP模型微调超级笔记
MindNLP模型微调超级笔记 乱七八糟的学习参考 已完成的bloom模型微调 pull链接这里面只有训练的部分结果，然后讲的是实现了bloom-3b在databricks-dolly-15k数据集上面的lora微调，不知道这个pytorch的训练过程是从哪来的，然后发现lora微调是一种微调方法，然后这里能够找到他fork的仓库，在mindNLP仓库是看不到改动的，需要去他提交pullrequst的fork的仓库，然后在这里点击可以到他fork的仓库，fork的仓库，同时可以看到这里fork后的仓库重新创建的分支叫做intern，然后查看commit改冲在哪里，找到发现在这里mindnlp/llm/finetune/bloom/bloom-3b-qlora，也就是说任务是微调的话就把代码放在llm/finetune这个目录下，然后对比官方的mindspore的仓库发现确实这里pull...
NLP任务微调笔记
NLP任务微调笔记 NLP数据集没有像CV一样大量标号的数据集，所以NLP一般是自监督的，有两种自监督的模型： LM：语言模型，预测下一个词 MLM：带掩码的语言模型，完形填空 每种预训练模型基于不同的技术也分为两种： Word embddings： LSTM之类的传统的 Transformer based pretrained model： Bert：基于encoder，针对Bert的微调，把最后一层重新设计随机初始化，做分类只需要拿出一个然后训练，做QA只需要输出答案的位置 GPT：基于decoder T5：基于encoder和decode 如何做分词 数据集一般是用Unicode进行编码，是对世界所有语言的一种编码，但是我们需要将这些文字变成数字编码的向量，就需要分词 1"我是一个用于测试输出unicode编码的文字".encode('utf-8')#可以看到每个字对应的unicode编码...
mindNLP使用方法以及NLP模型的使用
mindNLP API reference 另一个API reference，这个全 介绍这是什么 MindNLP是基于MindSpore的开源NLP库。这个是个package，类似于huggingface的transformer库，有 250+ 预训练模型支持类似 huggingface transformers 的 API。您可以通过以下代码片段轻松使用，这样可以直接使用已经定义好的模型并且还有模型的权重：支持的模型 123import mindnlp.transformers import AutoModelmodel = AutoModel.from_pretrained（'bert-base-cased'） 全面的数据处理：将多个经典的 NLP 数据集打包成友好的模块，以便于使用，例如 Multi30k、SQuAD、CoNLL 等。 友好的 NLP 模型工具集：MindNLP 提供了各种可配置的组件。使用 MindNLP 自定义模型很友好。 易于使用的引擎：MindNLP 简化了 MindSpore 中复杂的训练过程。它支持...
模型预训练与微调的发展历程及核心论文/项目推荐
模型预训练与微调的发展历程及核心论文/项目推荐 一、模型预训练（Pre-training） 预训练模型的核心思想是通过大规模无标注数据训练模型，学习通用语言或视觉表征，再通过微调适应具体任务。其发展经历了以下关键阶段： 1. 预训练概念的提出与早期探索 Word2Vec（2013）：通过无监督学习词向量，首次展示了从大规模文本中学习语义表征的可能性。 ELMo（2018）：引入上下文相关的词向量，通过双向LSTM模型捕捉语境信息，推动了预训练在NLP中的应用。 2. 预训练的范式革新 BERT（2018）：基于Transformer的双向编码器，通过掩码语言模型（Masked LM）和下一句预测任务，首次在多个NLP任务中实现SOTA性能。 GPT系列（2018-2020）：从GPT-1到GPT-3，逐步验证了单向自回归语言模型的生成能力，尤其是GPT-3通过海量参数和零样本学习展示了模型的通用性。 3. 预训练的改进方向 模型架构优化：如RoBERTa（改进BERT训练策略）、T5（统一文本生成框架）、Switch...