MindSpore官方版

MindSpore简介

MindSpore是一个深度学习系统，可以帮助用户在电脑上开发新的数据分析系统，为各个行业提供算法分析，在处理数据时给用户更好的体验。它可以通过部署软件直接使用，可以用来分析情绪、图像、科学数据和工程数据。结合提供的功能函数，可以在软件上构建数据集分析方案，在函数图像上显示分析的数据，也可以使用其他统计图表显示分析结果。通过将要分析的数据集加载到软件中，可以设置分析规则，支持定义网格，支持加载模型进行推理或迁移学习，支持将数据集转换为MindRecord，支持优化数据处理！

MindSpore软件功能

1.培训看板

训练看板是MindInsight可视化组件的重要组成部分，其标签包括标量可视化、参数分布可视化、计算图可视化、数据图可视化、图像可视化和张量可视化等。

标量可视化标量可视化用于显示训练过程中标量的变化趋势。

2.检查可追溯性和比较看板

MindInsight中的模型可追溯性、数据可追溯性和比较看板是像训练看板这样的可视化组件的重要组成部分。在训练数据可视化中，通过对比看板观察不同标量趋势图发现问题，然后利用溯源功能定位问题原因，为用户提供数据增强和深度神经网络的高效调优能力。

用户从比较分析中输入可追溯性和比较看板。

模型参数选择区域列出了可以查看的模型参数标签。用户可以检查所需的标签来查看相应的模型参数。

3.收集汇总数据

训练过程中的标量、图像、计算图和模型超参数被记录在文件中，供用户通过可视化界面查看。

4.使用mindoptimizer进行超参数调整

MindInsight参数调优功能可用于搜索超级参数。根据用户给出的参数整定配置，可以自动搜索参数，进行模型训练。

MindInsight提供的mindoptimizer参数调整命令可以根据用户的配置从训练日志中提取之前的训练记录，然后对之前的训练记录进行分析，推荐超级参数，最后自动执行训练脚本。

5.可以调试(U)

操作人员在训练过程中的耗时记录在文件中，用户可以通过可视化界面查看和分析，从而帮助用户更高效地调试神经网络功能。

6.使用调试器

MindSpore Debugger是一个用于图模式训练的调试工具，可以用来查看和分析计算图节点的中间结果。

在MindSpore图模式的训练过程中，用户无法从Python层得到计算图中间节点的结果，使得训练和调试非常困难。使用MindSpore调试器，用户可以:

结合MindInsight调试器界面中的计算图，检查图节点的输出结果；

设置监控点，监控异常训练情况(如张量溢出)，异常发生时跟踪错误原因；

检查重量等参数的变化。

7.解释模型

目前，深度学习模型大多是黑箱模型，可以表现得很好，但解释得很差。模型解释模块旨在为用户提供模型决策依据的解释，帮助用户更好地理解模型和信任模型，在模型出错时提高模型效果。

在一些重要的应用场景中，如自动驾驶、财务决策等。，由于法律和政策的原因，AI模型如果不可解释就无法真正应用。因此，模型的可解释性重要性越来越高，受到越来越多的关注。因此，模型解释是改善MindSpore生态应用和用户友好性的关键部分。

MindSpore软件特色

使用MindSpore的优势

简单的开发经验

帮助开发者实现自动网络分割，并行训练只需串行表达式即可实现，降低了门槛，简化了开发流程。

灵活的调试模式

借助培训过程中的静态执行和动态调试能力，开发人员可以通过改变一行代码来切换模式，在线快速定位问题。

充分发挥硬件潜力

匹配最好的瑞星处理器，最大化硬件能力，帮助开发者缩短训练时间，提高推理能力。

全场景快速部署

支持云、边缘、手机的快速部署，实现更好的资源利用和隐私保护，让开发者专注于AI应用的创作。

一般场景教程

为不同场景下不同级别的开发者提供教程，通过细分步骤指导如何使用MindSpore。

快速启动

通过一个实际的样本实现手写数字的识别，带领大家体验MindSpore basis的功能。一般来说，完成整个样本练习需要20~30分钟。

图像分类

结合CIFAR-10数据集，讲解MindSpore如何处理图像分类任务。

情感分析

构建自然语言处理模型，通过文本分析和推理实现情感分析，完成文本的情感分类。

识别猫狗APP

在PC上退预训练模型，在手机终端上完成推理部署，一小时内体验MindSpore边缘云的全场景开发过程。

MindSpore教程

使用可视化组件mindinsight >:收集汇总数据

摘要

训练过程中的标量、图像、计算图和模型超参数被记录在文件中，供用户通过可视化界面查看。

工作流程

准备训练脚本，将训练脚本中的标量、图像、计算图、模型超参数等记录指定到摘要文件中，运行训练脚本。

启动MindInsight，通过启动参数指定概要目录文件目录。启动成功后，按照IP和端口访问可视化界面，访问地址为http://127.0.0.1:8080。

在培训过程中，写入数据时，可以查看页面中的可见数据。

准备培训脚本

目前MindSpore支持保存标量、图像、计算图、模型超参数等。并通过可视界面显示它们。

MindSpore目前支持多种方式将数据记录到汇总文件中。

方法1:通过SummaryCollector自动收集

在MindSpore中，Callback机制提供了快速简单地收集一些常见回调的支持，包括计算图表、损失值、学习率、参数权重等。，称为SummaryCollector。

编写训练脚本时，只需要实例化SummaryCollector，并将其应用于model.train或model.eval，这样就可以自动收集一些常用数据。SummaryCollector英文谚语的详细用法可以参考API文档中的mind spore . train . callback . summary collector。

示例代码如下:

解释

使用汇总函数时，建议将model.train()的dataset_sink_mode参数设置为False。请参考文章末尾的注释。

方法2:组合Summary运算符和SummaryCollector，根据定义在网络中收集数据。

MindSpore除了提供SummaryCollector自动采集一些常用数据外，还提供了Summary运算符，支持自定义采集网络中的其他数据，如各卷积层的输入或损失函数中的损失值。

当前支持的汇总运算符:

摘要:标量:记录标量数据

张量摘要:记录张量数据

图像摘要:记录图像数据。

直方图:将张量数据转换成直方图数据记录

记录方法如下所示。

步骤1:在继承nn的派生类的构造函数中调用Summary运算符。用于收集图像或标量数据或其他数据的单元格。

例如，当定义网络时，在网络结构中记录图像数据；定义损失函数时，在损失函数的构造中记录损失值。

如果要记录动态学习速率，可以在定义优化器时在优化器的构造中记录学习速率。

示例代码如下:

解释

在同一个抽象算术运算符中，为数据设置的名称不能重复，否则在数据收集和显示中会出现意外行为。例如，如果使用两个ScalarSummary运算符来收集标量数据，则为这两个scalar设置的名称不能相同。

步骤2:在训练脚本中，实例化SummaryCollector并将其添加到模型中

示例代码如下:

方法3:自定义回调记录数据

/[/k0/

下面的伪代码显示在网络中，开发人员可以使用带有原始标签和标签的网络输出来生成重叠矩阵的图片，并通过摘要记录模块记录到摘要记录文件中。关于SummaryRecord的详细用法，请参考API文档中的mind spore . train . summary . summary记录。

示例代码如下:

此外，MindSpore还支持保存训练中其他阶段的计算图表。通过在训练脚本中将context.set_context的save _ graphs选项设置为True，可以记录其他阶段的计算图表，包括算子融合后的计算图表。

在保存的文件中，ms_output_after_hwopt.pb是算子融合后的计算图，可以通过可视化页面查看。

方法4:高级用法，定制训练周期。

如果训练时不用MindSpore提供Model接口，可以模仿Model的训练接口自由控制循环的迭代次数。您可以模拟SummaryCollector，并以下列方式记录汇总运算符数据。

以下示例将演示如何使用SummaryRecord的summary运算符和add_value接口来记录自定义培训周期中的数据。

技巧:除了上面的用法，还有一个使用抽象数学算子时记录梯度的技巧。请注意，该技术需要与上述使用方法之一结合使用。

通过继承最优优化器类的方法，可以插入summary运算符来读取梯度。示例代码片段如下:

根据上面的教程运行MindInsight完成数据收集后，启动MindInsight查看收集到的数据。要开始MindInsight，您需要经历& # 8211；summary-base-dir参数指定摘要日志文件的目录。

摘要日志文件的指定目录可以是一个培训的输出目录，也可以是多个培训的输出目录的父目录。

培训课程的输出目录结构如下:

开始命令:

多次培训的输出目录结构如下:

开始命令:

启动成功后，可以通过浏览器访问http://127.0.0.1:8080的地址查看可视化页面。

停止思维洞察命令:

MindSpore注意事项

1.为了控制列出摘要文件目录的时间，MindInsight支持发现多达999个摘要文件目录。

2.不能同时使用多个SummaryRecord实例(SummaryRecord在SummaryCollector中使用)。

如果在model.train或model.eval的回调列表中使用了两个或多个SummaryCollector实例，则认为同时使用SummaryRecord可能会导致数据失败。

如果SummaryRecord用于自定义回调，则不能与SummaryCollector一起使用。

正确的代码:

3.在每个概要文件目录中，只能放置一个训练数据。如果一个汇总目录中有很多训练汇总数据，MindInsight在可视化数据时会与这些训练汇总数据重叠，这可能与预期的可视化效果不一致。

4.当前的SummaryCollector和SummaryRecord不支持U多卡操作的场景。

5.使用summary函数时，将建议的model.train()方法的dataset_sink_mode参数设置为False，以便step可以作为collect_freq参数的单位来收集数据。当数据集接收模式为真时，历元将用作收集频率的单位。建议此时手动设置collect_freq参数。collect_freq参数的默认值是10。

6.每一步保存的最大数据量为21474837字节。如果超过此限制，则无法记录该步骤的数据，并出现错误。

7.在PyNative模式下，SummaryCollector可以正常使用，但它不支持记录计算图表和使用Summary运算符。