功能详情

### 模型广场
模型广场中内置了讯飞医疗、科大讯飞、深度求索、阿里巴巴和Meta AI多家厂商的各版本的模型，支持用户对模型进行训练、调用、推理和体验。通过模型广场，用户可以实现医疗场景中工作效率的迅速提升，助力院端全面优化医疗服务。

*模型广场首页图

**布局介绍**

模型广场页面中以卡片的形式各版本模型进行了展示，卡片内容包括模型名称、简介、标签以及支持的功能按钮。*该图需要置换为训练平台的模型卡片图

**模型详情**

在广场首页，点击卡片即可进入模型详情页面。
在该页面中，您可以在左侧模型导航栏中切换不同的模型，同时能够了解模型的名称、标签及简介。通过点击功能按钮，您可以直接体验模型所能支持的全部功能。

*模型详情页图

|  体验中心 | 描述|
|:----------------:|----|
 多轮对话  |平台支持用户与模型进行多轮对话，通过模型的深度思考、逻辑推理、医学知识问答等能力，为用户提供专业医疗场景交互体验。
多模型选择  |在该页面中，支持多模型同时对话，一次支持最多选择三个模型，您可通过该功能丰富对话体验，满足您多样化的需求和偏好。
开启新对话 |在询问新问题前，您可以点击按钮开启新对话，避免历史对话的干扰。

**一键进入**

- 体验

支持通过模型卡片或模型详情页，点击体验按钮一键进入模型体验中心。在模型体验页面，支持完成与模型的多轮对话以及尝试更多功能。
*模型体验页面

- API调用

点击API调用按钮，您可以在跳出的API调用弹窗中输入需要调用的模型名称以及选择需要授权的应用，点击确定后即可实现模型调用。
授权项目名称填写需要填写您所挂靠的讯飞项目名称及编码。
比如：讯飞医疗患者管理v2.0T-xxxxxxxxx
*API调用弹窗图
- 精调

点击精调按钮，您可以一键进入模型精调页面。
- 评估

点击评估按钮，您可以一键进入模型评估页面。

### 数据管理
数据管理用于统一管理数据集，支持数据集创建、多版本管理和共享功能，可在模型精调、推理和评估中使用。

#### 数据集创建

平台支持创建三种类型的数据集，包括推理集、评测集和训练集。支持格式包括json、jsonl和CSV文件。

- 训练集：仅能用于模型精调，必须包含input,target字段。具体内容可以参考样例文件

- 评测集：仅能用于模型评估，具体字段可以参考5.3.1模型评估数据来源中对于字段的说明，或者下载样例文件。

- 推理集：仅支持模型推理，用来检验模型的微调效果。必须包含input字段。您也可以传入target字段，用于对比模型推理产生的结果。具体内容可以下载样例文件。

#### 数据集格式说明

平台支持两种数据集格式，包括Alpaca格式和ShareGPT格式。

- Alpaca格式：适用于结构简单的数据集，主要用于单轮任务。
- ShareGPT格式：适用于结构复杂的数据集，例如含有多轮对话的数据集，通常以json或者jsonl的形式储存。应用于训练能进行多轮对话的模型。
  
#### 数据集管理列表
打开数据集页面后，进入数据集列表。点击数据集列表页面右上角的创建数据集按钮，出现数据集创建弹窗页面。

*数据集创建弹窗图

- 查看与管理数据集
  
通过我的数据集列表页，可以查看数据集的信息，包括数据集名称/ ID、创建时间、数据类型、数据格式、数据描述和数据来源等关键信息。
*我的数据集页面图

平台中不仅内置了医疗领域公开数据集，还支持用户创建自己的数据集。

- 预置数据集
  
平台内置包括基础医学、西医临床医学、中医学、公共卫生与预防医学、心理医学、药物医学、护理医学、伦理医学、医学考试、医学技术和医学问答在内的11种医疗领域公开数据集。

在深入构建模型的全医学领域知识体系的同时，提升被精调模型的多任务处理能力，嵌入伦理知识、确保伦理合规与实践安全。预置数据集也根据不同的角色需求，对数据集进行分类，提升模型训练的准确度。

*预置数据集页面图

- 我的数据集
  
点击我的数据集，页面显示为用户所创建的数据集页面

填写创建数据集表单，包括数据集名称、数据集描述，选择数据用途、数据格式、上传文件等。
信息配置完成后，点击确认即完成数据集创建

#### 支持进行数据处理

（一）**数据增强**

数据增强指模型训练前，通过优化原始数据的输入和指令来帮助模型更好的理解数据集中的内容以及进行模型训练。其目的在于提高模型的泛化能力。

在数据增强页面中，支持用户查看任务列表、对数据进行在线增强和在线优化

*数据增强页面图

- **创建任务**
  
  点击创建任务，即可进入数据增强任务创建页面

*任务创建页面图

您需要完成任务基本信息配置，包括选择增强方式、填写任务名称、选择数据集，选择增强倍数等，即可创建数据增强任务，并保存至任务列表中。

*任务列表页面

- 点击**在线增强**
  即可进入在线增强页面，可根据输入的原始数据及所选增强倍数生成增强后数据。

*在线增强页面图

- 点击**在线优化**
  即可进入在线优化页面，可根据输入的原始Prompt生成优化后Prompt及推理结果。

*在线优化页面图

（二）**问答对抽取**

问答对抽取是指从文本中自动识别并提取出“问题（输入）-答案（输出）”对的过程。

在该页面中，您可以查看各类已创建问答对抽取任务的任务名称、任务进度、任务状态、创建时间等。

*问答对抽取页面图

- **任务创建**

点击右上方任务创建，即可进入任务创建页面
 *创建任务页面图
 首先，您需要配置任务的基本信息，包括填写任务名称、选择任务类型及导入文本文件。

*创建任务页面中基本信息示意图

基本信息配置完成后，需要选择切分方式，本平台提供自动切分和自定义切分两种方式。
  - 自动切分：识别段潜之问的层次结构，保持文档结构话义完整，如无相关经验，可选择此项。
  - 自定义切分：支持自定义文本分隔符，如换行符、水平分割线等。 
  
  *切分方式示意图

### 模型精调

通过模型精调您可以训练您的专属医疗领域模型应用，在选择需要训练的模型后，搭载专属训练集进行训练，精调后的模型可以成为您的专属医疗模型应用，满足您精确、安全与合规的医疗模型需求。

#### 模型精调数据集来源
模型精调仅支持使用训练集进行精调。平台不仅提供预置的医疗领域公开训练集，也支持用户自主创建训练数据集。

**医疗领域公开训练集**：
平台内置包括基础医学、西医临床医学、中医学、公共卫生与预防医学、心理医学、药物医学、护理医学、伦理医学、医学考试、医学技术和医学问答在内的11种医疗领域公开数据集。

在深入构建模型的全医学领域知识体系的同时，提升被精调模型的多任务处理能力，嵌入伦理知识、确保伦理合规与实践安全。预置数据集也根据不同的角色需求，对数据集进行分类，提升模型训练的准确度。

**自主创建训练集**：
您可以在创建精调任务时，自主创建训练集，在选择数据集类型时，选择类型为训练集即可。

*数据集创建页面图

上述数据集均可在数据集管理页面对数据集进行管理。

**标注平台上传训练集**：
目前系统支持将在讯飞医疗MaaS-标注平台中标注后的数据集一键上传至训练平台，您可以直接在数据集管理页面中看到该数据集，通过打通标注平台与训练平台之间的数据集流转环节，能够全方位提高您的医疗工作效率，优化医疗服务。
#### 创建精调任务
点击导航栏中的模型精调后，即可进入模型精调的任务创建页面。

*模型精调首页图

首先您需要配置任务的基本信息，包括填写模型名称、对于模型类型目前仅支持文本对话模型、选择基础模型以及选填模型描述。

其次，对于版本信息的配置，模型初次精调默认为V1.0版本，训练方式为零代码精调，训练方法为LoRA精调，均为默认。

*版本配置图

**注**：

**零代码精调**：零代码精调是一种无需编写代码即可对模型进行训练的一种精调方式，通过可视化界面和参数配置工具，您可以直接参与模型的调整与优化。其核心在于将复杂的算法逻辑抽象为可操作的模块，满足您的核心医疗领域需求。

**LoRA精调**：LoRA是一种高效的模型微调技术，通过选择性地对预训练模型的部分参数进行低秩近似调整，在保持模型性能的同时大幅减少计算成本和显存占用。其核心思想是利用 “低秩分解” 简化模型参数的更新，避免对整个模型的数十亿参数进行全量训练。
接着，您需要选择训练集，训练集仅支持单选。
参数配置为默认，支持修改。完成后即可提交。精调后的模型，可以在模型仓库页面查看与管理。

*模型仓库页图
#### 参数配置说明
在配置精调任务时，您可以使用默认的参数配置，也支持对参数进行修改。参数说明如下：
| 参数名称                 | 定义                                                         | 描述                                                         | 默认参数值                                                   |
| ------------------------ | ------------------------------------------------------------ | ------------------------------------------------------------ | ------------------------------------------------------------ |
| 学习率                   | 控制模型参数更新步长的速度。过高会导致模型难以收敛，过低则会导致模型收敛速度过慢。 | 学习率决定了模型在精调时的学习节奏，合适的学习率能够让预训练模型又快又准的进行训练，若学习率太高模型学习的结果会不够准确，若学习率太低模型的学习效率会较低。平台默认的学习率为系统推荐值。您也可以根据经验调整。 | 不同的模型支持不同的默认参数值，具体数值请参考您在实际操作过程中所查看的数值。 |
| 训练次数                 | 控制模型训练过程中遍历整个数据集的次数。建议设置在1-5之间，小数据集可增大Epoch以促进模型收敛。 | 训练次数是模型训练过程中学习全部训练集的次数，合适的训练次数能够使得模型高效准确的完成数据训练。 |                                                              |
| 输入序列分词后的最大长度 | 单个训练数据样本的最大长度，超出配置长度将自动截断。超过该长度的数据在训练时将被舍弃，单位为token。较长的序列能够捕捉到更复杂的依赖关系，较短的序列可以提高计算效率。 | 在 LoRA 精调里，输入序列分词后的最大长度，就是模型能 一次性处理的最长句子（分词后的 token 数量）。比如模型最多能处理 8192个 “词块”（像中文里的字、词或英文的部分单词），超过这个数就会被截断或补零，即长句会被截断为短句进行处理。 |                                                              |
| 数值精度                 | 在深度学习和机器学习中，fp16(半精度浮点数)和 bf16(混合精度浮点数)是两种常见的数值精度表示方法。fp16 具有较高的精度，适合处理需要高精度但动态范围有限的任务; bf16 提供更广的动态范围和更好的数值稳定性，更适用于数值范围较大的任务，如深度学习中的大模型训练。 | 平台支持选择auto模式/fp16/bf16三种精度模式，若您选择默认的auto，那么系统会在精调过程中自动为您选择数值精度。数值精度指模型模型训练的精细程度，该精细程度可以用数值来进行量化，平台支持下述两种精度。fp16 是 “细节准但范围小”，适合需要精细小数的任务；bf16 是 “范围大但细节粗”，适合处理超大或超小的数字。 |                                                              |
| lora作用模块             | 选择模型的全部或特定模块层进行微调优化                       | **注意力模块**：该模块能够帮助模型在学习时对数据的主次部分进行认知，LoRA 作用后，能够使模型对重要部分认知更清晰。**前馈网络模块**：该模块能够帮助模型对信息进行加工，将信息变为模型能理解和使用的知识。LoRA 精调作用后能够帮助模型更高效的处理信息。通过作用这两个模块，LoRA 精调能够使得模型在语音理解和处理方面拥有更好的表现。 |                                                              |
| LoRA秩                   | 决定了微调过程中引入的低秩矩阵的复杂度。较小的秩可以减少参数数量，降低过拟合风险，但可能不足以捕捉任务所需的所有特征;较大的秩可能增强模型的表示能力，但会增加计算和存储负担。 | 系统支持的秩数值包括8和16两种。lora 秩指模型在学习时，要选一个合适的学习难度，让模型在效率和效果之间找到一个平衡。默认数值为8。 |                                                              |
| Lora随机pdbq             | 用于防止lora训练中的过拟合。                                 | Lora 随机丢弃指在模型训练过程中，随机地让模型 “忘记” 一些它正在学习的关于 LoRA 的参数细节。这样可以让模型不会过度依赖某些特定的参数，从而提高模型的适应能力和泛化能力。 |                                                              |
| LoRA 缩放系数            | 定义了LORA适应的学习率缩放因子该参数过高，可能会导致模型的微调过度，失去原始模型的能力;改参数过低，可能达不到预期的微调效果。 | LoRA 缩放系数是模型进行精调时，用来控制模型学习新任务的速度和程度的一个参数，要根据实际情况选择合适的数值，让模型既能有效地学会新任务，又不会对原来的能力造成太大的负面影响。 |   
                                                           |

### 批量推理

批量推理是指您在完成模型训练后，使用仅含有用户输入（input）的数据集来推导模型输出结果的一种模型推理方式。该推理方式支持对多条数据同时进行推理，能大幅度提高推理效率和节省算力资源。通过批量推理，您能再获得批量推理结果后进行模型评估。

#### 模型推理数据集来源

仅支持您在数据集创建时选择类型为推理集的数据集。

**自主创建推理集**：在批量推理的创建页面，支持创建数据集，进入数据集创建页面后，数据集类型选择推理集即可实现推理集的创建。您可以在数据集管理页面实现对该数据集的管理。

#### 创建推理任务
您点击创建推理任务，进入任务创建页面后，即可以对任务进行配置

*推理任务创建图

首先，您需要配置任务的基本信息，包括任务的名称和任务的描述。
基本信息配置完成后，需要选择推理数据集。需要注意的是，对于推理集的选择，您所选择的数据集的需要只有问题（输入）。意义在于让模型基于训练阶段习得的知识和模式，独立生成答案（输出）。

*数据集创建页面图

这种设计避免了答案对推理过程的干扰，真实检验模型对问题的理解、逻辑推理及生成能力，确保结果客观反映模型在实际应用中的泛化效果。
数据集选择完成后，您可以选择推理模型，平台支持选择预置的大模型和精调后的大模型，提交后即开启模型推理任务。

*推理任务列表 
### 模型评估
模型评估是通过预设的打分指标，对模型回答的准确性、安全性、逻辑性等方面进行量化分析的过程，旨在衡量模型是否满足实际应用需求。  在讯飞医疗MaaS模型训练平台中，模型评估的过程更加侧重于各模型在医疗方面的能力评估。

#### 模型评估数据集来源

您可以在创建评估任务时直接选择数据集。

*创建自动评估任务页面

在页面中，您可以直接点击选择批量推理结果，即使用您在模型推理后得到的数据，进行模型评估。

或者，您可以点击上传数据按钮，从而选择评测数据集。

*数据上传页面

在该页面中，有两种上传方式。

一种是上传推理结果集，该方式支持您上传通过其他方式处理得到的评测集，该数据集必须是csv格式，且包含三个字段：input（用户输入），target（期望结果），model_1_output（模型推理结果），支持您下载样例文件模板。该种方式不可选择模型进行推理。

另一种是上传评测集，具体介绍如下。

|来源|操作|是否支持选择模型进行推理|描述|
|:--:|:---:|:-----:|:----:|
预置数据集|点击下拉框，选择预置的数据集，预置数据集支持多选|是|预置医疗评测集：包含知识问答、信息提取、意图理解、指令遵循、住院内涵质控、门诊病历质控、诊断推荐、专科辅诊、导医导诊、文书生成和医学考试11个维度的评测集，满足用户多种模型评估需求，为您提供全面的医疗模型应用评估服务。
本地上传|点击本地上传，选择数据集。|是|您所上传的数据集，支持jsonl和csv格式，且必须包含两种字段，input（用户输入），target（标注结果）。
数据集管理中已创建完成的评测集|点击下拉框，选择相应评测集。|是|支持预先在数据集管理页面中创建评测集。进入数据集创建页面后，数据集类型选择评测集即可实现评测集的创建。您可以在数据集管理页面实现对该数据集的管理。
标注平台一键上传|点击下拉框，选择相应评测集。| - 若仅包含用户输入和标注结果的数据集：**是** - 若包含用户输入、标注结果、机器结果的数据集：**否**|目前系统支持将在讯飞医疗MaaS-标注平台中标注后的数据集一键上传至训练平台，该评测集可以在数据集管理页面中看到，数据集来源显示为：标注平台上传。

#### 评估方式选择
在模型评估的配置中，根据用户选择的评测集的不同，平台支持不同的打分方式
| 评测集       | 评估方式                | 描述                                                         | 打分指标                                                     |
| ------------ | :---------------------- | ------------------------------------------------------------ | ------------------------------------------------------------ |
| 预置评测集   | 综合评分&各能力维度评分 | 用户选择内置的数据集对模型评估时，平台支持采用综合打分制和维度打分制对模型进行评估。 | **综合评分**来自模型在全部能力维度上评分的均分。**能力维度评分**来自各能力维度下所有数据集评测后得分的均分。平台预置的医疗评测集，已经根据内容匹配到对应的能力维度。 |
| 非预置评测集 | 相似度打分              | 相似度打分是一种用于衡量预测结果与真实结果之间相似程度的量化指标。该打分方式通过将模型的输出与实际数据进行比较，最终使用ROUGE值来衡量模型评估的结果。 | **ROUGE**：在自然语言处理（NLP）任务中，ROUGE是一种常用的摘要评估指标，分值越大越好，ROUGE分值越大，表示生成的文本与参考文本的相似度越高。 |
|              | 裁判员打分              | 裁判员打分通过prompt构建裁判员模型，对推理结果进行自动打分，适用于各类医疗模型应用的评估场景 | **平均值**：所有裁判员打分的总和除以裁判员数量。该数值反映打分的总体水平，但易受极端值影响，若存在过高或过低打分，平均值可能因极端值而失真。**中位数**：将所有裁判员打分按大小排序后，位于中间位置的数值。若打分数量为偶数，则取中间两个数的平均值。该数值反映打分的集中趋势，不受极端值（过高或过低打分）影响，能较好体现裁判员打分的“中等水平”。**标准差**：衡量裁判员打分相对于平均值的离散程度，即各打分与平均值之差的平方的平均数的平方根。该数值关注数据分布的离散程度，用于评估裁判员打分的稳定性和一致性，标准差越大，说明裁判员打分差异越大，一致性越低。 |

#### 创建评估任务
在模型评估首页，点击创建自动评估，即可进入评估任务创建页面

*任务创建首页图

首先，您需要完成任务基本信息配置，包括配置评估任务对象、选填评估任务备注和选择评测集，评测集可以按照您自身的需求进行选择。

*评测集选择页面

接着，需要选择评估方法，评估方法支持多选，您可以同时选择相似度打分和裁判员打分对模型进行评估。需要注意的是，若您选择裁判员打分，您可以对Metric和steps文本框中的内容进行修改。

*裁判员打分选择框

**Metric（评估指标）**：Metric 是用于量化模型性能的具体指标，若使用预置内容，则裁判员最终所展示的是各个指标的综合得分，可以与steps结合使用。

**steps（裁判评估维度）**：默认维度包括准确性、安全性、逻辑性、实用性和合规性五大维度，若您期望添加新的维度，可以根据默认维度的格式添加新维度。

最后，点击提交后即开始模型评估，评估后的结果可以在模型列表中点击查看评估报告，即可看到评估结果。

*模型评估报告图  
### 模型蒸馏
#### 模型蒸馏数据集来源
支持选择推理数据集（点击 “创建数据集” 可新增 ）。这些数据是 “知识传递” 的载体，教师模型先在上面推理出软标签，学生模型再学习 “硬标签 + 软标签”，所以数据集质量直接影响蒸馏效果。
#### 创建蒸馏任务
在模型蒸馏界面点击创建蒸馏任务，即可进入蒸馏任务创建页面。
首先，您需要配置任务的基本信息，包括任务的名称和任务的描述。
基本信息配置完成后，需要进行蒸馏配置。包括选择推理数据集、教师模型和学生模型。
教师模型推理检验支持自动检验和人工检验。
配置完成后点击提交即可进行模型蒸馏。
模型蒸馏结束后可以在蒸馏列表查看、导出知识数据和管理服务。
点击查看，可以查看知识数据和任务详情。
点击管理服务即可跳转用量监控界面。

### 模型仓库
#### 模型仓库列表
通过模型仓库列表页面，可以查看模型的信息，包括模型名称/ID、基础模型、模型领域、创建信时间等信息。同时对创建的模型进行管理。

*模型仓库页图

在模型仓库中，您也可以点击创建模型，进入模型创建页面。

### 用量监控
点击用量监控，进入用量监控页面

在监控页面可查看模型的Token实时用量、Token历史用量、调用信息、服务接口认证信息等核心数据。

*用量监控页面图

其中
- 实时用量支持查看：
  - 调用总量tokens、输入总tokens数、输出总tokens数。
- 历史用量支持查看：
  - 不同历史时间段的Tokens使用量。
- 调用信息支持查看：
  - 模型调用的服务协议、服务协议名称、接口文档、接口地址、服务接口认证信息。
- 筛选
  
  - 用户可根据筛选条件选取开启服务的模型与服务渠道
*筛选模型图