microsoft · squirrelsc · Aug 5, 2019 · Jul 15, 2019 · Jul 15, 2019 · Jul 15, 2019
diff --git a/README_zh_CN.md b/README_zh_CN.md
@@ -10,10 +10,10 @@
 
 NNI (Neural Network Intelligence) 是自动机器学习（AutoML）的工具包。 它通过多种调优的算法来搜索最好的神经网络结构和（或）超参，并支持单机、本地多机、云等不同的运行环境。
 
-### **NNI [v0.9](https://github.com/Microsoft/nni/releases) 已发布！**
+### **NNI [v0.9](https://github.com/Microsoft/nni/releases) 已发布！ &nbsp;[<img width="48" src="docs/img/release_icon.png" />](#nni-released-reminder)**
 
 <p align="center">
-  <a href="#nni-v05-has-been-released"><img src="docs/img/overview.svg" /></a>
+  <a href="#nni-has-been-released"><img src="docs/img/overview.svg" /></a>
 </p>
 
 <table>
@@ -52,7 +52,7 @@ NNI (Neural Network Intelligence) 是自动机器学习（AutoML）的工具包
           <li><a href="docs/zh_CN/BuiltinTuner.md#TPE">TPE</a></li>
           <li><a href="docs/zh_CN/BuiltinTuner.md#Random">Random Search（随机搜索）</a></li>
           <li><a href="docs/zh_CN/BuiltinTuner.md#Anneal">Anneal（退火算法）</a></li>
-          <li><a href="docs/zh_CN/BuiltinTuner.md#Evolution">Naive Evolution（进化算法）</a></li>
+          <li><a href="docs/zh_CN/BuiltinTuner.md#Evolution">Naïve Evolution（进化算法）</a></li>
           <li><a href="docs/zh_CN/BuiltinTuner.md#SMAC">SMAC</a></li>
           <li><a href="docs/zh_CN/BuiltinTuner.md#Batch">Batch（批处理）</a></li>
           <li><a href="docs/zh_CN/BuiltinTuner.md#GridSearch">Grid Search（遍历搜索）</a></li>
@@ -133,7 +133,7 @@ Linux 和 macOS
 * 在 `python >= 3.5` 的环境中运行命令： `git` 和 `wget`，确保安装了这两个组件。
 
 ```bash
-    git clone -b v0.8 https://github.com/Microsoft/nni.git
+    git clone -b v0.9 https://github.com/Microsoft/nni.git
     cd nni
     source install.sh
 ```
@@ -143,7 +143,7 @@ Windows
 * 在 `python >=3.5` 的环境中运行命令： `git` 和 `PowerShell`，确保安装了这两个组件。
 
 ```bash
-  git clone -b v0.8 https://github.com/Microsoft/nni.git
+  git clone -b v0.9 https://github.com/Microsoft/nni.git
   cd nni
   powershell -ExecutionPolicy Bypass -file install.ps1
 ```
@@ -159,7 +159,7 @@ Windows 上参考 [Windows 上使用 NNI](docs/zh_CN/NniOnWindows.md)。
 * 通过克隆源代码下载示例。
 
 ```bash
-    git clone -b v0.8 https://github.com/Microsoft/nni.git
+    git clone -b v0.9 https://github.com/Microsoft/nni.git
 ```
 
 Linux 和 macOS

diff --git a/docs/zh_CN/BohbAdvisor.md b/docs/zh_CN/BohbAdvisor.md
@@ -50,7 +50,7 @@ nnictl package install --name=SMAC
 
 要使用 BOHB，需要在 Experiment 的 YAML 配置文件进行如下改动：
 
-```yml
+```yaml
 advisor:
   builtinAdvisorName: BOHB
   classArgs:

diff --git a/docs/zh_CN/BuiltinTuner.md b/docs/zh_CN/BuiltinTuner.md
@@ -11,7 +11,7 @@ NNI 提供了先进的调优算法，使用上也很简单。 下面是内置 Tu
 | [**TPE**](#TPE)                          | Tree-structured Parzen Estimator (TPE) 是一种 sequential model-based optimization（SMBO，即基于序列模型优化）的方法。 SMBO 方法根据历史指标数据来按顺序构造模型，来估算超参的性能，随后基于此模型来选择新的超参。 [参考论文](https://papers.nips.cc/paper/4443-algorithms-for-hyper-parameter-optimization.pdf)                                                 |
 | [**Random Search（随机搜索）**](#Random)       | 在超参优化时，随机搜索算法展示了其惊人的简单和效果。 建议当不清楚超参的先验分布时，采用随机搜索作为基准。 [参考论文](http://www.jmlr.org/papers/volume13/bergstra12a/bergstra12a.pdf)                                                                                                                                                                 |
 | [**Anneal（退火算法）**](#Anneal)              | 这种简单的退火算法从先前的采样开始，会越来越靠近发现的最佳点取样。 此算法是随机搜索的简单变体，利用了反应曲面的平滑性。 退火率不是自适应的。                                                                                                                                                                                                                       |
-| [**Naive Evolution（进化算法）**](#Evolution)  | 朴素进化算法来自于大规模图像分类进化。 它会基于搜索空间随机生成一个种群。 在每一代中，会选择较好的结果，并对其下一代进行一些变异（例如，改动一个超参，增加或减少一层）。 进化算法需要很多次 Trial 才能有效，但它也非常简单，也很容易扩展新功能。 [参考论文](https://arxiv.org/pdf/1703.01041.pdf)                                                                                                                    |
+| [**Naïve Evolution（进化算法）**](#Evolution)  | Naïve Evolution（朴素进化算法）来自于大规模图像分类进化。 它会基于搜索空间随机生成一个种群。 在每一代中，会选择较好的结果，并对其下一代进行一些变异（例如，改动一个超参，增加或减少一层）。 Naïve Evolution 需要很多次 Trial 才能有效，但它也非常简单，也很容易扩展新功能。 [参考论文](https://arxiv.org/pdf/1703.01041.pdf)                                                                                       |
 | [**SMAC**](#SMAC)                        | SMAC 基于 Sequential Model-Based Optimization (SMBO，即序列的基于模型优化方法)。 它利用使用过的结果好的模型（高斯随机过程模型），并将随机森林引入到 SMBO 中，来处理分类参数。 SMAC 算法包装了 Github 的 SMAC3。 注意：SMAC 需要通过 `nnictl package` 命令来安装。 [参考论文，](https://www.cs.ubc.ca/~hutter/papers/10-TR-SMAC.pdf) [Github 代码库](https://github.com/automl/SMAC3) |
 | [**Batch Tuner（批量调参器）**](#Batch)         | Batch Tuner 能让用户简单的提供几组配置（如，超参选项的组合）。 当所有配置都执行完后，Experiment 即结束。 Batch Tuner 仅支持 choice 类型。                                                                                                                                                                                                   |
 | [**Grid Search（遍历搜索）**](#GridSearch)     | Grid Search 会穷举定义在搜索空间文件中的所有超参组合。 网格搜索可以使用的类型有 choice, quniform, qloguniform。 quniform 和 qloguniform 中的数值 q 具有特别的含义（不同于搜索空间文档中的说明）。 它表示了在最高值与最低值之间采样的值的数量。                                                                                                                                    |
@@ -105,7 +105,7 @@ tuner:
 
 <a name="Evolution"></a>
 
-![](https://placehold.it/15/1589F0/000000?text=+) `Naive Evolution`
+![](https://placehold.it/15/1589F0/000000?text=+) `Naïve Evolution`
 
 > 名称：**Evolution**
 
@@ -260,7 +260,7 @@ advisor:
 
 **安装**
 
-必须先安装 [pyTorch](https://pytorch.org/get-started/locally)。
+NetworkMorphism 需要先安装 [PyTorch](https://pytorch.org/get-started/locally) 和 [Keras](https://keras.io/#installation) 才能使用。 对应的 requirements 文件在[这里](https://github.com/microsoft/nni/blob/master/examples/trials/network_morphism/requirements.txt)。
 
 **建议场景**
 
@@ -353,7 +353,7 @@ nnictl package install --name=BOHB
 
 **示例**
 
-```yml
+```yaml
 advisor:
   builtinAdvisorName: BOHB
   classArgs:

diff --git a/docs/zh_CN/CommunitySharings/HpoComparision.md b/docs/zh_CN/CommunitySharings/HpoComparision.md
@@ -34,7 +34,7 @@
 
 ### 问题描述
 
-超参搜索上的非凸问题 [AutoGBDT](../gbdt_example.md)。
+超参搜索上的非凸问题 [AutoGBDT](../GbdtExample.md)。
 
 ### 搜索空间
 

diff --git a/docs/zh_CN/EvolutionTuner.md b/docs/zh_CN/EvolutionTuner.md
@@ -1,5 +1,5 @@
-# Naive Evolution Tuner
+# Naïve Evolution Tuner
 
-## Naive Evolution（进化算法）
+## Naïve Evolution（进化算法）
 
 进化算法来自于 [Large-Scale Evolution of Image Classifiers](https://arxiv.org/pdf/1703.01041.pdf)。 它会基于搜索空间随机生成一个种群。 在每一代中，会选择较好的结果，并对其下一代进行一些变异（例如，改动一个超参，增加或减少一层）。 进化算法需要很多次 Trial 才能有效，但它也非常简单，也很容易扩展新功能。
diff --git a/docs/zh_CN/ExperimentConfig.md b/docs/zh_CN/ExperimentConfig.md
@@ -14,32 +14,36 @@
 - **简化版（不包含 Annotation（标记）和 Assessor）**
 
 ```yaml
-authorName: 
-experimentName: 
-trialConcurrency: 
-maxExecDuration: 
-maxTrialNum: 
+authorName:
+experimentName:
+trialConcurrency:
+maxExecDuration:
+maxTrialNum:
 #可选项: local, remote, pai, kubeflow
-trainingServicePlatform: 
-searchSpacePath: 
-#可选项: true, false
-useAnnotation: 
+trainingServicePlatform:
+searchSpacePath:
+#可选项: true, false, 默认值: false
+useAnnotation:
+#可选项: true, false, 默认值: false
+multiPhase:
+#可选项: true, false, 默认值: false
+multiThread:
 tuner:
   #可选项: TPE, Random, Anneal, Evolution
   builtinTunerName:
   classArgs:
     #可选项: maximize, minimize
     optimize_mode:
-  gpuNum: 
+  gpuNum:
 trial:
-  command: 
-  codeDir: 
-  gpuNum: 
+  command:
+  codeDir:
+  gpuNum:
 #在本地使用时，machineList 可为空
 machineList:
-  - ip: 
-    port: 
-    username: 
+  - ip:
+    port:
+    username:
     passwd:
 ```
 
@@ -54,8 +58,12 @@ maxTrialNum:
 #可选项: local, remote, pai, kubeflow
 trainingServicePlatform: 
 searchSpacePath: 
-#可选项: true, false
-useAnnotation: 
+#可选项: true, false, 默认值: false
+useAnnotation:
+#可选项: true, false, 默认值: false
+multiPhase:
+#可选项: true, false, 默认值: false
+multiThread:
 tuner:
   #可选项: TPE, Random, Anneal, Evolution
   builtinTunerName:
@@ -92,8 +100,12 @@ maxExecDuration:
 maxTrialNum: 
 #可选项: local, remote, pai, kubeflow
 trainingServicePlatform: 
-#可选项: true, false
-useAnnotation: 
+#可选项: true, false, 默认值: false
+useAnnotation:
+#可选项: true, false, 默认值: false
+multiPhase:
+#可选项: true, false, 默认值: false
+multiThread:
 tuner:
   #可选项: TPE, Random, Anneal, Evolution
   builtinTunerName:
@@ -204,6 +216,18 @@ machineList:
 
     注意: 如果设置了 useAnnotation=True，searchSpacePath 字段必须被删除。
 
+- **multiPhase**
+
+  - 说明
+
+    **multiPhase** 启用[多阶段 Experiment](./MultiPhase.md)。
+
+- **multiThread**
+
+  - 说明
+
+    **multiThread** 如果 multiThread 设为 `true`，可启动 Dispatcher 的多线程模式。Dispatcher 会为来自 NNI 管理器的每个命令启动一个线程。
+
 - **nniManagerIp**
 
   - 说明
@@ -230,7 +254,7 @@ machineList:
 
     **logCollection** 设置在 remote, pai, kubeflow, frameworkcontroller 平台下收集日志的方法。 日志支持两种设置，一种是通过 `http`，让 Trial 将日志通过 POST 方法发回日志，这种方法会减慢 trialKeeper 的速度。 另一种方法是 `none`，Trial 不将日志回传回来，仅仅回传 Job 的指标。 如果日志较大，可将此参数设置为 `none`。
 
-- **Tuner**
+- **tuner**
 
   - 说明
 
@@ -268,7 +292,7 @@ machineList:
 
         __gpuNum__ 指定了运行 Tuner 进程的 GPU 数量。 此字段的值必须是正整数。
 
-        注意: 只能使用一种方法来指定 Tuner，例如：设置 {tunerName, optimizationMode} 或 {tunerCommand, tunerCwd}，不能同时设置两者。
+        注意: 只能使用一种方法来指定 Tuner，例如：设置{tunerName, optimizationMode} 或 {tunerCommand, tunerCwd}，不能同时设置。
 
 
   - **includeIntermediateResults**
@@ -290,7 +314,7 @@ machineList:
 
     - **classArgs**
 
-      **classArgs** 指定了 Assessor 算法的参数
+      **classArgs** 指定了 Assessor 算法的参数。
 
   - **codeDir**, **classFileName**, **className** 和 **classArgs**
 

diff --git a/docs/zh_CN/GeneralNasInterfaces.md b/docs/zh_CN/GeneralNasInterfaces.md
@@ -50,7 +50,7 @@
 
 通过上面的 Annotation 更新 Trial 代码后，即在代码中隐式指定了神经网络架构的搜索空间。 基于该代码，NNI 将自动生成一个搜索空间文件，可作为调优算法的输入。 搜索空间文件遵循以下 JSON 格式。
 
-```json
+```javascript
 {
     "mutable_1": {
         "layer_1": {
@@ -67,7 +67,7 @@
 
 相应生成的神经网络结构（由调优算法生成）如下：
 
-```json
+```javascript
 {
     "mutable_1": {
         "layer_1": {
@@ -111,7 +111,7 @@ NNI 上的权重共享示例。
 
 One-Shot NAS 是流行的，能在有限的时间和资源预算内找到较好的神经网络结构的方法。 本质上，它会基于搜索空间来构建完整的图，并使用梯度下降最终找到最佳子图。 它有不同的训练方法，如：[training subgraphs (per mini-batch)](https://arxiv.org/abs/1802.03268) ，[training full graph through dropout](http://proceedings.mlr.press/v80/bender18a/bender18a.pdf)，以及 [training with architecture weights (regularization)](https://arxiv.org/abs/1806.09055) 。 这里会关注第一种方法，即训练子图（ENAS）。
 
-使用相同 Annotation Trial 代码，可选择 One-Shot NAS 作为执行模式。 具体来说，编译后的 Trial 代码会构建完整的图形（而不是上面演示的子图），会接收所选择的架构，并在完整的图形上对此体系结构进行小型的批处理训练，然后再请求另一个架构。 它通过 [NNI 多阶段 Experiment](./multiPhase.md) 来支持。 因为子图训练非常快，而每次启动子图训练时都会产生开销，所以采用此方法。
+使用相同 Annotation Trial 代码，可选择 One-Shot NAS 作为执行模式。 具体来说，编译后的 Trial 代码会构建完整的图形（而不是上面演示的子图），会接收所选择的架构，并在完整的图形上对此体系结构进行小型的批处理训练，然后再请求另一个架构。 通过 [NNI 多阶段 Experiment](./MultiPhase.md) 来支持。 因为子图训练非常快，而每次启动子图训练时都会产生开销，所以采用此方法。
 
 ![](../img/one-shot_training.png)
 

diff --git a/docs/zh_CN/HowToImplementTrainingService.md b/docs/zh_CN/HowToImplementTrainingService.md
@@ -8,7 +8,7 @@ TrainingService 是与平台管理、任务调度相关的模块。 TrainingServ
 
 ![](../img/NNIDesign.jpg)
 
-NNI 的架构如图所示。 NNIManager 是系统的核心管理模块，负责调用 TrainingService 来管理 Trial，并负责不同模块之间的通信。 Dispatcher 是消息处理中心。 TrainingService 是管理任务的模块，它和 NNIManager 通信，并且根据平台的特点有不同的实现。 当前，NNI 支持本机，[远程平台](RemoteMachineMode.md)，[OpenPAI 平台](PaiMode.md)，[Kubeflow 平台](KubeflowMode.md) 以及 [FrameworkController 平台](FrameworkController.md)。
+NNI 的架构如图所示。 NNIManager 是系统的核心管理模块，负责调用 TrainingService 来管理 Trial，并负责不同模块之间的通信。 Dispatcher 是消息处理中心。 TrainingService 是管理任务的模块，它和 NNIManager 通信，并且根据平台的特点有不同的实现。 当前，NNI 支持本机，[远程平台](RemoteMachineMode.md)，[OpenPAI 平台](PaiMode.md)，[Kubeflow 平台](KubeflowMode.md) 以及 [FrameworkController 平台](FrameworkControllerMode.md)。
 
 本文中，会介绍 TrainingService 的简要设计。 如果要添加新的 TrainingService，只需要继承 TrainingServcie 类并实现相应的方法，不需要理解NNIManager、Dispatcher 等其它模块的细节。
 

diff --git a/docs/zh_CN/Nnictl.md b/docs/zh_CN/Nnictl.md
@@ -374,8 +374,14 @@ nnictl 支持的命令：
   * 用法
 
     ```bash
-    nnictl experiment list
+    nnictl experiment list [OPTIONS]
     ```
+
+  * 选项
+
+  | 参数及缩写 | 是否必需  | 默认值 | 说明              |
+  | ----- | ----- | --- | --------------- |
+  | --all | False |     | 列出所有 Experiment |
 
 * **nnictl experiment delete**
 
@@ -391,9 +397,10 @@ nnictl 支持的命令：
 
   * 选项
 
-  | 参数及缩写 | 是否必需  | 默认值 | 说明            |
-  | ----- | ----- | --- | ------------- |
-  | id    | False |     | Experiment ID |
+  | 参数及缩写 | 是否必需  | 默认值 | 说明              |
+  | ----- | ----- | --- | --------------- |
+  | id    | False |     | Experiment ID   |
+  | --all | False |     | 删除所有 Experiment |
 
 <a name="export"></a>
 
@@ -462,7 +469,7 @@ nnictl 支持的命令：
 
     当前，以下 Tuner 和 Advisor 支持导入数据：
 
-    ```yml
+    ```yaml
     内置 Tuner: TPE, Anneal, GridSearch, MetisTuner
     内置 Advisor: BOHB
     ```

diff --git a/docs/zh_CN/Overview.md b/docs/zh_CN/Overview.md
@@ -51,7 +51,7 @@ Experiment 的运行过程为：Tuner 接收搜索空间并生成配置。 这
 * [如何为 NNI 调整代码？](Trials.md)
 * [NNI 支持哪些 Tuner？](BuiltinTuner.md)
 * [如何自定义 Tuner？](CustomizeTuner.md)
-* [NNI 支持哪些 Assessor？](BuiltinAssessors.md)
+* [NNI 支持哪些 Assessor？](BuiltinAssessor.md)
 * [如何自定义 Assessor？](CustomizeAssessor.md)
 * [如何在本机上运行 Experiment？](LocalMode.md)
 * [如何在多机上运行 Experiment？](RemoteMachineMode.md)

diff --git a/docs/zh_CN/QuickStart.md b/docs/zh_CN/QuickStart.md
@@ -54,18 +54,17 @@ if __name__ == '__main__':
 
 NNI 用来帮助超参调优。它的流程如下：
 
-```pseudo
-输入: 搜索空间, Trial 代码, 配置文件
-输出: 一组最佳的超参配置
-
-1: For t = 0, 1, 2, ..., maxTrialNum,
-2:      hyperparameter = 从搜索空间选择一组参数
-3:      final result = run_trial_and_evaluate(hyperparameter)
-4:      返回最终结果给 NNI
-5:      If 时间达到上限,
-6:          停止实验
-7: return 最好的实验结果
-```
+    输入: 搜索空间, Trial 代码, 配置文件
+    输出: 一组最佳的超参配置
+
+    1: For t = 0, 1, 2, ..., maxTrialNum,
+    2:      hyperparameter = 从搜索空间选择一组参数
+    3:      final result = run_trial_and_evaluate(hyperparameter)
+    4:      返回最终结果给 NNI
+    5:      If 时间达到上限,
+    6:          停止实验
+    7: return 最好的实验结果
+
 
 如果需要使用 NNI 来自动训练模型，找到最佳超参，需要如下三步：
 
@@ -247,7 +246,7 @@ Experiment 相关信息会显示在界面上，配置和搜索空间等。 可
 ## 相关主题
 
 * [尝试不同的 Tuner](BuiltinTuner.md)
-* [尝试不同的 Assessor](BuiltinAssessors.md)
+* [尝试不同的 Assessor](BuiltinAssessor.md)
 * [使用命令行工具 nnictl](Nnictl.md)
 * [如何编写 Trial 代码](Trials.md)
 * [如何在本机运行 Experiment (支持多 GPU 卡)？](LocalMode.md)