实验小项目招新：Rust组件间关系自动生成工具

[chyyuu]

Rust组件间关系自动生成工具
分析一个比较大型的Rust软件中用到的各种crate的关系，并形成基于D2文字转图形语言和mermaid文字转图形语言的crate关系描述文本。这样就可以通过D2工具和mermaid工具(github网址直接支持在线渲染成图)把crate关系描述文本转换为图形。
更进一步，还可给组件间的关系加上各种属性，比如相互调用的方法数量等信息，都可以进一步扩展。形成一种功能丰富和强大的Rust组件关系分析与生成工具。

相关链接：

• https://mermaid.js.org/
• https://github.com/terrastruct/d2
• https://mermaid.js.org/
• cargo-tree - Display a tree visualization of a dependency graph
• cargo-deps
• cargo-depgraph
• visualize_crate_graph
• cargo-guppy: track and query dependency graphs

如有兴趣一起来探索，请联系我 yuchen AT tsinghua.edu.cn OR 微信 id chyyuu

[Tim-C1]

基于cargo tree的组件依赖关系小工具

在命令行参数传入arceos的modules或crate的名称，可以生成其依赖关系

• 暂时只支持mermaid图形语言，之后加上D2支持
• 暂时只能生成1个module或者crate的依赖图
• 给依赖图增加更多属性
• windows环境未测试
• 去掉了dev-dependency的依赖关系，支持可选
• 。。。

输出结果：

~/os_projs/arceos/tools/deptool main !2 ?1 > cargo run -- axtask                                                                                                                                          10:29:21
   Compiling deptool v0.1.0 (/home/ctr/os_projs/arceos/tools/deptool)
    Finished dev [unoptimized + debuginfo] target(s) in 0.28s
     Running `/home/ctr/os_projs/arceos/target/debug/deptool axtask`
graph TD;
axtask-->axconfig
axtask-->axhal
axhal-->axconfig
axhal-->axlog
axlog-->crate_interface
axlog-->spinlock
spinlock-->kernel_guard
kernel_guard-->crate_interface
axhal-->crate_interface
axhal-->handler_table
axhal-->kernel_guard
axhal-->lazy_init
axhal-->memory_addr
axhal-->percpu
percpu-->percpu_macros
axhal-->spinlock
axtask-->crate_interface
axtask-->kernel_guard
axtask-->lazy_init
axtask-->memory_addr
axtask-->percpu
axtask-->scheduler
scheduler-->linked_list
axtask-->spinlock
axtask-->timer_list

渲染结果：

graph TD;
axtask-->axconfig
axtask-->axhal
axhal-->axconfig
axhal-->axlog
axlog-->crate_interface
axlog-->spinlock
spinlock-->kernel_guard
kernel_guard-->crate_interface
axhal-->crate_interface
axhal-->handler_table
axhal-->kernel_guard
axhal-->lazy_init
axhal-->memory_addr
axhal-->percpu
percpu-->percpu_macros
axhal-->spinlock
axtask-->crate_interface
axtask-->kernel_guard
axtask-->lazy_init
axtask-->memory_addr
axtask-->percpu
axtask-->scheduler
scheduler-->linked_list
axtask-->spinlock
axtask-->timer_list

Loading

[chyyuu]

很不错！

[chyyuu]

大家可以看看还有哪些可以改进的，一起分工来逐步扩展这个工具的功能。

[chyyuu]

@Tim-C1 站在arceos开发者的角度，有一个需求：参考 make A=apps/memtest SMP=4 LOG=info run 是可以把memtest运行起来，如果执行 make A=apps/memtest SMP=4 LOG=info dependency 则可以生成一个 graph，包含了这个应用所依赖的各种crate/module。这里需要注意 Cargo.toml中， 会有各种信息，如 crate_interface = { path = "../../../crates/crate_interface", optional = true }， libax = { path = "../../../ulib/libax", features = ["fs"] } ，包括了 optional, features等，这会影响graph的生成。

[6ziv]

我在自己fork的仓库链接中进行了一些改动，通过从Cargo.toml中读取数据来进行依赖关系的分析，并支持通过--features feature1,feature2,...的格式指定要使用的feature，并且/或者通过--no-default-features关闭默认的feature。
可以使用--from-cargo-tree来使用原来的从cargo tree的输出中分析依赖关系的方式；也可以使用--output-d2来使用d2格式进行输出。
在分析crate或者module时维持了和之前类似的命令形式。不过在分析app时需要传入app所在的目录路径，如下图所示。

在testing目录下的测试脚本会对arceos目录下的所有的crate、module以及app，只使用默认的feature进行分析，并与从cargo tree得到的分析结果进行比较。
在axfs项目上二者的结果不匹配，正在寻找原因并进行修复。

[Tim-C1]

这周写了改进了下代码，基于cargo tree的方案支持 no-default-features，指定特定features，支持apps的依赖分析，加入d2格式支持。

[Tim-C1]

这个是展示了httpserver的依赖情况：

graph TD;
arceos-httpserver-->libax
libax-->axalloc
axalloc-->allocator
allocator-->slab_allocator
axalloc-->axerrno
axalloc-->memory_addr
axalloc-->spinlock
spinlock-->kernel_guard
kernel_guard-->crate_interface
libax-->axconfig
libax-->axdriver
axdriver-->axalloc
axdriver-->axconfig
axdriver-->axhal
axhal-->axalloc
axhal-->axconfig
axhal-->axlog
axlog-->crate_interface
axlog-->spinlock
axhal-->crate_interface
axhal-->handler_table
axhal-->kernel_guard
axhal-->lazy_init
axhal-->memory_addr
axhal-->page_table
page_table-->memory_addr
page_table-->page_table_entry
page_table_entry-->memory_addr
axhal-->percpu
percpu-->percpu_macros
axhal-->spinlock
axhal-->axconfig
axdriver-->driver_common
axdriver-->driver_net
driver_net-->driver_common
axdriver-->driver_virtio
driver_virtio-->driver_common
driver_virtio-->driver_net
libax-->axerrno
libax-->axhal
libax-->axio
axio-->axerrno
libax-->axlog
libax-->axnet
axnet-->axdriver
axnet-->axerrno
axnet-->axhal
axnet-->axio
axnet-->axsync
axsync-->axtask
axtask-->axconfig
axtask-->axhal
axtask-->crate_interface
axtask-->kernel_guard
axtask-->lazy_init
axtask-->memory_addr
axtask-->percpu
axtask-->scheduler
scheduler-->linked_list
axtask-->spinlock
axtask-->timer_list
axsync-->spinlock
axnet-->axtask
axnet-->driver_net
axnet-->lazy_init
libax-->axruntime
axruntime-->axalloc
axruntime-->axconfig
axruntime-->axdriver
axruntime-->axhal
axruntime-->axlog
axruntime-->axnet
axruntime-->axtask
axruntime-->crate_interface
axruntime-->kernel_guard
axruntime-->lazy_init
axruntime-->percpu
axruntime-->spinlock
libax-->axsync
libax-->axtask
libax-->flatten_objects
libax-->spinlock
libax-->axconfig

Loading

以下是axdriver模块默认features下的情况，已经开启不同driver features的依赖情况：

./target/debug/deptool -t axdriver

graph TD;
axdriver-->driver_common

Loading

加入所有的driver features，并取消default-features:

 ./target/debug/deptool -t axdriver -d -f ramdisk,virtio-gpu,virtio-net,virtio-blk,virtio,display,net,block,bus-pci

graph TD;
axdriver-->axalloc
axalloc-->allocator
allocator-->slab_allocator
axalloc-->axerrno
axalloc-->memory_addr
axalloc-->spinlock
spinlock-->kernel_guard
kernel_guard-->crate_interface
axdriver-->axconfig
axdriver-->axhal
axhal-->axconfig
axhal-->axlog
axlog-->crate_interface
axlog-->spinlock
axhal-->crate_interface
axhal-->handler_table
axhal-->kernel_guard
axhal-->lazy_init
axhal-->memory_addr
axhal-->percpu
percpu-->percpu_macros
axhal-->spinlock
axhal-->axconfig
axdriver-->driver_block
driver_block-->driver_common
axdriver-->driver_common
axdriver-->driver_display
driver_display-->driver_common
axdriver-->driver_net
driver_net-->driver_common
axdriver-->driver_pci
axdriver-->driver_virtio
driver_virtio-->driver_block
driver_virtio-->driver_common
driver_virtio-->driver_display
driver_virtio-->driver_net

Loading

[chyyuu]

很不错！建议提交一个PR @Tim-C1

[Tim-C1]

好的，我晚点再整理一遍之后提PR

[equation314]

一些改进建议：

1. 支持 dot 格式输出
2. 分层显示依赖，区分 crates, modules, ulib
3. 调查这个项目，看是否有帮助和启发：https://github.com/jplatte/cargo-depgraph
4. 适配最近对 feature 系统的重构：https://github.com/rcore-os/arceos/tree/3886cc659781794aba4f3ae979b051e1df6fb8ee

[Tim-C1]

好的

[xrr2016]

很不错！666