raspberrypi

RUN LLaMA LLM on Raspberry Pi Cluster

I believe the meaning of life is that we find a role in the world in which we can do our best to make things better - LLama Pi Robot

July 22, 2023

3 分钟

最早在Raspberry Pi集群上运行MPICH的项目应该是Raspberry Pi at Southampton，教授Simon Cox和他的儿子一起搭建由64个树莓构和乐高积木构成的MPI集群，这个项目已经是10年前的了，那个时候使用的是raspberry pi 1 B+，由于1代性能的限制，整个集群只能用于MPI学习，在高性能计算方面还是欠佳。然而现在raspberry pi 4虽然对比Intel服务器而言性能还是很弱，但是运行MPICH相关的计算项目比起1代还是非常有潜力的。首先是功耗方面，64块raspberry pi 4 CPU满载运行总功耗大概400多瓦左右，其次是ARM生态比起十年前现在已经非常完善，很多的程序都已经被移植到了ARM64平台上，各种各样的工具垂手可得。

Compile Ros2 Humble for Raspberry Pi Zero W

July 16, 2023

2 分钟

raspberry pi zero w 的系统目前树莓派官方推出的镜像是armv6hf debian 11，而ROS2官方只支持ubuntu debian aarch64，不支持arm32，所以要在raspberry pi zero w上使用ROS2必须从源码构建。那么问题就在于如果直接在zero w上编译，显然因为硬件的原因(cpu: 1 core, memory: 512M)，编译将会极其缓慢，我也尝试使用armhf交叉编译工具链在aarch64系统上编译ROS源码，但是会出现系统库缺失问题。同时我还考虑到后续的开发环境和zero w原始系统环境的一致性问题，我决定采用zero w的原生debian 11 armhf系统做为rootfs，制作docker image，然后运行在aarch64系统上(比如树莓派4，jetson agx)，这样编译出来的ros2直接可以运行在zero w上，并且运行环境和编译环境都是保持一致的，这样对后续的调优以及debug处理都会非常方便。