<div dir="ltr"><div>Hi all,</div><div><br></div><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, Feb 23, 2023 at 4:00 PM Karel Gardas <karel@functional.vision> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;border-left-color:rgb(204,204,204);padding-left:1ex"><br>
Hi Prakhar,<br>
<br>
On 2/23/23 20:23, Prakhar Agrawal wrote:<br>
> I completely agree with all your points, but my rationale for <br>
> introducing the jetson nano or jetson AGX orin was because of their GPU <br>
> power.<br>
<br>
it's really nice what Nvidia achieved here, right? Unfortunately this <br>
GPU potential is fully locked up by binary driver NVidia provides only <br>
for selected number of platforms --- if not just for the only one: <br>
Linux. So very questionable how you would unlock that on RTEMS during <br>
the limited time of GSoC. Just see what Nouveau folks are doing: <br>
<a href="https://nouveau.freedesktop.org/" rel="noreferrer" target="_blank">https://nouveau.freedesktop.org/</a> -- for years and they just barely got <br>
to 3D acceleration. Just clone their git repo, see number of patches, <br>
lines of code provided and number of people involved and I think you <br>
will get an idea how mamooth task this is...<br>
<br>
> <br>
> In the case of large hobby projects or maybe the initial days of a <br>
> startup(seed ones), a real-time system that can work with boards having <br>
> good GPU can do wonders.<br>
> For example, for an autonomous vehicle L2, L3 autonomy can be achieved <br>
> using a 60W Jetson AGX orin, hence if RTEMS support is added to the <br>
> board, it might help create an awesome system to handle all the critical <br>
> time constraints necessary for the vehicle and give it the ability to <br>
> coordinate a large number of concurrent activities.<br>
<br>
If you are interested in machine vision based on AI and robotics, why <br>
not to look around for more open-source friendly solution? Recently just <br>
found i.MX 8M Plus and their claimed 2.3 TOPS NPU. Certainly not that <br>
powerful like NVidia, but NXP is historically more friendly to 3rd party <br>
OSes. Not sure about NPU, have not had a time to investigate that yet, <br>
but perhaps you do?<br>
<br>
Also, with i.MX 8M Plus you still do have a chance to use AI Vision in <br>
non-real time manner running on top of Linux and run RTEMS real-time <br>
tasks on built in Cortex-M7 -- I mean if you decide that this particular <br>
BSP may be your GSoC. :-)<br>
<br>
<a href="https://www.nxp.com/products/processors-and-microcontrollers/arm-processors/i-mx-applications-processors/i-mx-8-applications-processors/i-mx-8m-plus-arm-cortex-a53-machine-learning-vision-multimedia-and-industrial-iot:IMX8MPLUS" rel="noreferrer" target="_blank">https://www.nxp.com/products/processors-and-microcontrollers/arm-processors/i-mx-applications-processors/i-mx-8-applications-processors/i-mx-8m-plus-arm-cortex-a53-machine-learning-vision-multimedia-and-industrial-iot:IMX8MPLUS</a><br>
<br>
>> Honestly I'd rather see a new BSP for a decent RISC-V board.<br>
> <br>
> I was reading about RISC-V and their comparison with ARM SBC and in one <br>
> blog I read this - "ARM processors have benefited from a lot more <br>
> research, funding, and development than RISC-V. This means that it can <br>
> be argued that RISC-V is being left behind"<br>
<br>
Do not worry about it. RISC-V is here and will stay. A lot was already <br>
invested into it and much more will still be...<br>
<br></blockquote><div>I'm working on submitting a RISC-V BSP variant for the Kendryte K210 CPU. It's low cost and has a 1TOPS NPU. I don't think the NPU needs a binary driver, and it typically is used with FreeRTOS or bare metal.</div><div>But I do like the idea of a dual CPU system where a linux/AI processor can work with a RTOS based MCU for real time tasks.</div><div><br></div><div>Supply chain issues aside, I also am interested in the Pine64 0x64 and its multiple RISC-V CPUs. I also have been watching the VisionFive 2, which has a quad-core RISC-V CPU. The VisionFive 2 Linux support is still maturing, but it does have OpenSBI U-boot, so it might be possible to load RTEMS images over TFTP.</div><div><a href="https://www.kickstarter.com/projects/starfive/visionfive-2">https://www.kickstarter.com/projects/starfive/visionfive-2</a><br></div><div><a href="https://wiki.pine64.org/wiki/Ox64">https://wiki.pine64.org/wiki/Ox64</a><br></div><div><br></div><div>For ARM based AI systems, what about the Beaglebone AI?</div><div><a href="https://beagleboard.org/AI">https://beagleboard.org/AI</a><br></div><div><br></div><div>But, maybe a GSOC sized project related to AI would be to integrate a library such as tensorflow lite or TinyMAIX:</div><div><a href="https://github.com/sipeed/TinyMaix">https://github.com/sipeed/TinyMaix</a><br></div><div><a href="https://www.tensorflow.org/lite">https://www.tensorflow.org/lite</a><br></div><div><br></div><div>They might work with the well supported RTEMS boards like the Beaglebone black.</div><div><br></div><div>Regards,</div><div>Alan</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-style:solid;border-left-color:rgb(204,204,204);padding-left:1ex">
Karel<br>
<br>
_______________________________________________<br>
devel mailing list<br>
<a href="mailto:devel@rtems.org" target="_blank">devel@rtems.org</a><br>
<a href="http://lists.rtems.org/mailman/listinfo/devel" rel="noreferrer" target="_blank">http://lists.rtems.org/mailman/listinfo/devel</a></blockquote></div></div>