<div dir="auto"><div><br><div class="gmail_extra"><br><div class="gmail_quote">On Jun 11, 2017 1:14 PM, "Cillian O'Donnell" <<a href="mailto:cpodonnell8@gmail.com">cpodonnell8@gmail.com</a>> wrote:<br type="attribution"><blockquote class="quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class="quoted-text">>You might should hand check hello on all the bsps. I recall that some do not have a way for the bsp to "reset" the board and exit back to Linux. The tests run but since qemu doesn't exit at RTEMS shutdown, you have to timeout.<br>
<br>
</div>Actually I've already done this and that is the exact problem I'm<br>
running into, almost all of the bsps hang on 'end of test hello world'<br>
and I have to exit it myself.<br>
<br>
*** BEGIN OF TEST HELLO WORLD ***<br>
Hello World<br>
*** END OF TEST HELLO WORLD ***<br>
qemu: terminating on signal 2<br>
<br>
The only exceptions is lm32/milkymist bsp with:<br>
<br>
qemu-system-lm32 -no-reboot -monitor null -serial stdio -nographic<br>
-net none -M milkymist -kernel<br>
$HOME/development/rtems/<wbr>milkymist/lm32-rtems4.12/c/<wbr>milkymist/testsuites/samples/<wbr>hello/hello.exe<br>
audio: Could not init `oss' audio driver<br>
Warning: nic milkymist-minimac2.0 has no peer<br>
<br>
and PowerPC/qemuprep with:<br>
<br>
qemu-system-ppc -no-reboot -monitor null -serial stdio -nographic -net<br>
none -M prep -kernel<br>
$HOME/development/rtems/<wbr>qemuprep/powerpc-rtems4.12/c/<wbr>qemuprep/testsuites/samples/<wbr>hello/hello.exe<br>
register PCI host 'pci-bridge' 'pci' '<null>' 'PREP Host PCI Bridge -<br>
Motorola Raven'<br>
register 'pci-bridge' 'pci' '<null>' 'PREP Host PCI Bridge - Motorola<br>
Raven' 0x80000000 in 'device-tree' 0xffffffff<br>
Done 582b000 582b880<br>
PCI device '<null>' 0 11 0 has no reg properties:<br>
PCI device '<null>' 0 11 0 has no assigned addresses properties:<br>
register pci device 'Qemu VGA' 0000000d 'display' 'VGA' 'Qemu VGA'<br>
register 'Qemu VGA' 'display' 'VGA' 'Qemu VGA' 0x0000000d in<br>
'pci-bridge' 0x80000000<br>
Done 582b880 582b980<br>
PCI device 'Qemu VGA' 0 13 0 reg properties:<br>
  addr: 82006810 00000000 f0000000 size: 00000000 01000000<br>
  addr: 82006818 00000000 f1000000 size: 00000000 00010000<br>
PCI device 'Qemu VGA' 0 13 0 assigned addresses properties:<br>
  addr: 82006810 00000000 f0000000 size: 00000000 01000000<br>
  addr: 82006818 00000000 f1000000 size: 00000000 00010000<br>
PPC Open Hack'Ware BIOS for qemu version 0.4.1<br>
Build 2014-07-04 15:23:25<br>
Copyright 2003-2005 Jocelyn Mayer<br>
<br>
Memory size: 128 MB.<br>
Booting from device m<br>
ide0: drive 0: none<br>
ide0: drive 1: none<br>
ide1: drive 0: CD-ROM<br>
ERROR: OF_property_copy cannot get property 'cd' for aliases<br>
ERROR: ATAPI TEST_UNIT_READY : status 58 != 0x08<br>
ERROR: ATAPI TEST_UNIT_READY : status 41 != 0x40<br>
ide1: drive 1: none<br>
Probe partitions for device m<br>
ERROR: No MSDOS signature (38 0 0 0)<br>
Use bloc device as raw partition<br>
Boot partition: 0 9401fff8 9401fff8 0<br>
ERROR: OF_property_copy cannot get property 'alias' for <null><br>
boot device: 5832000 image 1000000 size 4599176<br>
ERROR: No MSDOS signature (7f 45 0 0)<br>
Use bloc device as raw partition<br>
Boot partition: 0 9401fff8 9401fff8 0<br>
boot device: 5832000<br>
ERROR: Found no boot partition!<br>
ERROR: BUG caught...<br>
BIOS execution exception<br>
nip=0x05800000 msr=0x00002000 dar=0x00000000 dsisr=0x00000000<br>
Stopping execution<br>
qemu: terminating on signal 2<br>
<div class="quoted-text"><br>
<br>
> But if it turns out that not exiting is the issue, that's a separate problem and you should file a ticket a few move along.<br>
<br>
<br>
</div>Ok, so I should try and fix the above 2, file a ticket for the rest<br>
and then move on to the RSB work?<br></blockquote></div></div></div><div dir="auto"><br></div><div dir="auto">File individual tickets on the bsps with unique failures on qemu. And one to cover the "no exit" case. I know Chris has been hesitant to look at test output and kill tests but I think it is necessary unless you can find a way to make qemu automatically exit from the BSP. </div><div dir="auto"><br></div><div dir="auto">Anyway, you have two BSPs which work well enough to continue on with the framework. Think of it as a skyscraper with only some floors ready for occupancy. We need the building finished before anyone can move in but we can finish the interior on some floors later. :)</div><div dir="auto"><br></div><div dir="auto"><div class="gmail_extra"><div class="gmail_quote"><blockquote class="quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div class="elided-text"><br>
On 11 June 2017 at 18:12, Joel Sherrill <<a href="mailto:joel@rtems.org">joel@rtems.org</a>> wrote:<br>
><br>
><br>
> On Jun 11, 2017 4:13 AM, "Cillian O'Donnell" <<a href="mailto:cpodonnell8@gmail.com">cpodonnell8@gmail.com</a>> wrote:<br>
><br>
>> Does pc386 look similar?<br>
><br>
><br>
> I haven't been able to get a decent set of results for PC386. For<br>
> RSB-Qemu all the tests time out. Using command<br>
><br>
> qemu-system-i386 -m 128 -boot b -hda path_to/rtems-boot.img -no-reboot<br>
> -monitor null -serial stdio -nographic -append "--console=com1;boot;"<br>
><br>
> ----------------<br>
><br>
>     RSB-QEMU<br>
><br>
> -----------------<br>
> --------------<br>
>     SAMPLES<br>
> --------------<br>
> Passed:         0<br>
> Failed:         0<br>
> User Input:     0<br>
> Expected Fail:  0<br>
> Indeterminate:  0<br>
> Benchmark:      0<br>
> Timeout:       13<br>
> Invalid:        0<br>
> Total:         13<br>
> Average test time: 0:01:09.359520<br>
> Testing time     : 0:15:01.673760<br>
><br>
> ------------------------------<wbr>------------------------<br>
><br>
> For Couverture-Qemu  I ran the whole test suite which took 7 hours and<br>
> it decided a lot of them passed, although they probably should have<br>
> timed out. For hello.exe they both take 3 minutes, RSB-Qemu times out<br>
> and Couverture-qemu passes it.<br>
><br>
> ------------------------------<wbr>-------<br>
><br>
> COUVERTURE-QEMU<br>
><br>
> ------------------------------<wbr>-------<br>
><br>
> --------------<br>
>     SAMPLES<br>
> --------------<br>
><br>
> Passed:         9<br>
> Failed:         0<br>
> User Input:     1<br>
> Expected Fail:  0<br>
> Indeterminate:  0<br>
> Benchmark:      0<br>
> Timeout:        2<br>
> Invalid:        1<br>
> Total:         13<br>
> Average test time: 0:00:14.133522<br>
> Testing time     : 0:03:03.735787<br>
><br>
> ------------<br>
>     FULL<br>
> ------------<br>
><br>
> Passed:        485<br>
> Failed:          0<br>
> User Input:      4<br>
> Expected Fail:   0<br>
> Indeterminate:   0<br>
> Benchmark:       3<br>
> Timeout:        74<br>
> Invalid:         0<br>
> Total:         566<br>
> Average test time: 0:00:44.922802<br>
> Testing time     : 7:03:46.305933<br>
><br>
> ------------------------------<wbr>------------------------<br>
><br>
>> Are there other qemu bsps?<br>
><br>
> There are a few other rtems BSPS that seem to have a corresponding<br>
> machine that is supported by both qemu varaints. I had been hoping to<br>
> test all of these. But again all tests time out for RSB-Qemu and<br>
> Couverture-Qemu. I can't seem to find any qemu options to prevent<br>
> this. Should I keep testing and see can I get all of these working?<br>
><br>
> ARM: lm3s6965evb<br>
><br>
> LM32:  lm32-evr, milkymist<br>
><br>
> MIPS: malta<br>
><br>
> POWERPC: prep (qemuprep)<br>
><br>
><br>
> You might should hand check hello on all the bsps. I recall that some do not<br>
> have a way for the bsp to "reset" the board and exit back to Linux. The<br>
> tests run but since qemu doesn't exit at RTEMS shutdown, you have to<br>
> timeout.<br>
><br>
> The sim-scripts covered this up watching the log file for "END OF TEST" and<br>
> killing the simulator.<br>
><br>
> But if it turns out that not exiting is the issue, that's a separate problem<br>
> and you should file a ticket a few move along.<br>
><br>
><br>
><br>
> On 10 June 2017 at 19:35, Joel Sherrill <<a href="mailto:joel@rtems.org">joel@rtems.org</a>> wrote:<br>
>> I would expect them to be the same. Couverture is a mild fork by AdaCore<br>
>> focused on embedded targets and coverage. They periodically debase and<br>
>> carefully apply patches. They are interested in those two targets. :)<br>
>><br>
>> Does pc386 look similar? Are there other qemu bsps?<br>
>><br>
>> I guess this means it is almost time to look at switching the rsb<br>
>><br>
>> On Jun 10, 2017 1:25 PM, "Cillian O'Donnell" <<a href="mailto:cpodonnell8@gmail.com">cpodonnell8@gmail.com</a>><br>
>> wrote:<br>
>><br>
>> Hi,<br>
>><br>
>> I'm testing Couverture-Qemu against the RSB-Qemu to check if it is<br>
>> working correctly. So far I have good results for ARM bsps<br>
>> xilinx_zynq_a9_qemu and realview_pbx_a9_qemu and Sparc Leon3. They<br>
>> show identical results for the samples and almost identical results<br>
>> for the full testsuite. They just need a slight change in qemu options<br>
>> to agree (results at the end).<br>
>><br>
>> ****************************<br>
>>         COMMON BSPS<br>
>> ****************************<br>
>><br>
>> ARM:<br>
>>     xilinx-zynq-a9<br>
>>     realview-pbx-a9<br>
>>     lm3s6965evb<br>
>><br>
>> i386:<br>
>>     pc (default PC386)<br>
>><br>
>> LM32:<br>
>>     lm32-evr (default)<br>
>>     milkymist<br>
>><br>
>> MIPS:<br>
>>     malta (default)<br>
>><br>
>> POWERPC:<br>
>>     prep<br>
>><br>
>> SPARC:<br>
>>     leon3_generic<br>
>><br>
>><br>
>> I created <a href="http://bsp_qemu.mc" rel="noreferrer" target="_blank">bsp_qemu.mc</a> files for any missing bsps from RTEMS Tester.<br>
>> However the other bsps mostly timeout, this is true for Qemu and<br>
>> Couverture-qemu so they are reacting the same way. Exceptions are<br>
>> PC386 runs on Couverture-qemu but not on regular Qemu. I haven't been<br>
>> able to find the right qemu options to get rid of the timeouts and the<br>
>> --report-mode=all feature of rtems-test doesn't turn up any other info<br>
>> as to why except for powerpc/qemuprep.<br>
>><br>
>> So are the following results enough to verify Couverture-qemu or<br>
>> should I keep going trying to get the others to work too before doing<br>
>> the RSB support?<br>
>><br>
>> ***********************<br>
>>         Leon 3<br>
>> ***********************<br>
>><br>
>> qemu-system-sparc -no-reboot -monitor null -serial stdio -nographic<br>
>> -net none -M leon3_generic -kernel...<br>
>><br>
>> --------------------------<br>
>><br>
>>     COUVERTURE-QEMU<br>
>><br>
>> --------------------------<br>
>><br>
>> ---------------<br>
>>     SAMPLES<br>
>> ---------------<br>
>><br>
>><br>
>> Passed:        11<br>
>> Failed:         0<br>
>> User Input:     1<br>
>> Expected Fail:  0<br>
>> Indeterminate:  0<br>
>> Benchmark:      0<br>
>> Timeout:        0<br>
>> Invalid:        1<br>
>> Total:         13<br>
>> Average test time: 0:00:03.679456<br>
>> Testing time     : 0:00:47.832933<br>
>><br>
>> -------------<br>
>>     FULL<br>
>> -------------<br>
>><br>
>> Passed:        543<br>
>> Failed:          3<br>
>> User Input:      4<br>
>> Expected Fail:   0<br>
>> Indeterminate:   0<br>
>> Benchmark:       3<br>
>> Timeout:         9<br>
>> Invalid:         3<br>
>> Total:         565<br>
>> Average test time: 0:00:01.693401<br>
>> Testing time     : 0:15:56.771872<br>
>><br>
>> ---------------------------<br>
>><br>
>>         RSB-QEMU<br>
>><br>
>> ---------------------------<br>
>><br>
>> ---------------<br>
>>     SAMPLES<br>
>> ---------------<br>
>><br>
>><br>
>> Passed:        11<br>
>> Failed:         0<br>
>> User Input:     1<br>
>> Expected Fail:  0<br>
>> Indeterminate:  0<br>
>> Benchmark:      0<br>
>> Timeout:        0<br>
>> Invalid:        1<br>
>> Total:         13<br>
>> Average test time: 0:00:03.679446<br>
>> Testing time     : 0:00:47.832800<br>
>><br>
>> -------------<br>
>>     FULL<br>
>> -------------<br>
>><br>
>> Passed:        544<br>
>> Failed:          2<br>
>> User Input:      4<br>
>> Expected Fail:   0<br>
>> Indeterminate:   0<br>
>> Benchmark:       3<br>
>> Timeout:         9<br>
>> Invalid:         3<br>
>> Total:         565<br>
>> Average test time: 0:00:01.739428<br>
>> Testing time     : 0:16:22.777222<br>
>><br>
>> *****************************<br>
>><br>
>>     xilinx_zynq_a9_qemu<br>
>><br>
>> *****************************<br>
>><br>
>> qemu-system-arm -no-reboot -monitor null -serial stdio -nographic -M<br>
>> xilinx-zynq-a9 -kernel...<br>
>><br>
>> ----------------------------<br>
>><br>
>>     COUVERTURE-QEMU<br>
>><br>
>> ----------------------------<br>
>><br>
>> ---------------<br>
>>     SAMPLES<br>
>> ---------------<br>
>><br>
>><br>
>> Passed:        11<br>
>> Failed:         0<br>
>> User Input:     1<br>
>> Expected Fail:  0<br>
>> Indeterminate:  0<br>
>> Benchmark:      0<br>
>> Timeout:        0<br>
>> Invalid:        1<br>
>> Total:         13<br>
>> Average test time: 0:00:00.559658<br>
>> Testing time     : 0:00:07.275561<br>
>><br>
>> -------------<br>
>>     FULL<br>
>> -------------<br>
>><br>
>> Passed:        551<br>
>> Failed:          5<br>
>> User Input:      4<br>
>> Expected Fail:   0<br>
>> Indeterminate:   0<br>
>> Benchmark:       3<br>
>> Timeout:         2<br>
>> Invalid:         1<br>
>> Total:         566<br>
>> Average test time: 0:00:00.652736<br>
>> Testing time     : 0:06:09.448995<br>
>><br>
>><br>
>> ------------------<br>
>><br>
>>     RSB-QEMU<br>
>><br>
>> ------------------<br>
>><br>
>> qemu-system-arm -no-reboot -serial null -serial mon:stdio -nographic<br>
>> -M xilinx-zynq-a9 -kernel...<br>
>><br>
>> ---------------<br>
>>     SAMPLES<br>
>> ---------------<br>
>><br>
>> Passed:        11<br>
>> Failed:         0<br>
>> User Input:     1<br>
>> Expected Fail:  0<br>
>> Indeterminate:  0<br>
>> Benchmark:      0<br>
>> Timeout:        0<br>
>> Invalid:        1<br>
>> Total:         13<br>
>> Average test time: 0:00:00.560756<br>
>> Testing time     : 0:00:07.289829<br>
>><br>
>> -------------<br>
>>     FULL<br>
>> -------------<br>
>><br>
>> Passed:        545<br>
>> Failed:          4<br>
>> User Input:      4<br>
>> Expected Fail:   0<br>
>> Indeterminate:   0<br>
>> Benchmark:       3<br>
>> Timeout:         9<br>
>> Invalid:         1<br>
>> Total:         566<br>
>> Average test time: 0:00:01.168632<br>
>> Testing time     : 0:11:01.445923<br>
>><br>
>><br>
>> ******************************<wbr>***<br>
>><br>
>>     realview_pbx_a9_qemu<br>
>><br>
>> ******************************<wbr>***<br>
>> --------------------------<br>
>><br>
>>         RSB-QEMU<br>
>><br>
>> --------------------------<br>
>><br>
>> qemu-system-arm -no-reboot -monitor null -serial stdio -nographic -M<br>
>> realview-pbx-a9 -kernel...<br>
>><br>
>> ---------------<br>
>>     SAMPLES<br>
>> ---------------<br>
>><br>
>> Passed:        11<br>
>> Failed:         0<br>
>> User Input:     1<br>
>> Expected Fail:  0<br>
>> Indeterminate:  0<br>
>> Benchmark:      0<br>
>> Timeout:        0<br>
>> Invalid:        1<br>
>> Total:         13<br>
>> Average test time: 0:00:01.656712<br>
>> Testing time     : 0:00:21.537256<br>
>><br>
>> --------------<br>
>>     FULL<br>
>> --------------<br>
>><br>
>> Passed:        547<br>
>> Failed:          3<br>
>> User Input:      4<br>
>> Expected Fail:   0<br>
>> Indeterminate:   0<br>
>> Benchmark:       3<br>
>> Timeout:         8<br>
>> Invalid:         1<br>
>> Total:         566<br>
>> Average test time: 0:00:01.175699<br>
>> Testing time     : 0:11:05.445813<br>
>><br>
>> ------------------------<br>
>><br>
>>     COUVERTURE-QEMU<br>
>><br>
>> ------------------------<br>
>><br>
>> qemu-system-arm -no-reboot -monitor null -serial stdio -nographic -M<br>
>> realview-pbx-a9 -kernel...<br>
>><br>
>> ---------------<br>
>>     SAMPLES<br>
>> ---------------<br>
>><br>
>><br>
>> Passed:        11<br>
>> Failed:         0<br>
>> User Input:     1<br>
>> Expected Fail:  0<br>
>> Indeterminate:  0<br>
>> Benchmark:      0<br>
>> Timeout:        0<br>
>> Invalid:        1<br>
>> Total:         13<br>
>> Average test time: 0:00:00.617387<br>
>> Testing time     : 0:00:08.026043<br>
>><br>
>> --------------<br>
>>     FULL<br>
>> --------------<br>
>><br>
>> Passed:        553<br>
>> Failed:          4<br>
>> User Input:      4<br>
>> Expected Fail:   0<br>
>> Indeterminate:   0<br>
>> Benchmark:       3<br>
>> Timeout:         1<br>
>> Invalid:         1<br>
>> Total:         566<br>
>> Average test time: 0:00:00.671176<br>
>> Testing time     : 0:06:19.886106<br>
>><br>
>><br>
><br>
><br>
</div></blockquote></div><br></div></div></div>