<div dir="auto"><div><br><div class="gmail_extra"><br><div class="gmail_quote">On Jun 11, 2017 4:13 AM, "Cillian O'Donnell" <<a href="mailto:cpodonnell8@gmail.com">cpodonnell8@gmail.com</a>> wrote:<br type="attribution"><blockquote class="quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">> Does pc386 look similar?<br>
<br>
<br>
I haven't been able to get a decent set of results for PC386. For<br>
RSB-Qemu all the tests time out. Using command<br>
<br>
qemu-system-i386 -m 128 -boot b -hda path_to/rtems-boot.img -no-reboot<br>
-monitor null -serial stdio -nographic -append "--console=com1;boot;"<br>
<br>
----------------<br>
<br>
    RSB-QEMU<br>
<br>
-----------------<br>
--------------<br>
    SAMPLES<br>
--------------<br>
Passed:         0<br>
Failed:         0<br>
User Input:     0<br>
<div class="quoted-text">Expected Fail:  0<br>
Indeterminate:  0<br>
Benchmark:      0<br>
</div>Timeout:       13<br>
Invalid:        0<br>
Total:         13<br>
Average test time: 0:01:09.359520<br>
Testing time     : 0:15:01.673760<br>
<br>
------------------------------<wbr>------------------------<br>
<br>
For Couverture-Qemu  I ran the whole test suite which took 7 hours and<br>
it decided a lot of them passed, although they probably should have<br>
timed out. For hello.exe they both take 3 minutes, RSB-Qemu times out<br>
and Couverture-qemu passes it.<br>
<br>
------------------------------<wbr>-------<br>
<br>
COUVERTURE-QEMU<br>
<br>
------------------------------<wbr>-------<br>
<br>
--------------<br>
    SAMPLES<br>
--------------<br>
<br>
Passed:         9<br>
<div class="quoted-text">Failed:         0<br>
User Input:     1<br>
Expected Fail:  0<br>
Indeterminate:  0<br>
Benchmark:      0<br>
</div>Timeout:        2<br>
Invalid:        1<br>
Total:         13<br>
Average test time: 0:00:14.133522<br>
Testing time     : 0:03:03.735787<br>
<br>
------------<br>
    FULL<br>
------------<br>
<br>
Passed:        485<br>
Failed:          0<br>
<div class="quoted-text">User Input:      4<br>
Expected Fail:   0<br>
Indeterminate:   0<br>
Benchmark:       3<br>
</div>Timeout:        74<br>
Invalid:         0<br>
Total:         566<br>
Average test time: 0:00:44.922802<br>
Testing time     : 7:03:46.305933<br>
<br>
------------------------------<wbr>------------------------<br>
<div class="quoted-text"><br>
> Are there other qemu bsps?<br>
<br>
</div>There are a few other rtems BSPS that seem to have a corresponding<br>
machine that is supported by both qemu varaints. I had been hoping to<br>
test all of these. But again all tests time out for RSB-Qemu and<br>
Couverture-Qemu. I can't seem to find any qemu options to prevent<br>
this. Should I keep testing and see can I get all of these working?<br>
<br>
ARM: lm3s6965evb<br>
<br>
LM32:  lm32-evr, milkymist<br>
<br>
MIPS: malta<br>
<br>
POWERPC: prep (qemuprep)<br></blockquote></div></div></div><div dir="auto"><br></div><div dir="auto">You might should hand check hello on all the bsps. I recall that some do not have a way for the bsp to "reset" the board and exit back to Linux. The tests run but since qemu doesn't exit at RTEMS shutdown, you have to timeout.</div><div dir="auto"><br></div><div dir="auto">The sim-scripts covered this up watching the log file for "END OF TEST" and killing the simulator.</div><div dir="auto"><br></div><div dir="auto">But if it turns out that not exiting is the issue, that's a separate problem and you should file a ticket a few move along.</div><div dir="auto"><div class="gmail_extra"><div class="gmail_quote"><blockquote class="quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<div class="elided-text"><br>
<br>
On 10 June 2017 at 19:35, Joel Sherrill <<a href="mailto:joel@rtems.org">joel@rtems.org</a>> wrote:<br>
> I would expect them to be the same. Couverture is a mild fork by AdaCore<br>
> focused on embedded targets and coverage. They periodically debase and<br>
> carefully apply patches. They are interested in those two targets. :)<br>
><br>
> Does pc386 look similar? Are there other qemu bsps?<br>
><br>
> I guess this means it is almost time to look at switching the rsb<br>
><br>
> On Jun 10, 2017 1:25 PM, "Cillian O'Donnell" <<a href="mailto:cpodonnell8@gmail.com">cpodonnell8@gmail.com</a>> wrote:<br>
><br>
> Hi,<br>
><br>
> I'm testing Couverture-Qemu against the RSB-Qemu to check if it is<br>
> working correctly. So far I have good results for ARM bsps<br>
> xilinx_zynq_a9_qemu and realview_pbx_a9_qemu and Sparc Leon3. They<br>
> show identical results for the samples and almost identical results<br>
> for the full testsuite. They just need a slight change in qemu options<br>
> to agree (results at the end).<br>
><br>
> ****************************<br>
>         COMMON BSPS<br>
> ****************************<br>
><br>
> ARM:<br>
>     xilinx-zynq-a9<br>
>     realview-pbx-a9<br>
>     lm3s6965evb<br>
><br>
> i386:<br>
>     pc (default PC386)<br>
><br>
> LM32:<br>
>     lm32-evr (default)<br>
>     milkymist<br>
><br>
> MIPS:<br>
>     malta (default)<br>
><br>
> POWERPC:<br>
>     prep<br>
><br>
> SPARC:<br>
>     leon3_generic<br>
><br>
><br>
> I created <a href="http://bsp_qemu.mc" rel="noreferrer" target="_blank">bsp_qemu.mc</a> files for any missing bsps from RTEMS Tester.<br>
> However the other bsps mostly timeout, this is true for Qemu and<br>
> Couverture-qemu so they are reacting the same way. Exceptions are<br>
> PC386 runs on Couverture-qemu but not on regular Qemu. I haven't been<br>
> able to find the right qemu options to get rid of the timeouts and the<br>
> --report-mode=all feature of rtems-test doesn't turn up any other info<br>
> as to why except for powerpc/qemuprep.<br>
><br>
> So are the following results enough to verify Couverture-qemu or<br>
> should I keep going trying to get the others to work too before doing<br>
> the RSB support?<br>
><br>
> ***********************<br>
>         Leon 3<br>
> ***********************<br>
><br>
> qemu-system-sparc -no-reboot -monitor null -serial stdio -nographic<br>
> -net none -M leon3_generic -kernel...<br>
><br>
> --------------------------<br>
><br>
>     COUVERTURE-QEMU<br>
><br>
> --------------------------<br>
><br>
> ---------------<br>
>     SAMPLES<br>
> ---------------<br>
><br>
><br>
> Passed:        11<br>
> Failed:         0<br>
> User Input:     1<br>
> Expected Fail:  0<br>
> Indeterminate:  0<br>
> Benchmark:      0<br>
> Timeout:        0<br>
> Invalid:        1<br>
> Total:         13<br>
> Average test time: 0:00:03.679456<br>
> Testing time     : 0:00:47.832933<br>
><br>
> -------------<br>
>     FULL<br>
> -------------<br>
><br>
> Passed:        543<br>
> Failed:          3<br>
> User Input:      4<br>
> Expected Fail:   0<br>
> Indeterminate:   0<br>
> Benchmark:       3<br>
> Timeout:         9<br>
> Invalid:         3<br>
> Total:         565<br>
> Average test time: 0:00:01.693401<br>
> Testing time     : 0:15:56.771872<br>
><br>
> ---------------------------<br>
><br>
>         RSB-QEMU<br>
><br>
> ---------------------------<br>
><br>
> ---------------<br>
>     SAMPLES<br>
> ---------------<br>
><br>
><br>
> Passed:        11<br>
> Failed:         0<br>
> User Input:     1<br>
> Expected Fail:  0<br>
> Indeterminate:  0<br>
> Benchmark:      0<br>
> Timeout:        0<br>
> Invalid:        1<br>
> Total:         13<br>
> Average test time: 0:00:03.679446<br>
> Testing time     : 0:00:47.832800<br>
><br>
> -------------<br>
>     FULL<br>
> -------------<br>
><br>
> Passed:        544<br>
> Failed:          2<br>
> User Input:      4<br>
> Expected Fail:   0<br>
> Indeterminate:   0<br>
> Benchmark:       3<br>
> Timeout:         9<br>
> Invalid:         3<br>
> Total:         565<br>
> Average test time: 0:00:01.739428<br>
> Testing time     : 0:16:22.777222<br>
><br>
> *****************************<br>
><br>
>     xilinx_zynq_a9_qemu<br>
><br>
> *****************************<br>
><br>
> qemu-system-arm -no-reboot -monitor null -serial stdio -nographic -M<br>
> xilinx-zynq-a9 -kernel...<br>
><br>
> ----------------------------<br>
><br>
>     COUVERTURE-QEMU<br>
><br>
> ----------------------------<br>
><br>
> ---------------<br>
>     SAMPLES<br>
> ---------------<br>
><br>
><br>
> Passed:        11<br>
> Failed:         0<br>
> User Input:     1<br>
> Expected Fail:  0<br>
> Indeterminate:  0<br>
> Benchmark:      0<br>
> Timeout:        0<br>
> Invalid:        1<br>
> Total:         13<br>
> Average test time: 0:00:00.559658<br>
> Testing time     : 0:00:07.275561<br>
><br>
> -------------<br>
>     FULL<br>
> -------------<br>
><br>
> Passed:        551<br>
> Failed:          5<br>
> User Input:      4<br>
> Expected Fail:   0<br>
> Indeterminate:   0<br>
> Benchmark:       3<br>
> Timeout:         2<br>
> Invalid:         1<br>
> Total:         566<br>
> Average test time: 0:00:00.652736<br>
> Testing time     : 0:06:09.448995<br>
><br>
><br>
> ------------------<br>
><br>
>     RSB-QEMU<br>
><br>
> ------------------<br>
><br>
> qemu-system-arm -no-reboot -serial null -serial mon:stdio -nographic<br>
> -M xilinx-zynq-a9 -kernel...<br>
><br>
> ---------------<br>
>     SAMPLES<br>
> ---------------<br>
><br>
> Passed:        11<br>
> Failed:         0<br>
> User Input:     1<br>
> Expected Fail:  0<br>
> Indeterminate:  0<br>
> Benchmark:      0<br>
> Timeout:        0<br>
> Invalid:        1<br>
> Total:         13<br>
> Average test time: 0:00:00.560756<br>
> Testing time     : 0:00:07.289829<br>
><br>
> -------------<br>
>     FULL<br>
> -------------<br>
><br>
> Passed:        545<br>
> Failed:          4<br>
> User Input:      4<br>
> Expected Fail:   0<br>
> Indeterminate:   0<br>
> Benchmark:       3<br>
> Timeout:         9<br>
> Invalid:         1<br>
> Total:         566<br>
> Average test time: 0:00:01.168632<br>
> Testing time     : 0:11:01.445923<br>
><br>
><br>
> ******************************<wbr>***<br>
><br>
>     realview_pbx_a9_qemu<br>
><br>
> ******************************<wbr>***<br>
> --------------------------<br>
><br>
>         RSB-QEMU<br>
><br>
> --------------------------<br>
><br>
> qemu-system-arm -no-reboot -monitor null -serial stdio -nographic -M<br>
> realview-pbx-a9 -kernel...<br>
><br>
> ---------------<br>
>     SAMPLES<br>
> ---------------<br>
><br>
> Passed:        11<br>
> Failed:         0<br>
> User Input:     1<br>
> Expected Fail:  0<br>
> Indeterminate:  0<br>
> Benchmark:      0<br>
> Timeout:        0<br>
> Invalid:        1<br>
> Total:         13<br>
> Average test time: 0:00:01.656712<br>
> Testing time     : 0:00:21.537256<br>
><br>
> --------------<br>
>     FULL<br>
> --------------<br>
><br>
> Passed:        547<br>
> Failed:          3<br>
> User Input:      4<br>
> Expected Fail:   0<br>
> Indeterminate:   0<br>
> Benchmark:       3<br>
> Timeout:         8<br>
> Invalid:         1<br>
> Total:         566<br>
> Average test time: 0:00:01.175699<br>
> Testing time     : 0:11:05.445813<br>
><br>
> ------------------------<br>
><br>
>     COUVERTURE-QEMU<br>
><br>
> ------------------------<br>
><br>
> qemu-system-arm -no-reboot -monitor null -serial stdio -nographic -M<br>
> realview-pbx-a9 -kernel...<br>
><br>
> ---------------<br>
>     SAMPLES<br>
> ---------------<br>
><br>
><br>
> Passed:        11<br>
> Failed:         0<br>
> User Input:     1<br>
> Expected Fail:  0<br>
> Indeterminate:  0<br>
> Benchmark:      0<br>
> Timeout:        0<br>
> Invalid:        1<br>
> Total:         13<br>
> Average test time: 0:00:00.617387<br>
> Testing time     : 0:00:08.026043<br>
><br>
> --------------<br>
>     FULL<br>
> --------------<br>
><br>
> Passed:        553<br>
> Failed:          4<br>
> User Input:      4<br>
> Expected Fail:   0<br>
> Indeterminate:   0<br>
> Benchmark:       3<br>
> Timeout:         1<br>
> Invalid:         1<br>
> Total:         566<br>
> Average test time: 0:00:00.671176<br>
> Testing time     : 0:06:19.886106<br>
><br>
><br>
</div></blockquote></div><br></div></div></div>