target/arm: Implement BFMOPA, BFMOPS
Signed-off-by: Richard Henderson <richard.henderson@linaro.org> Message-id: 20220708151540.18136-26-richard.henderson@linaro.org Signed-off-by: Peter Maydell <peter.maydell@linaro.org> Reviewed-by: Peter Maydell <peter.maydell@linaro.org>
This commit is contained in:
parent
558e956c71
commit
920f640d39
|
@ -125,3 +125,5 @@ DEF_HELPER_FLAGS_7(sme_fmopa_s, TCG_CALL_NO_RWG,
|
|||
void, ptr, ptr, ptr, ptr, ptr, ptr, i32)
|
||||
DEF_HELPER_FLAGS_7(sme_fmopa_d, TCG_CALL_NO_RWG,
|
||||
void, ptr, ptr, ptr, ptr, ptr, ptr, i32)
|
||||
DEF_HELPER_FLAGS_6(sme_bfmopa, TCG_CALL_NO_RWG,
|
||||
void, ptr, ptr, ptr, ptr, ptr, i32)
|
||||
|
|
|
@ -73,3 +73,5 @@ ADDVA_d 11000000 11 01000 1 ... ... ..... 00 ... @adda_64
|
|||
|
||||
FMOPA_s 10000000 100 ..... ... ... ..... . 00 .. @op_32
|
||||
FMOPA_d 10000000 110 ..... ... ... ..... . 0 ... @op_64
|
||||
|
||||
BFMOPA 10000001 100 ..... ... ... ..... . 00 .. @op_32
|
||||
|
|
|
@ -987,3 +987,59 @@ void HELPER(sme_fmopa_d)(void *vza, void *vzn, void *vzm, void *vpn,
|
|||
}
|
||||
}
|
||||
}
|
||||
|
||||
/*
|
||||
* Alter PAIR as needed for controlling predicates being false,
|
||||
* and for NEG on an enabled row element.
|
||||
*/
|
||||
static inline uint32_t f16mop_adj_pair(uint32_t pair, uint32_t pg, uint32_t neg)
|
||||
{
|
||||
/*
|
||||
* The pseudocode uses a conditional negate after the conditional zero.
|
||||
* It is simpler here to unconditionally negate before conditional zero.
|
||||
*/
|
||||
pair ^= neg;
|
||||
if (!(pg & 1)) {
|
||||
pair &= 0xffff0000u;
|
||||
}
|
||||
if (!(pg & 4)) {
|
||||
pair &= 0x0000ffffu;
|
||||
}
|
||||
return pair;
|
||||
}
|
||||
|
||||
void HELPER(sme_bfmopa)(void *vza, void *vzn, void *vzm, void *vpn,
|
||||
void *vpm, uint32_t desc)
|
||||
{
|
||||
intptr_t row, col, oprsz = simd_maxsz(desc);
|
||||
uint32_t neg = simd_data(desc) * 0x80008000u;
|
||||
uint16_t *pn = vpn, *pm = vpm;
|
||||
|
||||
for (row = 0; row < oprsz; ) {
|
||||
uint16_t prow = pn[H2(row >> 4)];
|
||||
do {
|
||||
void *vza_row = vza + tile_vslice_offset(row);
|
||||
uint32_t n = *(uint32_t *)(vzn + H1_4(row));
|
||||
|
||||
n = f16mop_adj_pair(n, prow, neg);
|
||||
|
||||
for (col = 0; col < oprsz; ) {
|
||||
uint16_t pcol = pm[H2(col >> 4)];
|
||||
do {
|
||||
if (prow & pcol & 0b0101) {
|
||||
uint32_t *a = vza_row + H1_4(col);
|
||||
uint32_t m = *(uint32_t *)(vzm + H1_4(col));
|
||||
|
||||
m = f16mop_adj_pair(m, pcol, 0);
|
||||
*a = bfdotadd(*a, n, m);
|
||||
|
||||
col += 4;
|
||||
pcol >>= 4;
|
||||
}
|
||||
} while (col & 15);
|
||||
}
|
||||
row += 4;
|
||||
prow >>= 4;
|
||||
} while (row & 15);
|
||||
}
|
||||
}
|
||||
|
|
|
@ -299,6 +299,33 @@ TRANS_FEAT(ADDVA_s, aa64_sme, do_adda, a, MO_32, gen_helper_sme_addva_s)
|
|||
TRANS_FEAT(ADDHA_d, aa64_sme_i16i64, do_adda, a, MO_64, gen_helper_sme_addha_d)
|
||||
TRANS_FEAT(ADDVA_d, aa64_sme_i16i64, do_adda, a, MO_64, gen_helper_sme_addva_d)
|
||||
|
||||
static bool do_outprod(DisasContext *s, arg_op *a, MemOp esz,
|
||||
gen_helper_gvec_5 *fn)
|
||||
{
|
||||
int svl = streaming_vec_reg_size(s);
|
||||
uint32_t desc = simd_desc(svl, svl, a->sub);
|
||||
TCGv_ptr za, zn, zm, pn, pm;
|
||||
|
||||
if (!sme_smza_enabled_check(s)) {
|
||||
return true;
|
||||
}
|
||||
|
||||
/* Sum XZR+zad to find ZAd. */
|
||||
za = get_tile_rowcol(s, esz, 31, a->zad, false);
|
||||
zn = vec_full_reg_ptr(s, a->zn);
|
||||
zm = vec_full_reg_ptr(s, a->zm);
|
||||
pn = pred_full_reg_ptr(s, a->pn);
|
||||
pm = pred_full_reg_ptr(s, a->pm);
|
||||
|
||||
fn(za, zn, zm, pn, pm, tcg_constant_i32(desc));
|
||||
|
||||
tcg_temp_free_ptr(za);
|
||||
tcg_temp_free_ptr(zn);
|
||||
tcg_temp_free_ptr(pn);
|
||||
tcg_temp_free_ptr(pm);
|
||||
return true;
|
||||
}
|
||||
|
||||
static bool do_outprod_fpst(DisasContext *s, arg_op *a, MemOp esz,
|
||||
gen_helper_gvec_5_ptr *fn)
|
||||
{
|
||||
|
@ -330,3 +357,6 @@ static bool do_outprod_fpst(DisasContext *s, arg_op *a, MemOp esz,
|
|||
|
||||
TRANS_FEAT(FMOPA_s, aa64_sme, do_outprod_fpst, a, MO_32, gen_helper_sme_fmopa_s)
|
||||
TRANS_FEAT(FMOPA_d, aa64_sme_f64f64, do_outprod_fpst, a, MO_64, gen_helper_sme_fmopa_d)
|
||||
|
||||
/* TODO: FEAT_EBF16 */
|
||||
TRANS_FEAT(BFMOPA, aa64_sme, do_outprod, a, MO_32, gen_helper_sme_bfmopa)
|
||||
|
|
Loading…
Reference in New Issue