forked from Qortal/Brooklyn
You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
2062 lines
46 KiB
2062 lines
46 KiB
/* SPDX-License-Identifier: GPL-2.0 OR MIT */ |
|
/* |
|
* Copyright (C) 2015-2019 Jason A. Donenfeld <Jason@zx2c4.com>. All Rights Reserved. |
|
* |
|
* Based on public domain code from Daniel J. Bernstein and Peter Schwabe. This |
|
* began from SUPERCOP's curve25519/neon2/scalarmult.s, but has subsequently been |
|
* manually reworked for use in kernel space. |
|
*/ |
|
|
|
#include <linux/linkage.h> |
|
|
|
.text |
|
.arch armv7-a |
|
.fpu neon |
|
.align 4 |
|
|
|
ENTRY(curve25519_neon) |
|
push {r4-r11, lr} |
|
mov ip, sp |
|
sub r3, sp, #704 |
|
and r3, r3, #0xfffffff0 |
|
mov sp, r3 |
|
movw r4, #0 |
|
movw r5, #254 |
|
vmov.i32 q0, #1 |
|
vshr.u64 q1, q0, #7 |
|
vshr.u64 q0, q0, #8 |
|
vmov.i32 d4, #19 |
|
vmov.i32 d5, #38 |
|
add r6, sp, #480 |
|
vst1.8 {d2-d3}, [r6, : 128]! |
|
vst1.8 {d0-d1}, [r6, : 128]! |
|
vst1.8 {d4-d5}, [r6, : 128] |
|
add r6, r3, #0 |
|
vmov.i32 q2, #0 |
|
vst1.8 {d4-d5}, [r6, : 128]! |
|
vst1.8 {d4-d5}, [r6, : 128]! |
|
vst1.8 d4, [r6, : 64] |
|
add r6, r3, #0 |
|
movw r7, #960 |
|
sub r7, r7, #2 |
|
neg r7, r7 |
|
sub r7, r7, r7, LSL #7 |
|
str r7, [r6] |
|
add r6, sp, #672 |
|
vld1.8 {d4-d5}, [r1]! |
|
vld1.8 {d6-d7}, [r1] |
|
vst1.8 {d4-d5}, [r6, : 128]! |
|
vst1.8 {d6-d7}, [r6, : 128] |
|
sub r1, r6, #16 |
|
ldrb r6, [r1] |
|
and r6, r6, #248 |
|
strb r6, [r1] |
|
ldrb r6, [r1, #31] |
|
and r6, r6, #127 |
|
orr r6, r6, #64 |
|
strb r6, [r1, #31] |
|
vmov.i64 q2, #0xffffffff |
|
vshr.u64 q3, q2, #7 |
|
vshr.u64 q2, q2, #6 |
|
vld1.8 {d8}, [r2] |
|
vld1.8 {d10}, [r2] |
|
add r2, r2, #6 |
|
vld1.8 {d12}, [r2] |
|
vld1.8 {d14}, [r2] |
|
add r2, r2, #6 |
|
vld1.8 {d16}, [r2] |
|
add r2, r2, #4 |
|
vld1.8 {d18}, [r2] |
|
vld1.8 {d20}, [r2] |
|
add r2, r2, #6 |
|
vld1.8 {d22}, [r2] |
|
add r2, r2, #2 |
|
vld1.8 {d24}, [r2] |
|
vld1.8 {d26}, [r2] |
|
vshr.u64 q5, q5, #26 |
|
vshr.u64 q6, q6, #3 |
|
vshr.u64 q7, q7, #29 |
|
vshr.u64 q8, q8, #6 |
|
vshr.u64 q10, q10, #25 |
|
vshr.u64 q11, q11, #3 |
|
vshr.u64 q12, q12, #12 |
|
vshr.u64 q13, q13, #38 |
|
vand q4, q4, q2 |
|
vand q6, q6, q2 |
|
vand q8, q8, q2 |
|
vand q10, q10, q2 |
|
vand q2, q12, q2 |
|
vand q5, q5, q3 |
|
vand q7, q7, q3 |
|
vand q9, q9, q3 |
|
vand q11, q11, q3 |
|
vand q3, q13, q3 |
|
add r2, r3, #48 |
|
vadd.i64 q12, q4, q1 |
|
vadd.i64 q13, q10, q1 |
|
vshr.s64 q12, q12, #26 |
|
vshr.s64 q13, q13, #26 |
|
vadd.i64 q5, q5, q12 |
|
vshl.i64 q12, q12, #26 |
|
vadd.i64 q14, q5, q0 |
|
vadd.i64 q11, q11, q13 |
|
vshl.i64 q13, q13, #26 |
|
vadd.i64 q15, q11, q0 |
|
vsub.i64 q4, q4, q12 |
|
vshr.s64 q12, q14, #25 |
|
vsub.i64 q10, q10, q13 |
|
vshr.s64 q13, q15, #25 |
|
vadd.i64 q6, q6, q12 |
|
vshl.i64 q12, q12, #25 |
|
vadd.i64 q14, q6, q1 |
|
vadd.i64 q2, q2, q13 |
|
vsub.i64 q5, q5, q12 |
|
vshr.s64 q12, q14, #26 |
|
vshl.i64 q13, q13, #25 |
|
vadd.i64 q14, q2, q1 |
|
vadd.i64 q7, q7, q12 |
|
vshl.i64 q12, q12, #26 |
|
vadd.i64 q15, q7, q0 |
|
vsub.i64 q11, q11, q13 |
|
vshr.s64 q13, q14, #26 |
|
vsub.i64 q6, q6, q12 |
|
vshr.s64 q12, q15, #25 |
|
vadd.i64 q3, q3, q13 |
|
vshl.i64 q13, q13, #26 |
|
vadd.i64 q14, q3, q0 |
|
vadd.i64 q8, q8, q12 |
|
vshl.i64 q12, q12, #25 |
|
vadd.i64 q15, q8, q1 |
|
add r2, r2, #8 |
|
vsub.i64 q2, q2, q13 |
|
vshr.s64 q13, q14, #25 |
|
vsub.i64 q7, q7, q12 |
|
vshr.s64 q12, q15, #26 |
|
vadd.i64 q14, q13, q13 |
|
vadd.i64 q9, q9, q12 |
|
vtrn.32 d12, d14 |
|
vshl.i64 q12, q12, #26 |
|
vtrn.32 d13, d15 |
|
vadd.i64 q0, q9, q0 |
|
vadd.i64 q4, q4, q14 |
|
vst1.8 d12, [r2, : 64]! |
|
vshl.i64 q6, q13, #4 |
|
vsub.i64 q7, q8, q12 |
|
vshr.s64 q0, q0, #25 |
|
vadd.i64 q4, q4, q6 |
|
vadd.i64 q6, q10, q0 |
|
vshl.i64 q0, q0, #25 |
|
vadd.i64 q8, q6, q1 |
|
vadd.i64 q4, q4, q13 |
|
vshl.i64 q10, q13, #25 |
|
vadd.i64 q1, q4, q1 |
|
vsub.i64 q0, q9, q0 |
|
vshr.s64 q8, q8, #26 |
|
vsub.i64 q3, q3, q10 |
|
vtrn.32 d14, d0 |
|
vshr.s64 q1, q1, #26 |
|
vtrn.32 d15, d1 |
|
vadd.i64 q0, q11, q8 |
|
vst1.8 d14, [r2, : 64] |
|
vshl.i64 q7, q8, #26 |
|
vadd.i64 q5, q5, q1 |
|
vtrn.32 d4, d6 |
|
vshl.i64 q1, q1, #26 |
|
vtrn.32 d5, d7 |
|
vsub.i64 q3, q6, q7 |
|
add r2, r2, #16 |
|
vsub.i64 q1, q4, q1 |
|
vst1.8 d4, [r2, : 64] |
|
vtrn.32 d6, d0 |
|
vtrn.32 d7, d1 |
|
sub r2, r2, #8 |
|
vtrn.32 d2, d10 |
|
vtrn.32 d3, d11 |
|
vst1.8 d6, [r2, : 64] |
|
sub r2, r2, #24 |
|
vst1.8 d2, [r2, : 64] |
|
add r2, r3, #96 |
|
vmov.i32 q0, #0 |
|
vmov.i64 d2, #0xff |
|
vmov.i64 d3, #0 |
|
vshr.u32 q1, q1, #7 |
|
vst1.8 {d2-d3}, [r2, : 128]! |
|
vst1.8 {d0-d1}, [r2, : 128]! |
|
vst1.8 d0, [r2, : 64] |
|
add r2, r3, #144 |
|
vmov.i32 q0, #0 |
|
vst1.8 {d0-d1}, [r2, : 128]! |
|
vst1.8 {d0-d1}, [r2, : 128]! |
|
vst1.8 d0, [r2, : 64] |
|
add r2, r3, #240 |
|
vmov.i32 q0, #0 |
|
vmov.i64 d2, #0xff |
|
vmov.i64 d3, #0 |
|
vshr.u32 q1, q1, #7 |
|
vst1.8 {d2-d3}, [r2, : 128]! |
|
vst1.8 {d0-d1}, [r2, : 128]! |
|
vst1.8 d0, [r2, : 64] |
|
add r2, r3, #48 |
|
add r6, r3, #192 |
|
vld1.8 {d0-d1}, [r2, : 128]! |
|
vld1.8 {d2-d3}, [r2, : 128]! |
|
vld1.8 {d4}, [r2, : 64] |
|
vst1.8 {d0-d1}, [r6, : 128]! |
|
vst1.8 {d2-d3}, [r6, : 128]! |
|
vst1.8 d4, [r6, : 64] |
|
.Lmainloop: |
|
mov r2, r5, LSR #3 |
|
and r6, r5, #7 |
|
ldrb r2, [r1, r2] |
|
mov r2, r2, LSR r6 |
|
and r2, r2, #1 |
|
str r5, [sp, #456] |
|
eor r4, r4, r2 |
|
str r2, [sp, #460] |
|
neg r2, r4 |
|
add r4, r3, #96 |
|
add r5, r3, #192 |
|
add r6, r3, #144 |
|
vld1.8 {d8-d9}, [r4, : 128]! |
|
add r7, r3, #240 |
|
vld1.8 {d10-d11}, [r5, : 128]! |
|
veor q6, q4, q5 |
|
vld1.8 {d14-d15}, [r6, : 128]! |
|
vdup.i32 q8, r2 |
|
vld1.8 {d18-d19}, [r7, : 128]! |
|
veor q10, q7, q9 |
|
vld1.8 {d22-d23}, [r4, : 128]! |
|
vand q6, q6, q8 |
|
vld1.8 {d24-d25}, [r5, : 128]! |
|
vand q10, q10, q8 |
|
vld1.8 {d26-d27}, [r6, : 128]! |
|
veor q4, q4, q6 |
|
vld1.8 {d28-d29}, [r7, : 128]! |
|
veor q5, q5, q6 |
|
vld1.8 {d0}, [r4, : 64] |
|
veor q6, q7, q10 |
|
vld1.8 {d2}, [r5, : 64] |
|
veor q7, q9, q10 |
|
vld1.8 {d4}, [r6, : 64] |
|
veor q9, q11, q12 |
|
vld1.8 {d6}, [r7, : 64] |
|
veor q10, q0, q1 |
|
sub r2, r4, #32 |
|
vand q9, q9, q8 |
|
sub r4, r5, #32 |
|
vand q10, q10, q8 |
|
sub r5, r6, #32 |
|
veor q11, q11, q9 |
|
sub r6, r7, #32 |
|
veor q0, q0, q10 |
|
veor q9, q12, q9 |
|
veor q1, q1, q10 |
|
veor q10, q13, q14 |
|
veor q12, q2, q3 |
|
vand q10, q10, q8 |
|
vand q8, q12, q8 |
|
veor q12, q13, q10 |
|
veor q2, q2, q8 |
|
veor q10, q14, q10 |
|
veor q3, q3, q8 |
|
vadd.i32 q8, q4, q6 |
|
vsub.i32 q4, q4, q6 |
|
vst1.8 {d16-d17}, [r2, : 128]! |
|
vadd.i32 q6, q11, q12 |
|
vst1.8 {d8-d9}, [r5, : 128]! |
|
vsub.i32 q4, q11, q12 |
|
vst1.8 {d12-d13}, [r2, : 128]! |
|
vadd.i32 q6, q0, q2 |
|
vst1.8 {d8-d9}, [r5, : 128]! |
|
vsub.i32 q0, q0, q2 |
|
vst1.8 d12, [r2, : 64] |
|
vadd.i32 q2, q5, q7 |
|
vst1.8 d0, [r5, : 64] |
|
vsub.i32 q0, q5, q7 |
|
vst1.8 {d4-d5}, [r4, : 128]! |
|
vadd.i32 q2, q9, q10 |
|
vst1.8 {d0-d1}, [r6, : 128]! |
|
vsub.i32 q0, q9, q10 |
|
vst1.8 {d4-d5}, [r4, : 128]! |
|
vadd.i32 q2, q1, q3 |
|
vst1.8 {d0-d1}, [r6, : 128]! |
|
vsub.i32 q0, q1, q3 |
|
vst1.8 d4, [r4, : 64] |
|
vst1.8 d0, [r6, : 64] |
|
add r2, sp, #512 |
|
add r4, r3, #96 |
|
add r5, r3, #144 |
|
vld1.8 {d0-d1}, [r2, : 128] |
|
vld1.8 {d2-d3}, [r4, : 128]! |
|
vld1.8 {d4-d5}, [r5, : 128]! |
|
vzip.i32 q1, q2 |
|
vld1.8 {d6-d7}, [r4, : 128]! |
|
vld1.8 {d8-d9}, [r5, : 128]! |
|
vshl.i32 q5, q1, #1 |
|
vzip.i32 q3, q4 |
|
vshl.i32 q6, q2, #1 |
|
vld1.8 {d14}, [r4, : 64] |
|
vshl.i32 q8, q3, #1 |
|
vld1.8 {d15}, [r5, : 64] |
|
vshl.i32 q9, q4, #1 |
|
vmul.i32 d21, d7, d1 |
|
vtrn.32 d14, d15 |
|
vmul.i32 q11, q4, q0 |
|
vmul.i32 q0, q7, q0 |
|
vmull.s32 q12, d2, d2 |
|
vmlal.s32 q12, d11, d1 |
|
vmlal.s32 q12, d12, d0 |
|
vmlal.s32 q12, d13, d23 |
|
vmlal.s32 q12, d16, d22 |
|
vmlal.s32 q12, d7, d21 |
|
vmull.s32 q10, d2, d11 |
|
vmlal.s32 q10, d4, d1 |
|
vmlal.s32 q10, d13, d0 |
|
vmlal.s32 q10, d6, d23 |
|
vmlal.s32 q10, d17, d22 |
|
vmull.s32 q13, d10, d4 |
|
vmlal.s32 q13, d11, d3 |
|
vmlal.s32 q13, d13, d1 |
|
vmlal.s32 q13, d16, d0 |
|
vmlal.s32 q13, d17, d23 |
|
vmlal.s32 q13, d8, d22 |
|
vmull.s32 q1, d10, d5 |
|
vmlal.s32 q1, d11, d4 |
|
vmlal.s32 q1, d6, d1 |
|
vmlal.s32 q1, d17, d0 |
|
vmlal.s32 q1, d8, d23 |
|
vmull.s32 q14, d10, d6 |
|
vmlal.s32 q14, d11, d13 |
|
vmlal.s32 q14, d4, d4 |
|
vmlal.s32 q14, d17, d1 |
|
vmlal.s32 q14, d18, d0 |
|
vmlal.s32 q14, d9, d23 |
|
vmull.s32 q11, d10, d7 |
|
vmlal.s32 q11, d11, d6 |
|
vmlal.s32 q11, d12, d5 |
|
vmlal.s32 q11, d8, d1 |
|
vmlal.s32 q11, d19, d0 |
|
vmull.s32 q15, d10, d8 |
|
vmlal.s32 q15, d11, d17 |
|
vmlal.s32 q15, d12, d6 |
|
vmlal.s32 q15, d13, d5 |
|
vmlal.s32 q15, d19, d1 |
|
vmlal.s32 q15, d14, d0 |
|
vmull.s32 q2, d10, d9 |
|
vmlal.s32 q2, d11, d8 |
|
vmlal.s32 q2, d12, d7 |
|
vmlal.s32 q2, d13, d6 |
|
vmlal.s32 q2, d14, d1 |
|
vmull.s32 q0, d15, d1 |
|
vmlal.s32 q0, d10, d14 |
|
vmlal.s32 q0, d11, d19 |
|
vmlal.s32 q0, d12, d8 |
|
vmlal.s32 q0, d13, d17 |
|
vmlal.s32 q0, d6, d6 |
|
add r2, sp, #480 |
|
vld1.8 {d18-d19}, [r2, : 128]! |
|
vmull.s32 q3, d16, d7 |
|
vmlal.s32 q3, d10, d15 |
|
vmlal.s32 q3, d11, d14 |
|
vmlal.s32 q3, d12, d9 |
|
vmlal.s32 q3, d13, d8 |
|
vld1.8 {d8-d9}, [r2, : 128] |
|
vadd.i64 q5, q12, q9 |
|
vadd.i64 q6, q15, q9 |
|
vshr.s64 q5, q5, #26 |
|
vshr.s64 q6, q6, #26 |
|
vadd.i64 q7, q10, q5 |
|
vshl.i64 q5, q5, #26 |
|
vadd.i64 q8, q7, q4 |
|
vadd.i64 q2, q2, q6 |
|
vshl.i64 q6, q6, #26 |
|
vadd.i64 q10, q2, q4 |
|
vsub.i64 q5, q12, q5 |
|
vshr.s64 q8, q8, #25 |
|
vsub.i64 q6, q15, q6 |
|
vshr.s64 q10, q10, #25 |
|
vadd.i64 q12, q13, q8 |
|
vshl.i64 q8, q8, #25 |
|
vadd.i64 q13, q12, q9 |
|
vadd.i64 q0, q0, q10 |
|
vsub.i64 q7, q7, q8 |
|
vshr.s64 q8, q13, #26 |
|
vshl.i64 q10, q10, #25 |
|
vadd.i64 q13, q0, q9 |
|
vadd.i64 q1, q1, q8 |
|
vshl.i64 q8, q8, #26 |
|
vadd.i64 q15, q1, q4 |
|
vsub.i64 q2, q2, q10 |
|
vshr.s64 q10, q13, #26 |
|
vsub.i64 q8, q12, q8 |
|
vshr.s64 q12, q15, #25 |
|
vadd.i64 q3, q3, q10 |
|
vshl.i64 q10, q10, #26 |
|
vadd.i64 q13, q3, q4 |
|
vadd.i64 q14, q14, q12 |
|
add r2, r3, #288 |
|
vshl.i64 q12, q12, #25 |
|
add r4, r3, #336 |
|
vadd.i64 q15, q14, q9 |
|
add r2, r2, #8 |
|
vsub.i64 q0, q0, q10 |
|
add r4, r4, #8 |
|
vshr.s64 q10, q13, #25 |
|
vsub.i64 q1, q1, q12 |
|
vshr.s64 q12, q15, #26 |
|
vadd.i64 q13, q10, q10 |
|
vadd.i64 q11, q11, q12 |
|
vtrn.32 d16, d2 |
|
vshl.i64 q12, q12, #26 |
|
vtrn.32 d17, d3 |
|
vadd.i64 q1, q11, q4 |
|
vadd.i64 q4, q5, q13 |
|
vst1.8 d16, [r2, : 64]! |
|
vshl.i64 q5, q10, #4 |
|
vst1.8 d17, [r4, : 64]! |
|
vsub.i64 q8, q14, q12 |
|
vshr.s64 q1, q1, #25 |
|
vadd.i64 q4, q4, q5 |
|
vadd.i64 q5, q6, q1 |
|
vshl.i64 q1, q1, #25 |
|
vadd.i64 q6, q5, q9 |
|
vadd.i64 q4, q4, q10 |
|
vshl.i64 q10, q10, #25 |
|
vadd.i64 q9, q4, q9 |
|
vsub.i64 q1, q11, q1 |
|
vshr.s64 q6, q6, #26 |
|
vsub.i64 q3, q3, q10 |
|
vtrn.32 d16, d2 |
|
vshr.s64 q9, q9, #26 |
|
vtrn.32 d17, d3 |
|
vadd.i64 q1, q2, q6 |
|
vst1.8 d16, [r2, : 64] |
|
vshl.i64 q2, q6, #26 |
|
vst1.8 d17, [r4, : 64] |
|
vadd.i64 q6, q7, q9 |
|
vtrn.32 d0, d6 |
|
vshl.i64 q7, q9, #26 |
|
vtrn.32 d1, d7 |
|
vsub.i64 q2, q5, q2 |
|
add r2, r2, #16 |
|
vsub.i64 q3, q4, q7 |
|
vst1.8 d0, [r2, : 64] |
|
add r4, r4, #16 |
|
vst1.8 d1, [r4, : 64] |
|
vtrn.32 d4, d2 |
|
vtrn.32 d5, d3 |
|
sub r2, r2, #8 |
|
sub r4, r4, #8 |
|
vtrn.32 d6, d12 |
|
vtrn.32 d7, d13 |
|
vst1.8 d4, [r2, : 64] |
|
vst1.8 d5, [r4, : 64] |
|
sub r2, r2, #24 |
|
sub r4, r4, #24 |
|
vst1.8 d6, [r2, : 64] |
|
vst1.8 d7, [r4, : 64] |
|
add r2, r3, #240 |
|
add r4, r3, #96 |
|
vld1.8 {d0-d1}, [r4, : 128]! |
|
vld1.8 {d2-d3}, [r4, : 128]! |
|
vld1.8 {d4}, [r4, : 64] |
|
add r4, r3, #144 |
|
vld1.8 {d6-d7}, [r4, : 128]! |
|
vtrn.32 q0, q3 |
|
vld1.8 {d8-d9}, [r4, : 128]! |
|
vshl.i32 q5, q0, #4 |
|
vtrn.32 q1, q4 |
|
vshl.i32 q6, q3, #4 |
|
vadd.i32 q5, q5, q0 |
|
vadd.i32 q6, q6, q3 |
|
vshl.i32 q7, q1, #4 |
|
vld1.8 {d5}, [r4, : 64] |
|
vshl.i32 q8, q4, #4 |
|
vtrn.32 d4, d5 |
|
vadd.i32 q7, q7, q1 |
|
vadd.i32 q8, q8, q4 |
|
vld1.8 {d18-d19}, [r2, : 128]! |
|
vshl.i32 q10, q2, #4 |
|
vld1.8 {d22-d23}, [r2, : 128]! |
|
vadd.i32 q10, q10, q2 |
|
vld1.8 {d24}, [r2, : 64] |
|
vadd.i32 q5, q5, q0 |
|
add r2, r3, #192 |
|
vld1.8 {d26-d27}, [r2, : 128]! |
|
vadd.i32 q6, q6, q3 |
|
vld1.8 {d28-d29}, [r2, : 128]! |
|
vadd.i32 q8, q8, q4 |
|
vld1.8 {d25}, [r2, : 64] |
|
vadd.i32 q10, q10, q2 |
|
vtrn.32 q9, q13 |
|
vadd.i32 q7, q7, q1 |
|
vadd.i32 q5, q5, q0 |
|
vtrn.32 q11, q14 |
|
vadd.i32 q6, q6, q3 |
|
add r2, sp, #528 |
|
vadd.i32 q10, q10, q2 |
|
vtrn.32 d24, d25 |
|
vst1.8 {d12-d13}, [r2, : 128]! |
|
vshl.i32 q6, q13, #1 |
|
vst1.8 {d20-d21}, [r2, : 128]! |
|
vshl.i32 q10, q14, #1 |
|
vst1.8 {d12-d13}, [r2, : 128]! |
|
vshl.i32 q15, q12, #1 |
|
vadd.i32 q8, q8, q4 |
|
vext.32 d10, d31, d30, #0 |
|
vadd.i32 q7, q7, q1 |
|
vst1.8 {d16-d17}, [r2, : 128]! |
|
vmull.s32 q8, d18, d5 |
|
vmlal.s32 q8, d26, d4 |
|
vmlal.s32 q8, d19, d9 |
|
vmlal.s32 q8, d27, d3 |
|
vmlal.s32 q8, d22, d8 |
|
vmlal.s32 q8, d28, d2 |
|
vmlal.s32 q8, d23, d7 |
|
vmlal.s32 q8, d29, d1 |
|
vmlal.s32 q8, d24, d6 |
|
vmlal.s32 q8, d25, d0 |
|
vst1.8 {d14-d15}, [r2, : 128]! |
|
vmull.s32 q2, d18, d4 |
|
vmlal.s32 q2, d12, d9 |
|
vmlal.s32 q2, d13, d8 |
|
vmlal.s32 q2, d19, d3 |
|
vmlal.s32 q2, d22, d2 |
|
vmlal.s32 q2, d23, d1 |
|
vmlal.s32 q2, d24, d0 |
|
vst1.8 {d20-d21}, [r2, : 128]! |
|
vmull.s32 q7, d18, d9 |
|
vmlal.s32 q7, d26, d3 |
|
vmlal.s32 q7, d19, d8 |
|
vmlal.s32 q7, d27, d2 |
|
vmlal.s32 q7, d22, d7 |
|
vmlal.s32 q7, d28, d1 |
|
vmlal.s32 q7, d23, d6 |
|
vmlal.s32 q7, d29, d0 |
|
vst1.8 {d10-d11}, [r2, : 128]! |
|
vmull.s32 q5, d18, d3 |
|
vmlal.s32 q5, d19, d2 |
|
vmlal.s32 q5, d22, d1 |
|
vmlal.s32 q5, d23, d0 |
|
vmlal.s32 q5, d12, d8 |
|
vst1.8 {d16-d17}, [r2, : 128] |
|
vmull.s32 q4, d18, d8 |
|
vmlal.s32 q4, d26, d2 |
|
vmlal.s32 q4, d19, d7 |
|
vmlal.s32 q4, d27, d1 |
|
vmlal.s32 q4, d22, d6 |
|
vmlal.s32 q4, d28, d0 |
|
vmull.s32 q8, d18, d7 |
|
vmlal.s32 q8, d26, d1 |
|
vmlal.s32 q8, d19, d6 |
|
vmlal.s32 q8, d27, d0 |
|
add r2, sp, #544 |
|
vld1.8 {d20-d21}, [r2, : 128] |
|
vmlal.s32 q7, d24, d21 |
|
vmlal.s32 q7, d25, d20 |
|
vmlal.s32 q4, d23, d21 |
|
vmlal.s32 q4, d29, d20 |
|
vmlal.s32 q8, d22, d21 |
|
vmlal.s32 q8, d28, d20 |
|
vmlal.s32 q5, d24, d20 |
|
vst1.8 {d14-d15}, [r2, : 128] |
|
vmull.s32 q7, d18, d6 |
|
vmlal.s32 q7, d26, d0 |
|
add r2, sp, #624 |
|
vld1.8 {d30-d31}, [r2, : 128] |
|
vmlal.s32 q2, d30, d21 |
|
vmlal.s32 q7, d19, d21 |
|
vmlal.s32 q7, d27, d20 |
|
add r2, sp, #592 |
|
vld1.8 {d26-d27}, [r2, : 128] |
|
vmlal.s32 q4, d25, d27 |
|
vmlal.s32 q8, d29, d27 |
|
vmlal.s32 q8, d25, d26 |
|
vmlal.s32 q7, d28, d27 |
|
vmlal.s32 q7, d29, d26 |
|
add r2, sp, #576 |
|
vld1.8 {d28-d29}, [r2, : 128] |
|
vmlal.s32 q4, d24, d29 |
|
vmlal.s32 q8, d23, d29 |
|
vmlal.s32 q8, d24, d28 |
|
vmlal.s32 q7, d22, d29 |
|
vmlal.s32 q7, d23, d28 |
|
vst1.8 {d8-d9}, [r2, : 128] |
|
add r2, sp, #528 |
|
vld1.8 {d8-d9}, [r2, : 128] |
|
vmlal.s32 q7, d24, d9 |
|
vmlal.s32 q7, d25, d31 |
|
vmull.s32 q1, d18, d2 |
|
vmlal.s32 q1, d19, d1 |
|
vmlal.s32 q1, d22, d0 |
|
vmlal.s32 q1, d24, d27 |
|
vmlal.s32 q1, d23, d20 |
|
vmlal.s32 q1, d12, d7 |
|
vmlal.s32 q1, d13, d6 |
|
vmull.s32 q6, d18, d1 |
|
vmlal.s32 q6, d19, d0 |
|
vmlal.s32 q6, d23, d27 |
|
vmlal.s32 q6, d22, d20 |
|
vmlal.s32 q6, d24, d26 |
|
vmull.s32 q0, d18, d0 |
|
vmlal.s32 q0, d22, d27 |
|
vmlal.s32 q0, d23, d26 |
|
vmlal.s32 q0, d24, d31 |
|
vmlal.s32 q0, d19, d20 |
|
add r2, sp, #608 |
|
vld1.8 {d18-d19}, [r2, : 128] |
|
vmlal.s32 q2, d18, d7 |
|
vmlal.s32 q5, d18, d6 |
|
vmlal.s32 q1, d18, d21 |
|
vmlal.s32 q0, d18, d28 |
|
vmlal.s32 q6, d18, d29 |
|
vmlal.s32 q2, d19, d6 |
|
vmlal.s32 q5, d19, d21 |
|
vmlal.s32 q1, d19, d29 |
|
vmlal.s32 q0, d19, d9 |
|
vmlal.s32 q6, d19, d28 |
|
add r2, sp, #560 |
|
vld1.8 {d18-d19}, [r2, : 128] |
|
add r2, sp, #480 |
|
vld1.8 {d22-d23}, [r2, : 128] |
|
vmlal.s32 q5, d19, d7 |
|
vmlal.s32 q0, d18, d21 |
|
vmlal.s32 q0, d19, d29 |
|
vmlal.s32 q6, d18, d6 |
|
add r2, sp, #496 |
|
vld1.8 {d6-d7}, [r2, : 128] |
|
vmlal.s32 q6, d19, d21 |
|
add r2, sp, #544 |
|
vld1.8 {d18-d19}, [r2, : 128] |
|
vmlal.s32 q0, d30, d8 |
|
add r2, sp, #640 |
|
vld1.8 {d20-d21}, [r2, : 128] |
|
vmlal.s32 q5, d30, d29 |
|
add r2, sp, #576 |
|
vld1.8 {d24-d25}, [r2, : 128] |
|
vmlal.s32 q1, d30, d28 |
|
vadd.i64 q13, q0, q11 |
|
vadd.i64 q14, q5, q11 |
|
vmlal.s32 q6, d30, d9 |
|
vshr.s64 q4, q13, #26 |
|
vshr.s64 q13, q14, #26 |
|
vadd.i64 q7, q7, q4 |
|
vshl.i64 q4, q4, #26 |
|
vadd.i64 q14, q7, q3 |
|
vadd.i64 q9, q9, q13 |
|
vshl.i64 q13, q13, #26 |
|
vadd.i64 q15, q9, q3 |
|
vsub.i64 q0, q0, q4 |
|
vshr.s64 q4, q14, #25 |
|
vsub.i64 q5, q5, q13 |
|
vshr.s64 q13, q15, #25 |
|
vadd.i64 q6, q6, q4 |
|
vshl.i64 q4, q4, #25 |
|
vadd.i64 q14, q6, q11 |
|
vadd.i64 q2, q2, q13 |
|
vsub.i64 q4, q7, q4 |
|
vshr.s64 q7, q14, #26 |
|
vshl.i64 q13, q13, #25 |
|
vadd.i64 q14, q2, q11 |
|
vadd.i64 q8, q8, q7 |
|
vshl.i64 q7, q7, #26 |
|
vadd.i64 q15, q8, q3 |
|
vsub.i64 q9, q9, q13 |
|
vshr.s64 q13, q14, #26 |
|
vsub.i64 q6, q6, q7 |
|
vshr.s64 q7, q15, #25 |
|
vadd.i64 q10, q10, q13 |
|
vshl.i64 q13, q13, #26 |
|
vadd.i64 q14, q10, q3 |
|
vadd.i64 q1, q1, q7 |
|
add r2, r3, #144 |
|
vshl.i64 q7, q7, #25 |
|
add r4, r3, #96 |
|
vadd.i64 q15, q1, q11 |
|
add r2, r2, #8 |
|
vsub.i64 q2, q2, q13 |
|
add r4, r4, #8 |
|
vshr.s64 q13, q14, #25 |
|
vsub.i64 q7, q8, q7 |
|
vshr.s64 q8, q15, #26 |
|
vadd.i64 q14, q13, q13 |
|
vadd.i64 q12, q12, q8 |
|
vtrn.32 d12, d14 |
|
vshl.i64 q8, q8, #26 |
|
vtrn.32 d13, d15 |
|
vadd.i64 q3, q12, q3 |
|
vadd.i64 q0, q0, q14 |
|
vst1.8 d12, [r2, : 64]! |
|
vshl.i64 q7, q13, #4 |
|
vst1.8 d13, [r4, : 64]! |
|
vsub.i64 q1, q1, q8 |
|
vshr.s64 q3, q3, #25 |
|
vadd.i64 q0, q0, q7 |
|
vadd.i64 q5, q5, q3 |
|
vshl.i64 q3, q3, #25 |
|
vadd.i64 q6, q5, q11 |
|
vadd.i64 q0, q0, q13 |
|
vshl.i64 q7, q13, #25 |
|
vadd.i64 q8, q0, q11 |
|
vsub.i64 q3, q12, q3 |
|
vshr.s64 q6, q6, #26 |
|
vsub.i64 q7, q10, q7 |
|
vtrn.32 d2, d6 |
|
vshr.s64 q8, q8, #26 |
|
vtrn.32 d3, d7 |
|
vadd.i64 q3, q9, q6 |
|
vst1.8 d2, [r2, : 64] |
|
vshl.i64 q6, q6, #26 |
|
vst1.8 d3, [r4, : 64] |
|
vadd.i64 q1, q4, q8 |
|
vtrn.32 d4, d14 |
|
vshl.i64 q4, q8, #26 |
|
vtrn.32 d5, d15 |
|
vsub.i64 q5, q5, q6 |
|
add r2, r2, #16 |
|
vsub.i64 q0, q0, q4 |
|
vst1.8 d4, [r2, : 64] |
|
add r4, r4, #16 |
|
vst1.8 d5, [r4, : 64] |
|
vtrn.32 d10, d6 |
|
vtrn.32 d11, d7 |
|
sub r2, r2, #8 |
|
sub r4, r4, #8 |
|
vtrn.32 d0, d2 |
|
vtrn.32 d1, d3 |
|
vst1.8 d10, [r2, : 64] |
|
vst1.8 d11, [r4, : 64] |
|
sub r2, r2, #24 |
|
sub r4, r4, #24 |
|
vst1.8 d0, [r2, : 64] |
|
vst1.8 d1, [r4, : 64] |
|
add r2, r3, #288 |
|
add r4, r3, #336 |
|
vld1.8 {d0-d1}, [r2, : 128]! |
|
vld1.8 {d2-d3}, [r4, : 128]! |
|
vsub.i32 q0, q0, q1 |
|
vld1.8 {d2-d3}, [r2, : 128]! |
|
vld1.8 {d4-d5}, [r4, : 128]! |
|
vsub.i32 q1, q1, q2 |
|
add r5, r3, #240 |
|
vld1.8 {d4}, [r2, : 64] |
|
vld1.8 {d6}, [r4, : 64] |
|
vsub.i32 q2, q2, q3 |
|
vst1.8 {d0-d1}, [r5, : 128]! |
|
vst1.8 {d2-d3}, [r5, : 128]! |
|
vst1.8 d4, [r5, : 64] |
|
add r2, r3, #144 |
|
add r4, r3, #96 |
|
add r5, r3, #144 |
|
add r6, r3, #192 |
|
vld1.8 {d0-d1}, [r2, : 128]! |
|
vld1.8 {d2-d3}, [r4, : 128]! |
|
vsub.i32 q2, q0, q1 |
|
vadd.i32 q0, q0, q1 |
|
vld1.8 {d2-d3}, [r2, : 128]! |
|
vld1.8 {d6-d7}, [r4, : 128]! |
|
vsub.i32 q4, q1, q3 |
|
vadd.i32 q1, q1, q3 |
|
vld1.8 {d6}, [r2, : 64] |
|
vld1.8 {d10}, [r4, : 64] |
|
vsub.i32 q6, q3, q5 |
|
vadd.i32 q3, q3, q5 |
|
vst1.8 {d4-d5}, [r5, : 128]! |
|
vst1.8 {d0-d1}, [r6, : 128]! |
|
vst1.8 {d8-d9}, [r5, : 128]! |
|
vst1.8 {d2-d3}, [r6, : 128]! |
|
vst1.8 d12, [r5, : 64] |
|
vst1.8 d6, [r6, : 64] |
|
add r2, r3, #0 |
|
add r4, r3, #240 |
|
vld1.8 {d0-d1}, [r4, : 128]! |
|
vld1.8 {d2-d3}, [r4, : 128]! |
|
vld1.8 {d4}, [r4, : 64] |
|
add r4, r3, #336 |
|
vld1.8 {d6-d7}, [r4, : 128]! |
|
vtrn.32 q0, q3 |
|
vld1.8 {d8-d9}, [r4, : 128]! |
|
vshl.i32 q5, q0, #4 |
|
vtrn.32 q1, q4 |
|
vshl.i32 q6, q3, #4 |
|
vadd.i32 q5, q5, q0 |
|
vadd.i32 q6, q6, q3 |
|
vshl.i32 q7, q1, #4 |
|
vld1.8 {d5}, [r4, : 64] |
|
vshl.i32 q8, q4, #4 |
|
vtrn.32 d4, d5 |
|
vadd.i32 q7, q7, q1 |
|
vadd.i32 q8, q8, q4 |
|
vld1.8 {d18-d19}, [r2, : 128]! |
|
vshl.i32 q10, q2, #4 |
|
vld1.8 {d22-d23}, [r2, : 128]! |
|
vadd.i32 q10, q10, q2 |
|
vld1.8 {d24}, [r2, : 64] |
|
vadd.i32 q5, q5, q0 |
|
add r2, r3, #288 |
|
vld1.8 {d26-d27}, [r2, : 128]! |
|
vadd.i32 q6, q6, q3 |
|
vld1.8 {d28-d29}, [r2, : 128]! |
|
vadd.i32 q8, q8, q4 |
|
vld1.8 {d25}, [r2, : 64] |
|
vadd.i32 q10, q10, q2 |
|
vtrn.32 q9, q13 |
|
vadd.i32 q7, q7, q1 |
|
vadd.i32 q5, q5, q0 |
|
vtrn.32 q11, q14 |
|
vadd.i32 q6, q6, q3 |
|
add r2, sp, #528 |
|
vadd.i32 q10, q10, q2 |
|
vtrn.32 d24, d25 |
|
vst1.8 {d12-d13}, [r2, : 128]! |
|
vshl.i32 q6, q13, #1 |
|
vst1.8 {d20-d21}, [r2, : 128]! |
|
vshl.i32 q10, q14, #1 |
|
vst1.8 {d12-d13}, [r2, : 128]! |
|
vshl.i32 q15, q12, #1 |
|
vadd.i32 q8, q8, q4 |
|
vext.32 d10, d31, d30, #0 |
|
vadd.i32 q7, q7, q1 |
|
vst1.8 {d16-d17}, [r2, : 128]! |
|
vmull.s32 q8, d18, d5 |
|
vmlal.s32 q8, d26, d4 |
|
vmlal.s32 q8, d19, d9 |
|
vmlal.s32 q8, d27, d3 |
|
vmlal.s32 q8, d22, d8 |
|
vmlal.s32 q8, d28, d2 |
|
vmlal.s32 q8, d23, d7 |
|
vmlal.s32 q8, d29, d1 |
|
vmlal.s32 q8, d24, d6 |
|
vmlal.s32 q8, d25, d0 |
|
vst1.8 {d14-d15}, [r2, : 128]! |
|
vmull.s32 q2, d18, d4 |
|
vmlal.s32 q2, d12, d9 |
|
vmlal.s32 q2, d13, d8 |
|
vmlal.s32 q2, d19, d3 |
|
vmlal.s32 q2, d22, d2 |
|
vmlal.s32 q2, d23, d1 |
|
vmlal.s32 q2, d24, d0 |
|
vst1.8 {d20-d21}, [r2, : 128]! |
|
vmull.s32 q7, d18, d9 |
|
vmlal.s32 q7, d26, d3 |
|
vmlal.s32 q7, d19, d8 |
|
vmlal.s32 q7, d27, d2 |
|
vmlal.s32 q7, d22, d7 |
|
vmlal.s32 q7, d28, d1 |
|
vmlal.s32 q7, d23, d6 |
|
vmlal.s32 q7, d29, d0 |
|
vst1.8 {d10-d11}, [r2, : 128]! |
|
vmull.s32 q5, d18, d3 |
|
vmlal.s32 q5, d19, d2 |
|
vmlal.s32 q5, d22, d1 |
|
vmlal.s32 q5, d23, d0 |
|
vmlal.s32 q5, d12, d8 |
|
vst1.8 {d16-d17}, [r2, : 128]! |
|
vmull.s32 q4, d18, d8 |
|
vmlal.s32 q4, d26, d2 |
|
vmlal.s32 q4, d19, d7 |
|
vmlal.s32 q4, d27, d1 |
|
vmlal.s32 q4, d22, d6 |
|
vmlal.s32 q4, d28, d0 |
|
vmull.s32 q8, d18, d7 |
|
vmlal.s32 q8, d26, d1 |
|
vmlal.s32 q8, d19, d6 |
|
vmlal.s32 q8, d27, d0 |
|
add r2, sp, #544 |
|
vld1.8 {d20-d21}, [r2, : 128] |
|
vmlal.s32 q7, d24, d21 |
|
vmlal.s32 q7, d25, d20 |
|
vmlal.s32 q4, d23, d21 |
|
vmlal.s32 q4, d29, d20 |
|
vmlal.s32 q8, d22, d21 |
|
vmlal.s32 q8, d28, d20 |
|
vmlal.s32 q5, d24, d20 |
|
vst1.8 {d14-d15}, [r2, : 128] |
|
vmull.s32 q7, d18, d6 |
|
vmlal.s32 q7, d26, d0 |
|
add r2, sp, #624 |
|
vld1.8 {d30-d31}, [r2, : 128] |
|
vmlal.s32 q2, d30, d21 |
|
vmlal.s32 q7, d19, d21 |
|
vmlal.s32 q7, d27, d20 |
|
add r2, sp, #592 |
|
vld1.8 {d26-d27}, [r2, : 128] |
|
vmlal.s32 q4, d25, d27 |
|
vmlal.s32 q8, d29, d27 |
|
vmlal.s32 q8, d25, d26 |
|
vmlal.s32 q7, d28, d27 |
|
vmlal.s32 q7, d29, d26 |
|
add r2, sp, #576 |
|
vld1.8 {d28-d29}, [r2, : 128] |
|
vmlal.s32 q4, d24, d29 |
|
vmlal.s32 q8, d23, d29 |
|
vmlal.s32 q8, d24, d28 |
|
vmlal.s32 q7, d22, d29 |
|
vmlal.s32 q7, d23, d28 |
|
vst1.8 {d8-d9}, [r2, : 128] |
|
add r2, sp, #528 |
|
vld1.8 {d8-d9}, [r2, : 128] |
|
vmlal.s32 q7, d24, d9 |
|
vmlal.s32 q7, d25, d31 |
|
vmull.s32 q1, d18, d2 |
|
vmlal.s32 q1, d19, d1 |
|
vmlal.s32 q1, d22, d0 |
|
vmlal.s32 q1, d24, d27 |
|
vmlal.s32 q1, d23, d20 |
|
vmlal.s32 q1, d12, d7 |
|
vmlal.s32 q1, d13, d6 |
|
vmull.s32 q6, d18, d1 |
|
vmlal.s32 q6, d19, d0 |
|
vmlal.s32 q6, d23, d27 |
|
vmlal.s32 q6, d22, d20 |
|
vmlal.s32 q6, d24, d26 |
|
vmull.s32 q0, d18, d0 |
|
vmlal.s32 q0, d22, d27 |
|
vmlal.s32 q0, d23, d26 |
|
vmlal.s32 q0, d24, d31 |
|
vmlal.s32 q0, d19, d20 |
|
add r2, sp, #608 |
|
vld1.8 {d18-d19}, [r2, : 128] |
|
vmlal.s32 q2, d18, d7 |
|
vmlal.s32 q5, d18, d6 |
|
vmlal.s32 q1, d18, d21 |
|
vmlal.s32 q0, d18, d28 |
|
vmlal.s32 q6, d18, d29 |
|
vmlal.s32 q2, d19, d6 |
|
vmlal.s32 q5, d19, d21 |
|
vmlal.s32 q1, d19, d29 |
|
vmlal.s32 q0, d19, d9 |
|
vmlal.s32 q6, d19, d28 |
|
add r2, sp, #560 |
|
vld1.8 {d18-d19}, [r2, : 128] |
|
add r2, sp, #480 |
|
vld1.8 {d22-d23}, [r2, : 128] |
|
vmlal.s32 q5, d19, d7 |
|
vmlal.s32 q0, d18, d21 |
|
vmlal.s32 q0, d19, d29 |
|
vmlal.s32 q6, d18, d6 |
|
add r2, sp, #496 |
|
vld1.8 {d6-d7}, [r2, : 128] |
|
vmlal.s32 q6, d19, d21 |
|
add r2, sp, #544 |
|
vld1.8 {d18-d19}, [r2, : 128] |
|
vmlal.s32 q0, d30, d8 |
|
add r2, sp, #640 |
|
vld1.8 {d20-d21}, [r2, : 128] |
|
vmlal.s32 q5, d30, d29 |
|
add r2, sp, #576 |
|
vld1.8 {d24-d25}, [r2, : 128] |
|
vmlal.s32 q1, d30, d28 |
|
vadd.i64 q13, q0, q11 |
|
vadd.i64 q14, q5, q11 |
|
vmlal.s32 q6, d30, d9 |
|
vshr.s64 q4, q13, #26 |
|
vshr.s64 q13, q14, #26 |
|
vadd.i64 q7, q7, q4 |
|
vshl.i64 q4, q4, #26 |
|
vadd.i64 q14, q7, q3 |
|
vadd.i64 q9, q9, q13 |
|
vshl.i64 q13, q13, #26 |
|
vadd.i64 q15, q9, q3 |
|
vsub.i64 q0, q0, q4 |
|
vshr.s64 q4, q14, #25 |
|
vsub.i64 q5, q5, q13 |
|
vshr.s64 q13, q15, #25 |
|
vadd.i64 q6, q6, q4 |
|
vshl.i64 q4, q4, #25 |
|
vadd.i64 q14, q6, q11 |
|
vadd.i64 q2, q2, q13 |
|
vsub.i64 q4, q7, q4 |
|
vshr.s64 q7, q14, #26 |
|
vshl.i64 q13, q13, #25 |
|
vadd.i64 q14, q2, q11 |
|
vadd.i64 q8, q8, q7 |
|
vshl.i64 q7, q7, #26 |
|
vadd.i64 q15, q8, q3 |
|
vsub.i64 q9, q9, q13 |
|
vshr.s64 q13, q14, #26 |
|
vsub.i64 q6, q6, q7 |
|
vshr.s64 q7, q15, #25 |
|
vadd.i64 q10, q10, q13 |
|
vshl.i64 q13, q13, #26 |
|
vadd.i64 q14, q10, q3 |
|
vadd.i64 q1, q1, q7 |
|
add r2, r3, #288 |
|
vshl.i64 q7, q7, #25 |
|
add r4, r3, #96 |
|
vadd.i64 q15, q1, q11 |
|
add r2, r2, #8 |
|
vsub.i64 q2, q2, q13 |
|
add r4, r4, #8 |
|
vshr.s64 q13, q14, #25 |
|
vsub.i64 q7, q8, q7 |
|
vshr.s64 q8, q15, #26 |
|
vadd.i64 q14, q13, q13 |
|
vadd.i64 q12, q12, q8 |
|
vtrn.32 d12, d14 |
|
vshl.i64 q8, q8, #26 |
|
vtrn.32 d13, d15 |
|
vadd.i64 q3, q12, q3 |
|
vadd.i64 q0, q0, q14 |
|
vst1.8 d12, [r2, : 64]! |
|
vshl.i64 q7, q13, #4 |
|
vst1.8 d13, [r4, : 64]! |
|
vsub.i64 q1, q1, q8 |
|
vshr.s64 q3, q3, #25 |
|
vadd.i64 q0, q0, q7 |
|
vadd.i64 q5, q5, q3 |
|
vshl.i64 q3, q3, #25 |
|
vadd.i64 q6, q5, q11 |
|
vadd.i64 q0, q0, q13 |
|
vshl.i64 q7, q13, #25 |
|
vadd.i64 q8, q0, q11 |
|
vsub.i64 q3, q12, q3 |
|
vshr.s64 q6, q6, #26 |
|
vsub.i64 q7, q10, q7 |
|
vtrn.32 d2, d6 |
|
vshr.s64 q8, q8, #26 |
|
vtrn.32 d3, d7 |
|
vadd.i64 q3, q9, q6 |
|
vst1.8 d2, [r2, : 64] |
|
vshl.i64 q6, q6, #26 |
|
vst1.8 d3, [r4, : 64] |
|
vadd.i64 q1, q4, q8 |
|
vtrn.32 d4, d14 |
|
vshl.i64 q4, q8, #26 |
|
vtrn.32 d5, d15 |
|
vsub.i64 q5, q5, q6 |
|
add r2, r2, #16 |
|
vsub.i64 q0, q0, q4 |
|
vst1.8 d4, [r2, : 64] |
|
add r4, r4, #16 |
|
vst1.8 d5, [r4, : 64] |
|
vtrn.32 d10, d6 |
|
vtrn.32 d11, d7 |
|
sub r2, r2, #8 |
|
sub r4, r4, #8 |
|
vtrn.32 d0, d2 |
|
vtrn.32 d1, d3 |
|
vst1.8 d10, [r2, : 64] |
|
vst1.8 d11, [r4, : 64] |
|
sub r2, r2, #24 |
|
sub r4, r4, #24 |
|
vst1.8 d0, [r2, : 64] |
|
vst1.8 d1, [r4, : 64] |
|
add r2, sp, #512 |
|
add r4, r3, #144 |
|
add r5, r3, #192 |
|
vld1.8 {d0-d1}, [r2, : 128] |
|
vld1.8 {d2-d3}, [r4, : 128]! |
|
vld1.8 {d4-d5}, [r5, : 128]! |
|
vzip.i32 q1, q2 |
|
vld1.8 {d6-d7}, [r4, : 128]! |
|
vld1.8 {d8-d9}, [r5, : 128]! |
|
vshl.i32 q5, q1, #1 |
|
vzip.i32 q3, q4 |
|
vshl.i32 q6, q2, #1 |
|
vld1.8 {d14}, [r4, : 64] |
|
vshl.i32 q8, q3, #1 |
|
vld1.8 {d15}, [r5, : 64] |
|
vshl.i32 q9, q4, #1 |
|
vmul.i32 d21, d7, d1 |
|
vtrn.32 d14, d15 |
|
vmul.i32 q11, q4, q0 |
|
vmul.i32 q0, q7, q0 |
|
vmull.s32 q12, d2, d2 |
|
vmlal.s32 q12, d11, d1 |
|
vmlal.s32 q12, d12, d0 |
|
vmlal.s32 q12, d13, d23 |
|
vmlal.s32 q12, d16, d22 |
|
vmlal.s32 q12, d7, d21 |
|
vmull.s32 q10, d2, d11 |
|
vmlal.s32 q10, d4, d1 |
|
vmlal.s32 q10, d13, d0 |
|
vmlal.s32 q10, d6, d23 |
|
vmlal.s32 q10, d17, d22 |
|
vmull.s32 q13, d10, d4 |
|
vmlal.s32 q13, d11, d3 |
|
vmlal.s32 q13, d13, d1 |
|
vmlal.s32 q13, d16, d0 |
|
vmlal.s32 q13, d17, d23 |
|
vmlal.s32 q13, d8, d22 |
|
vmull.s32 q1, d10, d5 |
|
vmlal.s32 q1, d11, d4 |
|
vmlal.s32 q1, d6, d1 |
|
vmlal.s32 q1, d17, d0 |
|
vmlal.s32 q1, d8, d23 |
|
vmull.s32 q14, d10, d6 |
|
vmlal.s32 q14, d11, d13 |
|
vmlal.s32 q14, d4, d4 |
|
vmlal.s32 q14, d17, d1 |
|
vmlal.s32 q14, d18, d0 |
|
vmlal.s32 q14, d9, d23 |
|
vmull.s32 q11, d10, d7 |
|
vmlal.s32 q11, d11, d6 |
|
vmlal.s32 q11, d12, d5 |
|
vmlal.s32 q11, d8, d1 |
|
vmlal.s32 q11, d19, d0 |
|
vmull.s32 q15, d10, d8 |
|
vmlal.s32 q15, d11, d17 |
|
vmlal.s32 q15, d12, d6 |
|
vmlal.s32 q15, d13, d5 |
|
vmlal.s32 q15, d19, d1 |
|
vmlal.s32 q15, d14, d0 |
|
vmull.s32 q2, d10, d9 |
|
vmlal.s32 q2, d11, d8 |
|
vmlal.s32 q2, d12, d7 |
|
vmlal.s32 q2, d13, d6 |
|
vmlal.s32 q2, d14, d1 |
|
vmull.s32 q0, d15, d1 |
|
vmlal.s32 q0, d10, d14 |
|
vmlal.s32 q0, d11, d19 |
|
vmlal.s32 q0, d12, d8 |
|
vmlal.s32 q0, d13, d17 |
|
vmlal.s32 q0, d6, d6 |
|
add r2, sp, #480 |
|
vld1.8 {d18-d19}, [r2, : 128]! |
|
vmull.s32 q3, d16, d7 |
|
vmlal.s32 q3, d10, d15 |
|
vmlal.s32 q3, d11, d14 |
|
vmlal.s32 q3, d12, d9 |
|
vmlal.s32 q3, d13, d8 |
|
vld1.8 {d8-d9}, [r2, : 128] |
|
vadd.i64 q5, q12, q9 |
|
vadd.i64 q6, q15, q9 |
|
vshr.s64 q5, q5, #26 |
|
vshr.s64 q6, q6, #26 |
|
vadd.i64 q7, q10, q5 |
|
vshl.i64 q5, q5, #26 |
|
vadd.i64 q8, q7, q4 |
|
vadd.i64 q2, q2, q6 |
|
vshl.i64 q6, q6, #26 |
|
vadd.i64 q10, q2, q4 |
|
vsub.i64 q5, q12, q5 |
|
vshr.s64 q8, q8, #25 |
|
vsub.i64 q6, q15, q6 |
|
vshr.s64 q10, q10, #25 |
|
vadd.i64 q12, q13, q8 |
|
vshl.i64 q8, q8, #25 |
|
vadd.i64 q13, q12, q9 |
|
vadd.i64 q0, q0, q10 |
|
vsub.i64 q7, q7, q8 |
|
vshr.s64 q8, q13, #26 |
|
vshl.i64 q10, q10, #25 |
|
vadd.i64 q13, q0, q9 |
|
vadd.i64 q1, q1, q8 |
|
vshl.i64 q8, q8, #26 |
|
vadd.i64 q15, q1, q4 |
|
vsub.i64 q2, q2, q10 |
|
vshr.s64 q10, q13, #26 |
|
vsub.i64 q8, q12, q8 |
|
vshr.s64 q12, q15, #25 |
|
vadd.i64 q3, q3, q10 |
|
vshl.i64 q10, q10, #26 |
|
vadd.i64 q13, q3, q4 |
|
vadd.i64 q14, q14, q12 |
|
add r2, r3, #144 |
|
vshl.i64 q12, q12, #25 |
|
add r4, r3, #192 |
|
vadd.i64 q15, q14, q9 |
|
add r2, r2, #8 |
|
vsub.i64 q0, q0, q10 |
|
add r4, r4, #8 |
|
vshr.s64 q10, q13, #25 |
|
vsub.i64 q1, q1, q12 |
|
vshr.s64 q12, q15, #26 |
|
vadd.i64 q13, q10, q10 |
|
vadd.i64 q11, q11, q12 |
|
vtrn.32 d16, d2 |
|
vshl.i64 q12, q12, #26 |
|
vtrn.32 d17, d3 |
|
vadd.i64 q1, q11, q4 |
|
vadd.i64 q4, q5, q13 |
|
vst1.8 d16, [r2, : 64]! |
|
vshl.i64 q5, q10, #4 |
|
vst1.8 d17, [r4, : 64]! |
|
vsub.i64 q8, q14, q12 |
|
vshr.s64 q1, q1, #25 |
|
vadd.i64 q4, q4, q5 |
|
vadd.i64 q5, q6, q1 |
|
vshl.i64 q1, q1, #25 |
|
vadd.i64 q6, q5, q9 |
|
vadd.i64 q4, q4, q10 |
|
vshl.i64 q10, q10, #25 |
|
vadd.i64 q9, q4, q9 |
|
vsub.i64 q1, q11, q1 |
|
vshr.s64 q6, q6, #26 |
|
vsub.i64 q3, q3, q10 |
|
vtrn.32 d16, d2 |
|
vshr.s64 q9, q9, #26 |
|
vtrn.32 d17, d3 |
|
vadd.i64 q1, q2, q6 |
|
vst1.8 d16, [r2, : 64] |
|
vshl.i64 q2, q6, #26 |
|
vst1.8 d17, [r4, : 64] |
|
vadd.i64 q6, q7, q9 |
|
vtrn.32 d0, d6 |
|
vshl.i64 q7, q9, #26 |
|
vtrn.32 d1, d7 |
|
vsub.i64 q2, q5, q2 |
|
add r2, r2, #16 |
|
vsub.i64 q3, q4, q7 |
|
vst1.8 d0, [r2, : 64] |
|
add r4, r4, #16 |
|
vst1.8 d1, [r4, : 64] |
|
vtrn.32 d4, d2 |
|
vtrn.32 d5, d3 |
|
sub r2, r2, #8 |
|
sub r4, r4, #8 |
|
vtrn.32 d6, d12 |
|
vtrn.32 d7, d13 |
|
vst1.8 d4, [r2, : 64] |
|
vst1.8 d5, [r4, : 64] |
|
sub r2, r2, #24 |
|
sub r4, r4, #24 |
|
vst1.8 d6, [r2, : 64] |
|
vst1.8 d7, [r4, : 64] |
|
add r2, r3, #336 |
|
add r4, r3, #288 |
|
vld1.8 {d0-d1}, [r2, : 128]! |
|
vld1.8 {d2-d3}, [r4, : 128]! |
|
vadd.i32 q0, q0, q1 |
|
vld1.8 {d2-d3}, [r2, : 128]! |
|
vld1.8 {d4-d5}, [r4, : 128]! |
|
vadd.i32 q1, q1, q2 |
|
add r5, r3, #288 |
|
vld1.8 {d4}, [r2, : 64] |
|
vld1.8 {d6}, [r4, : 64] |
|
vadd.i32 q2, q2, q3 |
|
vst1.8 {d0-d1}, [r5, : 128]! |
|
vst1.8 {d2-d3}, [r5, : 128]! |
|
vst1.8 d4, [r5, : 64] |
|
add r2, r3, #48 |
|
add r4, r3, #144 |
|
vld1.8 {d0-d1}, [r4, : 128]! |
|
vld1.8 {d2-d3}, [r4, : 128]! |
|
vld1.8 {d4}, [r4, : 64] |
|
add r4, r3, #288 |
|
vld1.8 {d6-d7}, [r4, : 128]! |
|
vtrn.32 q0, q3 |
|
vld1.8 {d8-d9}, [r4, : 128]! |
|
vshl.i32 q5, q0, #4 |
|
vtrn.32 q1, q4 |
|
vshl.i32 q6, q3, #4 |
|
vadd.i32 q5, q5, q0 |
|
vadd.i32 q6, q6, q3 |
|
vshl.i32 q7, q1, #4 |
|
vld1.8 {d5}, [r4, : 64] |
|
vshl.i32 q8, q4, #4 |
|
vtrn.32 d4, d5 |
|
vadd.i32 q7, q7, q1 |
|
vadd.i32 q8, q8, q4 |
|
vld1.8 {d18-d19}, [r2, : 128]! |
|
vshl.i32 q10, q2, #4 |
|
vld1.8 {d22-d23}, [r2, : 128]! |
|
vadd.i32 q10, q10, q2 |
|
vld1.8 {d24}, [r2, : 64] |
|
vadd.i32 q5, q5, q0 |
|
add r2, r3, #240 |
|
vld1.8 {d26-d27}, [r2, : 128]! |
|
vadd.i32 q6, q6, q3 |
|
vld1.8 {d28-d29}, [r2, : 128]! |
|
vadd.i32 q8, q8, q4 |
|
vld1.8 {d25}, [r2, : 64] |
|
vadd.i32 q10, q10, q2 |
|
vtrn.32 q9, q13 |
|
vadd.i32 q7, q7, q1 |
|
vadd.i32 q5, q5, q0 |
|
vtrn.32 q11, q14 |
|
vadd.i32 q6, q6, q3 |
|
add r2, sp, #528 |
|
vadd.i32 q10, q10, q2 |
|
vtrn.32 d24, d25 |
|
vst1.8 {d12-d13}, [r2, : 128]! |
|
vshl.i32 q6, q13, #1 |
|
vst1.8 {d20-d21}, [r2, : 128]! |
|
vshl.i32 q10, q14, #1 |
|
vst1.8 {d12-d13}, [r2, : 128]! |
|
vshl.i32 q15, q12, #1 |
|
vadd.i32 q8, q8, q4 |
|
vext.32 d10, d31, d30, #0 |
|
vadd.i32 q7, q7, q1 |
|
vst1.8 {d16-d17}, [r2, : 128]! |
|
vmull.s32 q8, d18, d5 |
|
vmlal.s32 q8, d26, d4 |
|
vmlal.s32 q8, d19, d9 |
|
vmlal.s32 q8, d27, d3 |
|
vmlal.s32 q8, d22, d8 |
|
vmlal.s32 q8, d28, d2 |
|
vmlal.s32 q8, d23, d7 |
|
vmlal.s32 q8, d29, d1 |
|
vmlal.s32 q8, d24, d6 |
|
vmlal.s32 q8, d25, d0 |
|
vst1.8 {d14-d15}, [r2, : 128]! |
|
vmull.s32 q2, d18, d4 |
|
vmlal.s32 q2, d12, d9 |
|
vmlal.s32 q2, d13, d8 |
|
vmlal.s32 q2, d19, d3 |
|
vmlal.s32 q2, d22, d2 |
|
vmlal.s32 q2, d23, d1 |
|
vmlal.s32 q2, d24, d0 |
|
vst1.8 {d20-d21}, [r2, : 128]! |
|
vmull.s32 q7, d18, d9 |
|
vmlal.s32 q7, d26, d3 |
|
vmlal.s32 q7, d19, d8 |
|
vmlal.s32 q7, d27, d2 |
|
vmlal.s32 q7, d22, d7 |
|
vmlal.s32 q7, d28, d1 |
|
vmlal.s32 q7, d23, d6 |
|
vmlal.s32 q7, d29, d0 |
|
vst1.8 {d10-d11}, [r2, : 128]! |
|
vmull.s32 q5, d18, d3 |
|
vmlal.s32 q5, d19, d2 |
|
vmlal.s32 q5, d22, d1 |
|
vmlal.s32 q5, d23, d0 |
|
vmlal.s32 q5, d12, d8 |
|
vst1.8 {d16-d17}, [r2, : 128]! |
|
vmull.s32 q4, d18, d8 |
|
vmlal.s32 q4, d26, d2 |
|
vmlal.s32 q4, d19, d7 |
|
vmlal.s32 q4, d27, d1 |
|
vmlal.s32 q4, d22, d6 |
|
vmlal.s32 q4, d28, d0 |
|
vmull.s32 q8, d18, d7 |
|
vmlal.s32 q8, d26, d1 |
|
vmlal.s32 q8, d19, d6 |
|
vmlal.s32 q8, d27, d0 |
|
add r2, sp, #544 |
|
vld1.8 {d20-d21}, [r2, : 128] |
|
vmlal.s32 q7, d24, d21 |
|
vmlal.s32 q7, d25, d20 |
|
vmlal.s32 q4, d23, d21 |
|
vmlal.s32 q4, d29, d20 |
|
vmlal.s32 q8, d22, d21 |
|
vmlal.s32 q8, d28, d20 |
|
vmlal.s32 q5, d24, d20 |
|
vst1.8 {d14-d15}, [r2, : 128] |
|
vmull.s32 q7, d18, d6 |
|
vmlal.s32 q7, d26, d0 |
|
add r2, sp, #624 |
|
vld1.8 {d30-d31}, [r2, : 128] |
|
vmlal.s32 q2, d30, d21 |
|
vmlal.s32 q7, d19, d21 |
|
vmlal.s32 q7, d27, d20 |
|
add r2, sp, #592 |
|
vld1.8 {d26-d27}, [r2, : 128] |
|
vmlal.s32 q4, d25, d27 |
|
vmlal.s32 q8, d29, d27 |
|
vmlal.s32 q8, d25, d26 |
|
vmlal.s32 q7, d28, d27 |
|
vmlal.s32 q7, d29, d26 |
|
add r2, sp, #576 |
|
vld1.8 {d28-d29}, [r2, : 128] |
|
vmlal.s32 q4, d24, d29 |
|
vmlal.s32 q8, d23, d29 |
|
vmlal.s32 q8, d24, d28 |
|
vmlal.s32 q7, d22, d29 |
|
vmlal.s32 q7, d23, d28 |
|
vst1.8 {d8-d9}, [r2, : 128] |
|
add r2, sp, #528 |
|
vld1.8 {d8-d9}, [r2, : 128] |
|
vmlal.s32 q7, d24, d9 |
|
vmlal.s32 q7, d25, d31 |
|
vmull.s32 q1, d18, d2 |
|
vmlal.s32 q1, d19, d1 |
|
vmlal.s32 q1, d22, d0 |
|
vmlal.s32 q1, d24, d27 |
|
vmlal.s32 q1, d23, d20 |
|
vmlal.s32 q1, d12, d7 |
|
vmlal.s32 q1, d13, d6 |
|
vmull.s32 q6, d18, d1 |
|
vmlal.s32 q6, d19, d0 |
|
vmlal.s32 q6, d23, d27 |
|
vmlal.s32 q6, d22, d20 |
|
vmlal.s32 q6, d24, d26 |
|
vmull.s32 q0, d18, d0 |
|
vmlal.s32 q0, d22, d27 |
|
vmlal.s32 q0, d23, d26 |
|
vmlal.s32 q0, d24, d31 |
|
vmlal.s32 q0, d19, d20 |
|
add r2, sp, #608 |
|
vld1.8 {d18-d19}, [r2, : 128] |
|
vmlal.s32 q2, d18, d7 |
|
vmlal.s32 q5, d18, d6 |
|
vmlal.s32 q1, d18, d21 |
|
vmlal.s32 q0, d18, d28 |
|
vmlal.s32 q6, d18, d29 |
|
vmlal.s32 q2, d19, d6 |
|
vmlal.s32 q5, d19, d21 |
|
vmlal.s32 q1, d19, d29 |
|
vmlal.s32 q0, d19, d9 |
|
vmlal.s32 q6, d19, d28 |
|
add r2, sp, #560 |
|
vld1.8 {d18-d19}, [r2, : 128] |
|
add r2, sp, #480 |
|
vld1.8 {d22-d23}, [r2, : 128] |
|
vmlal.s32 q5, d19, d7 |
|
vmlal.s32 q0, d18, d21 |
|
vmlal.s32 q0, d19, d29 |
|
vmlal.s32 q6, d18, d6 |
|
add r2, sp, #496 |
|
vld1.8 {d6-d7}, [r2, : 128] |
|
vmlal.s32 q6, d19, d21 |
|
add r2, sp, #544 |
|
vld1.8 {d18-d19}, [r2, : 128] |
|
vmlal.s32 q0, d30, d8 |
|
add r2, sp, #640 |
|
vld1.8 {d20-d21}, [r2, : 128] |
|
vmlal.s32 q5, d30, d29 |
|
add r2, sp, #576 |
|
vld1.8 {d24-d25}, [r2, : 128] |
|
vmlal.s32 q1, d30, d28 |
|
vadd.i64 q13, q0, q11 |
|
vadd.i64 q14, q5, q11 |
|
vmlal.s32 q6, d30, d9 |
|
vshr.s64 q4, q13, #26 |
|
vshr.s64 q13, q14, #26 |
|
vadd.i64 q7, q7, q4 |
|
vshl.i64 q4, q4, #26 |
|
vadd.i64 q14, q7, q3 |
|
vadd.i64 q9, q9, q13 |
|
vshl.i64 q13, q13, #26 |
|
vadd.i64 q15, q9, q3 |
|
vsub.i64 q0, q0, q4 |
|
vshr.s64 q4, q14, #25 |
|
vsub.i64 q5, q5, q13 |
|
vshr.s64 q13, q15, #25 |
|
vadd.i64 q6, q6, q4 |
|
vshl.i64 q4, q4, #25 |
|
vadd.i64 q14, q6, q11 |
|
vadd.i64 q2, q2, q13 |
|
vsub.i64 q4, q7, q4 |
|
vshr.s64 q7, q14, #26 |
|
vshl.i64 q13, q13, #25 |
|
vadd.i64 q14, q2, q11 |
|
vadd.i64 q8, q8, q7 |
|
vshl.i64 q7, q7, #26 |
|
vadd.i64 q15, q8, q3 |
|
vsub.i64 q9, q9, q13 |
|
vshr.s64 q13, q14, #26 |
|
vsub.i64 q6, q6, q7 |
|
vshr.s64 q7, q15, #25 |
|
vadd.i64 q10, q10, q13 |
|
vshl.i64 q13, q13, #26 |
|
vadd.i64 q14, q10, q3 |
|
vadd.i64 q1, q1, q7 |
|
add r2, r3, #240 |
|
vshl.i64 q7, q7, #25 |
|
add r4, r3, #144 |
|
vadd.i64 q15, q1, q11 |
|
add r2, r2, #8 |
|
vsub.i64 q2, q2, q13 |
|
add r4, r4, #8 |
|
vshr.s64 q13, q14, #25 |
|
vsub.i64 q7, q8, q7 |
|
vshr.s64 q8, q15, #26 |
|
vadd.i64 q14, q13, q13 |
|
vadd.i64 q12, q12, q8 |
|
vtrn.32 d12, d14 |
|
vshl.i64 q8, q8, #26 |
|
vtrn.32 d13, d15 |
|
vadd.i64 q3, q12, q3 |
|
vadd.i64 q0, q0, q14 |
|
vst1.8 d12, [r2, : 64]! |
|
vshl.i64 q7, q13, #4 |
|
vst1.8 d13, [r4, : 64]! |
|
vsub.i64 q1, q1, q8 |
|
vshr.s64 q3, q3, #25 |
|
vadd.i64 q0, q0, q7 |
|
vadd.i64 q5, q5, q3 |
|
vshl.i64 q3, q3, #25 |
|
vadd.i64 q6, q5, q11 |
|
vadd.i64 q0, q0, q13 |
|
vshl.i64 q7, q13, #25 |
|
vadd.i64 q8, q0, q11 |
|
vsub.i64 q3, q12, q3 |
|
vshr.s64 q6, q6, #26 |
|
vsub.i64 q7, q10, q7 |
|
vtrn.32 d2, d6 |
|
vshr.s64 q8, q8, #26 |
|
vtrn.32 d3, d7 |
|
vadd.i64 q3, q9, q6 |
|
vst1.8 d2, [r2, : 64] |
|
vshl.i64 q6, q6, #26 |
|
vst1.8 d3, [r4, : 64] |
|
vadd.i64 q1, q4, q8 |
|
vtrn.32 d4, d14 |
|
vshl.i64 q4, q8, #26 |
|
vtrn.32 d5, d15 |
|
vsub.i64 q5, q5, q6 |
|
add r2, r2, #16 |
|
vsub.i64 q0, q0, q4 |
|
vst1.8 d4, [r2, : 64] |
|
add r4, r4, #16 |
|
vst1.8 d5, [r4, : 64] |
|
vtrn.32 d10, d6 |
|
vtrn.32 d11, d7 |
|
sub r2, r2, #8 |
|
sub r4, r4, #8 |
|
vtrn.32 d0, d2 |
|
vtrn.32 d1, d3 |
|
vst1.8 d10, [r2, : 64] |
|
vst1.8 d11, [r4, : 64] |
|
sub r2, r2, #24 |
|
sub r4, r4, #24 |
|
vst1.8 d0, [r2, : 64] |
|
vst1.8 d1, [r4, : 64] |
|
ldr r2, [sp, #456] |
|
ldr r4, [sp, #460] |
|
subs r5, r2, #1 |
|
bge .Lmainloop |
|
add r1, r3, #144 |
|
add r2, r3, #336 |
|
vld1.8 {d0-d1}, [r1, : 128]! |
|
vld1.8 {d2-d3}, [r1, : 128]! |
|
vld1.8 {d4}, [r1, : 64] |
|
vst1.8 {d0-d1}, [r2, : 128]! |
|
vst1.8 {d2-d3}, [r2, : 128]! |
|
vst1.8 d4, [r2, : 64] |
|
movw r1, #0 |
|
.Linvertloop: |
|
add r2, r3, #144 |
|
movw r4, #0 |
|
movw r5, #2 |
|
cmp r1, #1 |
|
moveq r5, #1 |
|
addeq r2, r3, #336 |
|
addeq r4, r3, #48 |
|
cmp r1, #2 |
|
moveq r5, #1 |
|
addeq r2, r3, #48 |
|
cmp r1, #3 |
|
moveq r5, #5 |
|
addeq r4, r3, #336 |
|
cmp r1, #4 |
|
moveq r5, #10 |
|
cmp r1, #5 |
|
moveq r5, #20 |
|
cmp r1, #6 |
|
moveq r5, #10 |
|
addeq r2, r3, #336 |
|
addeq r4, r3, #336 |
|
cmp r1, #7 |
|
moveq r5, #50 |
|
cmp r1, #8 |
|
moveq r5, #100 |
|
cmp r1, #9 |
|
moveq r5, #50 |
|
addeq r2, r3, #336 |
|
cmp r1, #10 |
|
moveq r5, #5 |
|
addeq r2, r3, #48 |
|
cmp r1, #11 |
|
moveq r5, #0 |
|
addeq r2, r3, #96 |
|
add r6, r3, #144 |
|
add r7, r3, #288 |
|
vld1.8 {d0-d1}, [r6, : 128]! |
|
vld1.8 {d2-d3}, [r6, : 128]! |
|
vld1.8 {d4}, [r6, : 64] |
|
vst1.8 {d0-d1}, [r7, : 128]! |
|
vst1.8 {d2-d3}, [r7, : 128]! |
|
vst1.8 d4, [r7, : 64] |
|
cmp r5, #0 |
|
beq .Lskipsquaringloop |
|
.Lsquaringloop: |
|
add r6, r3, #288 |
|
add r7, r3, #288 |
|
add r8, r3, #288 |
|
vmov.i32 q0, #19 |
|
vmov.i32 q1, #0 |
|
vmov.i32 q2, #1 |
|
vzip.i32 q1, q2 |
|
vld1.8 {d4-d5}, [r7, : 128]! |
|
vld1.8 {d6-d7}, [r7, : 128]! |
|
vld1.8 {d9}, [r7, : 64] |
|
vld1.8 {d10-d11}, [r6, : 128]! |
|
add r7, sp, #384 |
|
vld1.8 {d12-d13}, [r6, : 128]! |
|
vmul.i32 q7, q2, q0 |
|
vld1.8 {d8}, [r6, : 64] |
|
vext.32 d17, d11, d10, #1 |
|
vmul.i32 q9, q3, q0 |
|
vext.32 d16, d10, d8, #1 |
|
vshl.u32 q10, q5, q1 |
|
vext.32 d22, d14, d4, #1 |
|
vext.32 d24, d18, d6, #1 |
|
vshl.u32 q13, q6, q1 |
|
vshl.u32 d28, d8, d2 |
|
vrev64.i32 d22, d22 |
|
vmul.i32 d1, d9, d1 |
|
vrev64.i32 d24, d24 |
|
vext.32 d29, d8, d13, #1 |
|
vext.32 d0, d1, d9, #1 |
|
vrev64.i32 d0, d0 |
|
vext.32 d2, d9, d1, #1 |
|
vext.32 d23, d15, d5, #1 |
|
vmull.s32 q4, d20, d4 |
|
vrev64.i32 d23, d23 |
|
vmlal.s32 q4, d21, d1 |
|
vrev64.i32 d2, d2 |
|
vmlal.s32 q4, d26, d19 |
|
vext.32 d3, d5, d15, #1 |
|
vmlal.s32 q4, d27, d18 |
|
vrev64.i32 d3, d3 |
|
vmlal.s32 q4, d28, d15 |
|
vext.32 d14, d12, d11, #1 |
|
vmull.s32 q5, d16, d23 |
|
vext.32 d15, d13, d12, #1 |
|
vmlal.s32 q5, d17, d4 |
|
vst1.8 d8, [r7, : 64]! |
|
vmlal.s32 q5, d14, d1 |
|
vext.32 d12, d9, d8, #0 |
|
vmlal.s32 q5, d15, d19 |
|
vmov.i64 d13, #0 |
|
vmlal.s32 q5, d29, d18 |
|
vext.32 d25, d19, d7, #1 |
|
vmlal.s32 q6, d20, d5 |
|
vrev64.i32 d25, d25 |
|
vmlal.s32 q6, d21, d4 |
|
vst1.8 d11, [r7, : 64]! |
|
vmlal.s32 q6, d26, d1 |
|
vext.32 d9, d10, d10, #0 |
|
vmlal.s32 q6, d27, d19 |
|
vmov.i64 d8, #0 |
|
vmlal.s32 q6, d28, d18 |
|
vmlal.s32 q4, d16, d24 |
|
vmlal.s32 q4, d17, d5 |
|
vmlal.s32 q4, d14, d4 |
|
vst1.8 d12, [r7, : 64]! |
|
vmlal.s32 q4, d15, d1 |
|
vext.32 d10, d13, d12, #0 |
|
vmlal.s32 q4, d29, d19 |
|
vmov.i64 d11, #0 |
|
vmlal.s32 q5, d20, d6 |
|
vmlal.s32 q5, d21, d5 |
|
vmlal.s32 q5, d26, d4 |
|
vext.32 d13, d8, d8, #0 |
|
vmlal.s32 q5, d27, d1 |
|
vmov.i64 d12, #0 |
|
vmlal.s32 q5, d28, d19 |
|
vst1.8 d9, [r7, : 64]! |
|
vmlal.s32 q6, d16, d25 |
|
vmlal.s32 q6, d17, d6 |
|
vst1.8 d10, [r7, : 64] |
|
vmlal.s32 q6, d14, d5 |
|
vext.32 d8, d11, d10, #0 |
|
vmlal.s32 q6, d15, d4 |
|
vmov.i64 d9, #0 |
|
vmlal.s32 q6, d29, d1 |
|
vmlal.s32 q4, d20, d7 |
|
vmlal.s32 q4, d21, d6 |
|
vmlal.s32 q4, d26, d5 |
|
vext.32 d11, d12, d12, #0 |
|
vmlal.s32 q4, d27, d4 |
|
vmov.i64 d10, #0 |
|
vmlal.s32 q4, d28, d1 |
|
vmlal.s32 q5, d16, d0 |
|
sub r6, r7, #32 |
|
vmlal.s32 q5, d17, d7 |
|
vmlal.s32 q5, d14, d6 |
|
vext.32 d30, d9, d8, #0 |
|
vmlal.s32 q5, d15, d5 |
|
vld1.8 {d31}, [r6, : 64]! |
|
vmlal.s32 q5, d29, d4 |
|
vmlal.s32 q15, d20, d0 |
|
vext.32 d0, d6, d18, #1 |
|
vmlal.s32 q15, d21, d25 |
|
vrev64.i32 d0, d0 |
|
vmlal.s32 q15, d26, d24 |
|
vext.32 d1, d7, d19, #1 |
|
vext.32 d7, d10, d10, #0 |
|
vmlal.s32 q15, d27, d23 |
|
vrev64.i32 d1, d1 |
|
vld1.8 {d6}, [r6, : 64] |
|
vmlal.s32 q15, d28, d22 |
|
vmlal.s32 q3, d16, d4 |
|
add r6, r6, #24 |
|
vmlal.s32 q3, d17, d2 |
|
vext.32 d4, d31, d30, #0 |
|
vmov d17, d11 |
|
vmlal.s32 q3, d14, d1 |
|
vext.32 d11, d13, d13, #0 |
|
vext.32 d13, d30, d30, #0 |
|
vmlal.s32 q3, d15, d0 |
|
vext.32 d1, d8, d8, #0 |
|
vmlal.s32 q3, d29, d3 |
|
vld1.8 {d5}, [r6, : 64] |
|
sub r6, r6, #16 |
|
vext.32 d10, d6, d6, #0 |
|
vmov.i32 q1, #0xffffffff |
|
vshl.i64 q4, q1, #25 |
|
add r7, sp, #480 |
|
vld1.8 {d14-d15}, [r7, : 128] |
|
vadd.i64 q9, q2, q7 |
|
vshl.i64 q1, q1, #26 |
|
vshr.s64 q10, q9, #26 |
|
vld1.8 {d0}, [r6, : 64]! |
|
vadd.i64 q5, q5, q10 |
|
vand q9, q9, q1 |
|
vld1.8 {d16}, [r6, : 64]! |
|
add r6, sp, #496 |
|
vld1.8 {d20-d21}, [r6, : 128] |
|
vadd.i64 q11, q5, q10 |
|
vsub.i64 q2, q2, q9 |
|
vshr.s64 q9, q11, #25 |
|
vext.32 d12, d5, d4, #0 |
|
vand q11, q11, q4 |
|
vadd.i64 q0, q0, q9 |
|
vmov d19, d7 |
|
vadd.i64 q3, q0, q7 |
|
vsub.i64 q5, q5, q11 |
|
vshr.s64 q11, q3, #26 |
|
vext.32 d18, d11, d10, #0 |
|
vand q3, q3, q1 |
|
vadd.i64 q8, q8, q11 |
|
vadd.i64 q11, q8, q10 |
|
vsub.i64 q0, q0, q3 |
|
vshr.s64 q3, q11, #25 |
|
vand q11, q11, q4 |
|
vadd.i64 q3, q6, q3 |
|
vadd.i64 q6, q3, q7 |
|
vsub.i64 q8, q8, q11 |
|
vshr.s64 q11, q6, #26 |
|
vand q6, q6, q1 |
|
vadd.i64 q9, q9, q11 |
|
vadd.i64 d25, d19, d21 |
|
vsub.i64 q3, q3, q6 |
|
vshr.s64 d23, d25, #25 |
|
vand q4, q12, q4 |
|
vadd.i64 d21, d23, d23 |
|
vshl.i64 d25, d23, #4 |
|
vadd.i64 d21, d21, d23 |
|
vadd.i64 d25, d25, d21 |
|
vadd.i64 d4, d4, d25 |
|
vzip.i32 q0, q8 |
|
vadd.i64 d12, d4, d14 |
|
add r6, r8, #8 |
|
vst1.8 d0, [r6, : 64] |
|
vsub.i64 d19, d19, d9 |
|
add r6, r6, #16 |
|
vst1.8 d16, [r6, : 64] |
|
vshr.s64 d22, d12, #26 |
|
vand q0, q6, q1 |
|
vadd.i64 d10, d10, d22 |
|
vzip.i32 q3, q9 |
|
vsub.i64 d4, d4, d0 |
|
sub r6, r6, #8 |
|
vst1.8 d6, [r6, : 64] |
|
add r6, r6, #16 |
|
vst1.8 d18, [r6, : 64] |
|
vzip.i32 q2, q5 |
|
sub r6, r6, #32 |
|
vst1.8 d4, [r6, : 64] |
|
subs r5, r5, #1 |
|
bhi .Lsquaringloop |
|
.Lskipsquaringloop: |
|
mov r2, r2 |
|
add r5, r3, #288 |
|
add r6, r3, #144 |
|
vmov.i32 q0, #19 |
|
vmov.i32 q1, #0 |
|
vmov.i32 q2, #1 |
|
vzip.i32 q1, q2 |
|
vld1.8 {d4-d5}, [r5, : 128]! |
|
vld1.8 {d6-d7}, [r5, : 128]! |
|
vld1.8 {d9}, [r5, : 64] |
|
vld1.8 {d10-d11}, [r2, : 128]! |
|
add r5, sp, #384 |
|
vld1.8 {d12-d13}, [r2, : 128]! |
|
vmul.i32 q7, q2, q0 |
|
vld1.8 {d8}, [r2, : 64] |
|
vext.32 d17, d11, d10, #1 |
|
vmul.i32 q9, q3, q0 |
|
vext.32 d16, d10, d8, #1 |
|
vshl.u32 q10, q5, q1 |
|
vext.32 d22, d14, d4, #1 |
|
vext.32 d24, d18, d6, #1 |
|
vshl.u32 q13, q6, q1 |
|
vshl.u32 d28, d8, d2 |
|
vrev64.i32 d22, d22 |
|
vmul.i32 d1, d9, d1 |
|
vrev64.i32 d24, d24 |
|
vext.32 d29, d8, d13, #1 |
|
vext.32 d0, d1, d9, #1 |
|
vrev64.i32 d0, d0 |
|
vext.32 d2, d9, d1, #1 |
|
vext.32 d23, d15, d5, #1 |
|
vmull.s32 q4, d20, d4 |
|
vrev64.i32 d23, d23 |
|
vmlal.s32 q4, d21, d1 |
|
vrev64.i32 d2, d2 |
|
vmlal.s32 q4, d26, d19 |
|
vext.32 d3, d5, d15, #1 |
|
vmlal.s32 q4, d27, d18 |
|
vrev64.i32 d3, d3 |
|
vmlal.s32 q4, d28, d15 |
|
vext.32 d14, d12, d11, #1 |
|
vmull.s32 q5, d16, d23 |
|
vext.32 d15, d13, d12, #1 |
|
vmlal.s32 q5, d17, d4 |
|
vst1.8 d8, [r5, : 64]! |
|
vmlal.s32 q5, d14, d1 |
|
vext.32 d12, d9, d8, #0 |
|
vmlal.s32 q5, d15, d19 |
|
vmov.i64 d13, #0 |
|
vmlal.s32 q5, d29, d18 |
|
vext.32 d25, d19, d7, #1 |
|
vmlal.s32 q6, d20, d5 |
|
vrev64.i32 d25, d25 |
|
vmlal.s32 q6, d21, d4 |
|
vst1.8 d11, [r5, : 64]! |
|
vmlal.s32 q6, d26, d1 |
|
vext.32 d9, d10, d10, #0 |
|
vmlal.s32 q6, d27, d19 |
|
vmov.i64 d8, #0 |
|
vmlal.s32 q6, d28, d18 |
|
vmlal.s32 q4, d16, d24 |
|
vmlal.s32 q4, d17, d5 |
|
vmlal.s32 q4, d14, d4 |
|
vst1.8 d12, [r5, : 64]! |
|
vmlal.s32 q4, d15, d1 |
|
vext.32 d10, d13, d12, #0 |
|
vmlal.s32 q4, d29, d19 |
|
vmov.i64 d11, #0 |
|
vmlal.s32 q5, d20, d6 |
|
vmlal.s32 q5, d21, d5 |
|
vmlal.s32 q5, d26, d4 |
|
vext.32 d13, d8, d8, #0 |
|
vmlal.s32 q5, d27, d1 |
|
vmov.i64 d12, #0 |
|
vmlal.s32 q5, d28, d19 |
|
vst1.8 d9, [r5, : 64]! |
|
vmlal.s32 q6, d16, d25 |
|
vmlal.s32 q6, d17, d6 |
|
vst1.8 d10, [r5, : 64] |
|
vmlal.s32 q6, d14, d5 |
|
vext.32 d8, d11, d10, #0 |
|
vmlal.s32 q6, d15, d4 |
|
vmov.i64 d9, #0 |
|
vmlal.s32 q6, d29, d1 |
|
vmlal.s32 q4, d20, d7 |
|
vmlal.s32 q4, d21, d6 |
|
vmlal.s32 q4, d26, d5 |
|
vext.32 d11, d12, d12, #0 |
|
vmlal.s32 q4, d27, d4 |
|
vmov.i64 d10, #0 |
|
vmlal.s32 q4, d28, d1 |
|
vmlal.s32 q5, d16, d0 |
|
sub r2, r5, #32 |
|
vmlal.s32 q5, d17, d7 |
|
vmlal.s32 q5, d14, d6 |
|
vext.32 d30, d9, d8, #0 |
|
vmlal.s32 q5, d15, d5 |
|
vld1.8 {d31}, [r2, : 64]! |
|
vmlal.s32 q5, d29, d4 |
|
vmlal.s32 q15, d20, d0 |
|
vext.32 d0, d6, d18, #1 |
|
vmlal.s32 q15, d21, d25 |
|
vrev64.i32 d0, d0 |
|
vmlal.s32 q15, d26, d24 |
|
vext.32 d1, d7, d19, #1 |
|
vext.32 d7, d10, d10, #0 |
|
vmlal.s32 q15, d27, d23 |
|
vrev64.i32 d1, d1 |
|
vld1.8 {d6}, [r2, : 64] |
|
vmlal.s32 q15, d28, d22 |
|
vmlal.s32 q3, d16, d4 |
|
add r2, r2, #24 |
|
vmlal.s32 q3, d17, d2 |
|
vext.32 d4, d31, d30, #0 |
|
vmov d17, d11 |
|
vmlal.s32 q3, d14, d1 |
|
vext.32 d11, d13, d13, #0 |
|
vext.32 d13, d30, d30, #0 |
|
vmlal.s32 q3, d15, d0 |
|
vext.32 d1, d8, d8, #0 |
|
vmlal.s32 q3, d29, d3 |
|
vld1.8 {d5}, [r2, : 64] |
|
sub r2, r2, #16 |
|
vext.32 d10, d6, d6, #0 |
|
vmov.i32 q1, #0xffffffff |
|
vshl.i64 q4, q1, #25 |
|
add r5, sp, #480 |
|
vld1.8 {d14-d15}, [r5, : 128] |
|
vadd.i64 q9, q2, q7 |
|
vshl.i64 q1, q1, #26 |
|
vshr.s64 q10, q9, #26 |
|
vld1.8 {d0}, [r2, : 64]! |
|
vadd.i64 q5, q5, q10 |
|
vand q9, q9, q1 |
|
vld1.8 {d16}, [r2, : 64]! |
|
add r2, sp, #496 |
|
vld1.8 {d20-d21}, [r2, : 128] |
|
vadd.i64 q11, q5, q10 |
|
vsub.i64 q2, q2, q9 |
|
vshr.s64 q9, q11, #25 |
|
vext.32 d12, d5, d4, #0 |
|
vand q11, q11, q4 |
|
vadd.i64 q0, q0, q9 |
|
vmov d19, d7 |
|
vadd.i64 q3, q0, q7 |
|
vsub.i64 q5, q5, q11 |
|
vshr.s64 q11, q3, #26 |
|
vext.32 d18, d11, d10, #0 |
|
vand q3, q3, q1 |
|
vadd.i64 q8, q8, q11 |
|
vadd.i64 q11, q8, q10 |
|
vsub.i64 q0, q0, q3 |
|
vshr.s64 q3, q11, #25 |
|
vand q11, q11, q4 |
|
vadd.i64 q3, q6, q3 |
|
vadd.i64 q6, q3, q7 |
|
vsub.i64 q8, q8, q11 |
|
vshr.s64 q11, q6, #26 |
|
vand q6, q6, q1 |
|
vadd.i64 q9, q9, q11 |
|
vadd.i64 d25, d19, d21 |
|
vsub.i64 q3, q3, q6 |
|
vshr.s64 d23, d25, #25 |
|
vand q4, q12, q4 |
|
vadd.i64 d21, d23, d23 |
|
vshl.i64 d25, d23, #4 |
|
vadd.i64 d21, d21, d23 |
|
vadd.i64 d25, d25, d21 |
|
vadd.i64 d4, d4, d25 |
|
vzip.i32 q0, q8 |
|
vadd.i64 d12, d4, d14 |
|
add r2, r6, #8 |
|
vst1.8 d0, [r2, : 64] |
|
vsub.i64 d19, d19, d9 |
|
add r2, r2, #16 |
|
vst1.8 d16, [r2, : 64] |
|
vshr.s64 d22, d12, #26 |
|
vand q0, q6, q1 |
|
vadd.i64 d10, d10, d22 |
|
vzip.i32 q3, q9 |
|
vsub.i64 d4, d4, d0 |
|
sub r2, r2, #8 |
|
vst1.8 d6, [r2, : 64] |
|
add r2, r2, #16 |
|
vst1.8 d18, [r2, : 64] |
|
vzip.i32 q2, q5 |
|
sub r2, r2, #32 |
|
vst1.8 d4, [r2, : 64] |
|
cmp r4, #0 |
|
beq .Lskippostcopy |
|
add r2, r3, #144 |
|
mov r4, r4 |
|
vld1.8 {d0-d1}, [r2, : 128]! |
|
vld1.8 {d2-d3}, [r2, : 128]! |
|
vld1.8 {d4}, [r2, : 64] |
|
vst1.8 {d0-d1}, [r4, : 128]! |
|
vst1.8 {d2-d3}, [r4, : 128]! |
|
vst1.8 d4, [r4, : 64] |
|
.Lskippostcopy: |
|
cmp r1, #1 |
|
bne .Lskipfinalcopy |
|
add r2, r3, #288 |
|
add r4, r3, #144 |
|
vld1.8 {d0-d1}, [r2, : 128]! |
|
vld1.8 {d2-d3}, [r2, : 128]! |
|
vld1.8 {d4}, [r2, : 64] |
|
vst1.8 {d0-d1}, [r4, : 128]! |
|
vst1.8 {d2-d3}, [r4, : 128]! |
|
vst1.8 d4, [r4, : 64] |
|
.Lskipfinalcopy: |
|
add r1, r1, #1 |
|
cmp r1, #12 |
|
blo .Linvertloop |
|
add r1, r3, #144 |
|
ldr r2, [r1], #4 |
|
ldr r3, [r1], #4 |
|
ldr r4, [r1], #4 |
|
ldr r5, [r1], #4 |
|
ldr r6, [r1], #4 |
|
ldr r7, [r1], #4 |
|
ldr r8, [r1], #4 |
|
ldr r9, [r1], #4 |
|
ldr r10, [r1], #4 |
|
ldr r1, [r1] |
|
add r11, r1, r1, LSL #4 |
|
add r11, r11, r1, LSL #1 |
|
add r11, r11, #16777216 |
|
mov r11, r11, ASR #25 |
|
add r11, r11, r2 |
|
mov r11, r11, ASR #26 |
|
add r11, r11, r3 |
|
mov r11, r11, ASR #25 |
|
add r11, r11, r4 |
|
mov r11, r11, ASR #26 |
|
add r11, r11, r5 |
|
mov r11, r11, ASR #25 |
|
add r11, r11, r6 |
|
mov r11, r11, ASR #26 |
|
add r11, r11, r7 |
|
mov r11, r11, ASR #25 |
|
add r11, r11, r8 |
|
mov r11, r11, ASR #26 |
|
add r11, r11, r9 |
|
mov r11, r11, ASR #25 |
|
add r11, r11, r10 |
|
mov r11, r11, ASR #26 |
|
add r11, r11, r1 |
|
mov r11, r11, ASR #25 |
|
add r2, r2, r11 |
|
add r2, r2, r11, LSL #1 |
|
add r2, r2, r11, LSL #4 |
|
mov r11, r2, ASR #26 |
|
add r3, r3, r11 |
|
sub r2, r2, r11, LSL #26 |
|
mov r11, r3, ASR #25 |
|
add r4, r4, r11 |
|
sub r3, r3, r11, LSL #25 |
|
mov r11, r4, ASR #26 |
|
add r5, r5, r11 |
|
sub r4, r4, r11, LSL #26 |
|
mov r11, r5, ASR #25 |
|
add r6, r6, r11 |
|
sub r5, r5, r11, LSL #25 |
|
mov r11, r6, ASR #26 |
|
add r7, r7, r11 |
|
sub r6, r6, r11, LSL #26 |
|
mov r11, r7, ASR #25 |
|
add r8, r8, r11 |
|
sub r7, r7, r11, LSL #25 |
|
mov r11, r8, ASR #26 |
|
add r9, r9, r11 |
|
sub r8, r8, r11, LSL #26 |
|
mov r11, r9, ASR #25 |
|
add r10, r10, r11 |
|
sub r9, r9, r11, LSL #25 |
|
mov r11, r10, ASR #26 |
|
add r1, r1, r11 |
|
sub r10, r10, r11, LSL #26 |
|
mov r11, r1, ASR #25 |
|
sub r1, r1, r11, LSL #25 |
|
add r2, r2, r3, LSL #26 |
|
mov r3, r3, LSR #6 |
|
add r3, r3, r4, LSL #19 |
|
mov r4, r4, LSR #13 |
|
add r4, r4, r5, LSL #13 |
|
mov r5, r5, LSR #19 |
|
add r5, r5, r6, LSL #6 |
|
add r6, r7, r8, LSL #25 |
|
mov r7, r8, LSR #7 |
|
add r7, r7, r9, LSL #19 |
|
mov r8, r9, LSR #13 |
|
add r8, r8, r10, LSL #12 |
|
mov r9, r10, LSR #20 |
|
add r1, r9, r1, LSL #6 |
|
str r2, [r0] |
|
str r3, [r0, #4] |
|
str r4, [r0, #8] |
|
str r5, [r0, #12] |
|
str r6, [r0, #16] |
|
str r7, [r0, #20] |
|
str r8, [r0, #24] |
|
str r1, [r0, #28] |
|
movw r0, #0 |
|
mov sp, ip |
|
pop {r4-r11, pc} |
|
ENDPROC(curve25519_neon)
|
|
|