@/******************************************************************************
@ *
@ * Copyright (C) 2018 The Android Open Source Project
@ *
@ * Licensed under the Apache License, Version 2.0 (the "License");
@ * you may not use this file except in compliance with the License.
@ * You may obtain a copy of the License at:
@ *
@ * http://www.apache.org/licenses/LICENSE-2.0
@ *
@ * Unless required by applicable law or agreed to in writing, software
@ * distributed under the License is distributed on an "AS IS" BASIS,
@ * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
@ * See the License for the specific language governing permissions and
@ * limitations under the License.
@ *
@ *****************************************************************************
@ * Originally developed and contributed by Ittiam Systems Pvt. Ltd, Bangalore
@*/
.text
.p2align 2
.global ixheaacd_post_twid_overlap_add_armv7
ixheaacd_post_twid_overlap_add_armv7:
STMFD sp!, {R4-R12}
VPUSH {d8 - d15}
LDR R4, [sp, #100]
LDR R5, [sp, #104]
LDR R6, [sp, #108]
LSL R9, R3, #2
ASR R9, R9, #1
ADD R6, R6, R9
SUB R6, R6, #4
LDR R8, =7500
ADD R2, R2, R8
VMOV.S16 D18, #50
RSB R9, R5, #15
VMOV.S32 Q10, #0x00008000
VDUP.32 Q8, R5
SUB R5, R5, #16
STR R5, [sp, #116]
MOV R8, #1
LSL R8, R8, R9
STR R8, [sp, #120]
ARM_PROLOGUE:
LDR R8, [R1], #4
LDR R9, [R1], #4
LDR R10, [R2], #4
SMULWT R11, R8, R10
SMULWB R12, R9, R10
SMULWB R5, R8, R10
SMLAWT R7, R9, R10, R5
SUB R8, R12, R11
MVN R5, R7
ADD R5, R5, #1
MOV R9, #50
MOV R12, #-50
SMULWB R10, R5, R9
SMULWB R11, R8, R12
ADD R8, R8, R10
ADD R5, R5, R11
LDR R11, [sp, #104]
LDR R10, [R6], #-32
SMULWB R7, R8, R10
MVN R8, R8
ADD R8, R8, #1
SMULWT R12, R8, R10
CMP R11, #0
BLT NEXT
RSBS R9, R11, #16
LDR R8, [sp, #120]
QADD R5, R5, R8
ASR R5, R5, R9
RSBS R9, R11, #31
MOVS R8, R7, ASR R9
CMNLT R8, #1
MOVLT R7, #0x80000000
MVNGT R7, #0x80000000
MOVEQ R7, R7, LSL R11
RSBS R9, R11, #31
MOVS R8, R12, ASR R9
CMNLT R8, #1
MOVLT R12, #0x80000000
MVNGT R12, #0x80000000
MOVEQ R12, R12, LSL R11
B NEXT1
NEXT:
MVN R11, R11
ADD R11, R11, #1
ASR R5, R5, R11
MOV R8, #0x8000
QADD R5, R5, R8
ASR R5, R5, #16
ASR R7, R7, R11
ASR R12, R12, R11
NEXT1:
LDR R9, [R4]
MOV R8, #0x8000
STR R5, [R4], #4
UXTH R5, R10, ROR #16
UXTH R10, R10
VDUP.32 D0, R9
VDUP.32 D2, R10
VDUP.32 D3, R5
VZIP.32 D2, D3
VMULL.S32 Q0, D2, D0
VQMOVN.S64 D8, Q0
VDUP.32 D0, R12
VDUP.32 D1, R7
VZIP.32 D0, D1
VQSUB.S32 D8, D0, D8
VQSHL.S32 D8, D8, #2
VDUP.32 D0, R8
VQADD.S32 D8, D8, D0
VSHR.S32 D8, D8, #16
LDR R7, [sp, #112]
LSL R10, R7, #1
ASR R5, R3, #1
SMULBB R5, R10, R5
ADD R5, R5, R0
SUB R0, R5, R10
MVN R9, R10
ADD R9, R9, #1
VST1.16 D8[2], [R0], R9
VST1.16 D8[0], [R5], R10
MOV R8, R1
LSL R12, R3, #2
ADD R1, R1, R12
SUB R1, R1, #40
MOV R12, #-32
PROLOGUE_NEON:
ASR R3, R3, #2
SUB R3, R3, #4
ASR R3, R3, #2
SUB R3, R3, #2
VLD2.32 {Q0, Q1}, [R1], R12
VUZP.16 D0, D1
VUZP.16 D2, D3
VREV64.16 Q0, Q0
VREV64.16 Q1, Q1
VLD2.16 {D8, D9}, [R2]!
VLD2.32 {Q2, Q3}, [R8]!
VMULL.U16 Q15, D0, D9
VUZP.16 D4, D5
VMULL.U16 Q14, D2, D8
VUZP.16 D6, D7
VMULL.U16 Q13, D0, D8
VMULL.U16 Q12, D2, D9
VLD2.32 {Q5, Q6}, [R6], R12
VSHR.U32 Q15, Q15, #16
VUZP.16 D10, D11
VSHR.U32 Q14, Q14, #16
VUZP.16 D12, D13
VMLAL.S16 Q15, D1, D9
VREV64.16 Q5, Q5
VMLAL.S16 Q14, D3, D8
VREV64.16 Q6, Q6
VSHR.U32 Q13, Q13, #16
VSHR.U32 Q12, Q12, #16
VMLAL.S16 Q13, D1, D8
VMLAL.S16 Q12, D3, D9
VADD.I32 Q15, Q15, Q14
VNEG.S32 Q15, Q15
VMULL.U16 Q11, D4, D8
VSUB.I32 Q14, Q12, Q13
VMOV Q13, Q15
VMOV Q12, Q14
VUZP.16 D24, D25
VUZP.16 D26, D27
VMULL.U16 Q1, D24, D18
VMULL.U16 Q0, D26, D18
VSHR.U32 Q11, Q11, #16
VMLAL.S16 Q11, D5, D8
VSHR.U32 Q1, Q1, #16
VSHR.U32 Q0, Q0, #16
VMLAL.S16 Q1, D25, D18
VMLAL.S16 Q0, D27, D18
VMULL.U16 Q12, D4, D9
VMULL.U16 Q13, D6, D8
VNEG.S32 Q1, Q1
VADD.I32 Q14, Q14, Q0
VADD.I32 Q15, Q15, Q1
VMULL.U16 Q0, D6, D9
VSHR.S32 Q12, Q12, #16
VMLAL.S16 Q12, D5, D9
VSHR.S32 Q13, Q13, #16
VSHR.S32 Q0, Q0, #16
VMLAL.S16 Q13, D7, D8
VMLAL.S16 Q0, D7, D9
VADD.I32 Q11, Q11, Q0
VNEG.S32 Q11, Q11
VSUB.I32 Q12, Q13, Q12
LDR R11, [sp, #120]
VDUP.S32 Q7, R11
VQADD.S32 Q14, Q14, Q7
LDR R11, [sp, #116]
VDUP.S32 Q0, R11
VQSHL.S32 Q14, Q14, Q0
VMOV Q0, Q11
VMOV Q7, Q12
VUZP.16 D24, D25
VUZP.16 D22, D23
VMULL.U16 Q4, D24, D18
VMULL.U16 Q13, D22, D18
VNEG.S32 Q1, Q15
VUZP.16 D30, D31
VUZP.16 D2, D3
VMULL.U16 Q2, D30, D12
VMULL.U16 Q3, D2, D13
VSHR.U32 Q4, Q4, #16
VSHR.U32 Q13, Q13, #16
VMLAL.S16 Q4, D25, D18
VMLAL.S16 Q13, D23, D18
VSHR.U32 Q2, Q2, #16
VSHR.U32 Q3, Q3, #16
VMLAL.S16 Q2, D31, D12
VMLAL.S16 Q3, D3, D13
VNEG.S32 Q4, Q4
VADD.I32 Q7, Q7, Q13
VADD.I32 Q0, Q0, Q4
LDR R11, [sp, #120]
VDUP.S32 Q4, R11
VQADD.S32 Q0, Q0, Q4
LDR R11, [sp, #116]
VDUP.S32 Q13, R11
VQSHL.S32 Q0, Q0, Q13
VMOV Q13, Q14
VLD2.32 {Q14, Q15}, [R4]
VZIP.32 Q13, Q0
VST1.32 {Q13}, [R4]!
VST1.32 {Q0}, [R4]!
VMOV.S32 D1, #0
VADDL.S16 Q0, D13, D1
VMULL.S32 Q13, D28, D0
VQMOVN.S64 D8, Q13
VMULL.S32 Q13, D29, D1
VQMOVN.S64 D9, Q13
VMOV.S32 D1, #0
VADDL.S16 Q0, D12, D1
VMULL.S32 Q12, D28, D0
VQMOVN.S64 D26, Q12
VMULL.S32 Q12, D29, D1
VQMOVN.S64 D27, Q12
VQSHL.S32 Q2, Q2, Q8
VQSHL.S32 Q3, Q3, Q8
VQSUB.S32 Q2, Q2, Q4
VQSUB.S32 Q3, Q3, Q13
VNEG.S32 Q13, Q7
VUZP.16 D14, D15
VUZP.16 D26, D27
VMOV.S32 D1, #0
VADDL.S16 Q0, D10, D1
VMULL.S32 Q11, D30, D0
VQMOVN.S64 D24, Q11
VMULL.S32 Q11, D31, D1
VQMOVN.S64 D25, Q11
VMOV.S32 D1, #0
VADDL.S16 Q0, D11, D1
VMULL.S32 Q4, D30, D0
VQMOVN.S64 D22, Q4
VMULL.S32 Q4, D31, D1
VQMOVN.S64 D23, Q4
VMULL.U16 Q4, D26, D11
VMULL.U16 Q15, D14, D10
VLD2.32 {Q0, Q1}, [R1], R12
VUZP.16 D0, D1
VUZP.16 D2, D3
VSHR.U32 Q4, Q4, #16
VREV64.16 Q0, Q0
VSHR.U32 Q15, Q15, #16
VREV64.16 Q1, Q1
VMLAL.S16 Q4, D27, D11
VMLAL.S16 Q15, D15, D10
VLD2.32 {Q5, Q6}, [R6], R12
VQSHL.S32 Q2, Q2, #2
VUZP.16 D10, D11
VQSHL.S32 Q3, Q3, #2
VUZP.16 D12, D13
VQADD.S32 Q7, Q2, Q10
VREV64.16 Q5, Q5
VQADD.S32 Q3, Q3, Q10
VREV64.16 Q6, Q6
VSHR.S32 Q7, Q7, #16
VUZP.16 D14, D15
VSHR.S32 Q3, Q3, #16
VUZP.16 D6, D7
VMOV D15, D6
VQSHL.S32 Q4, Q4, Q8
VLD2.32 {Q2, Q3}, [R8]!
VQSHL.S32 Q15, Q15, Q8
VUZP.16 D4, D5
VQSUB.S32 Q4, Q4, Q12
VUZP.16 D6, D7
VQSUB.S32 Q11, Q15, Q11
VQSHL.S32 Q15, Q4, #2
VLD2.16 {D8, D9}, [R2]!
VQSHL.S32 Q11, Q11, #2
VQADD.S32 Q15, Q15, Q10
VQADD.S32 Q11, Q11, Q10
VSHR.S32 Q15, Q15, #16
VUZP.16 D30, D31
VSHR.S32 Q11, Q11, #16
VUZP.16 D22, D23
VMOV D23, D30
CORE_LOOP_PTO:
VST1.16 D14[0], [R0, : 16], R9
VMULL.U16 Q15, D0, D9
VST1.16 D22[0], [R0, : 16], R9
VMULL.U16 Q14, D2, D8
VST1.16 D14[1], [R0, : 16], R9
VMULL.U16 Q13, D0, D8
VST1.16 D22[1], [R0, : 16], R9
VMULL.U16 Q12, D2, D9
VST1.16 D14[2], [R0, : 16], R9
VSHR.U32 Q15, Q15, #16
VST1.16 D22[2], [R0, : 16], R9
VSHR.U32 Q14, Q14, #16
VST1.16 D14[3], [R0, : 16], R9
VMLAL.S16 Q15, D1, D9
VST1.16 D22[3], [R0, : 16], R9
VMLAL.S16 Q14, D3, D8
VST1.16 D15[0], [R5, : 16], R10
VSHR.U32 Q13, Q13, #16
VST1.16 D23[0], [R5, : 16], R10
VSHR.U32 Q12, Q12, #16
VST1.16 D15[1], [R5, : 16], R10
VMLAL.S16 Q13, D1, D8
VST1.16 D23[1], [R5, : 16], R10
VMLAL.S16 Q12, D3, D9
VST1.16 D15[2], [R5, : 16], R10
VADD.I32 Q15, Q15, Q14
VST1.16 D23[2], [R5, : 16], R10
VNEG.S32 Q15, Q15
VST1.16 D15[3], [R5, : 16], R10
VST1.16 D23[3], [R5, : 16], R10
VSUB.I32 Q14, Q12, Q13
VMOV Q13, Q15
VMULL.U16 Q11, D4, D8
VMOV Q12, Q14
VUZP.16 D24, D25
VUZP.16 D26, D27
VMULL.U16 Q1, D24, D18
VMULL.U16 Q0, D26, D18
VSHR.U32 Q11, Q11, #16
VMLAL.S16 Q11, D5, D8
VSHR.U32 Q1, Q1, #16
VSHR.U32 Q0, Q0, #16
VMLAL.S16 Q1, D25, D18
VMLAL.S16 Q0, D27, D18
VMULL.U16 Q12, D4, D9
VMULL.U16 Q13, D6, D8
VNEG.S32 Q1, Q1
VADD.I32 Q14, Q14, Q0
VADD.I32 Q15, Q15, Q1
VMULL.U16 Q0, D6, D9
VSHR.S32 Q12, Q12, #16
VMLAL.S16 Q12, D5, D9
VSHR.S32 Q13, Q13, #16
VSHR.S32 Q0, Q0, #16
VMLAL.S16 Q13, D7, D8
VMLAL.S16 Q0, D7, D9
VADD.I32 Q11, Q11, Q0
VNEG.S32 Q11, Q11
VSUB.I32 Q12, Q13, Q12
LDR R11, [sp, #120]
VDUP.S32 Q7, R11
VQADD.S32 Q14, Q14, Q7
LDR R11, [sp, #116]
VDUP.S32 Q0, R11
VQSHL.S32 Q14, Q14, Q0
VMOV Q0, Q11
VMOV Q7, Q12
VUZP.16 D24, D25
VUZP.16 D22, D23
VMULL.U16 Q4, D24, D18
VMULL.U16 Q13, D22, D18
VNEG.S32 Q1, Q15
VUZP.16 D30, D31
VUZP.16 D2, D3
VMULL.U16 Q2, D30, D12
VMULL.U16 Q3, D2, D13
VSHR.U32 Q4, Q4, #16
VSHR.U32 Q13, Q13, #16
VMLAL.S16 Q4, D25, D18
VMLAL.S16 Q13, D23, D18
VSHR.U32 Q2, Q2, #16
VSHR.U32 Q3, Q3, #16
VMLAL.S16 Q2, D31, D12
VMLAL.S16 Q3, D3, D13
VNEG.S32 Q4, Q4
VADD.I32 Q7, Q7, Q13
VADD.I32 Q0, Q0, Q4
LDR R11, [sp, #120]
VDUP.S32 Q4, R11
VQADD.S32 Q0, Q0, Q4
LDR R11, [sp, #116]
VDUP.S32 Q13, R11
VQSHL.S32 Q0, Q0, Q13
VMOV Q13, Q14
VLD2.32 {Q14, Q15}, [R4]
VZIP.32 Q13, Q0
VST1.32 {Q13}, [R4]!
VST1.32 {Q0}, [R4]!
VMOV.S32 D1, #0
VADDL.S16 Q0, D13, D1
VMULL.S32 Q13, D28, D0
VQMOVN.S64 D8, Q13
VMULL.S32 Q13, D29, D1
VQMOVN.S64 D9, Q13
VMOV.S32 D1, #0
VADDL.S16 Q0, D12, D1
VMULL.S32 Q12, D28, D0
VQMOVN.S64 D26, Q12
VMULL.S32 Q12, D29, D1
VQMOVN.S64 D27, Q12
VQSHL.S32 Q2, Q2, Q8
VQSHL.S32 Q3, Q3, Q8
VQSUB.S32 Q2, Q2, Q4
VQSUB.S32 Q3, Q3, Q13
VNEG.S32 Q13, Q7
VUZP.16 D26, D27
VMOV.S32 D1, #0
VADDL.S16 Q0, D10, D1
VMULL.S32 Q11, D30, D0
VQMOVN.S64 D24, Q11
VMULL.S32 Q11, D31, D1
VQMOVN.S64 D25, Q11
VMOV.S32 D1, #0
VADDL.S16 Q0, D11, D1
VMULL.S32 Q4, D30, D0
VQMOVN.S64 D22, Q4
VMULL.S32 Q4, D31, D1
VQMOVN.S64 D23, Q4
VUZP.16 D14, D15
VMULL.U16 Q4, D26, D11
VMULL.U16 Q15, D14, D10
VLD2.32 {Q0, Q1}, [R1], R12
VUZP.16 D0, D1
VUZP.16 D2, D3
VSHR.U32 Q4, Q4, #16
VREV64.16 Q0, Q0
VSHR.U32 Q15, Q15, #16
VREV64.16 Q1, Q1
VMLAL.S16 Q4, D27, D11
VMLAL.S16 Q15, D15, D10
VLD2.32 {Q5, Q6}, [R6], R12
VQSHL.S32 Q2, Q2, #2
VUZP.16 D10, D11
VQSHL.S32 Q3, Q3, #2
VUZP.16 D12, D13
VQADD.S32 Q7, Q2, Q10
VREV64.16 Q5, Q5
VQADD.S32 Q3, Q3, Q10
VREV64.16 Q6, Q6
VSHR.S32 Q7, Q7, #16
VUZP.16 D14, D15
VSHR.S32 Q3, Q3, #16
VUZP.16 D6, D7
VMOV D15, D6
VQSHL.S32 Q4, Q4, Q8
VLD2.32 {Q2, Q3}, [R8]!
VQSHL.S32 Q15, Q15, Q8
VUZP.16 D4, D5
VQSUB.S32 Q4, Q4, Q12
VUZP.16 D6, D7
VQSUB.S32 Q11, Q15, Q11
VQSHL.S32 Q15, Q4, #2
VLD2.16 {D8, D9}, [R2]!
VQSHL.S32 Q11, Q11, #2
VQADD.S32 Q15, Q15, Q10
VQADD.S32 Q11, Q11, Q10
VSHR.S32 Q15, Q15, #16
VUZP.16 D30, D31
VSHR.S32 Q11, Q11, #16
VUZP.16 D22, D23
VMOV D23, D30
SUBS R3, R3, #1
BNE CORE_LOOP_PTO
EPILOGUE:
VST1.16 D14[0], [R0], R9
VMULL.U16 Q15, D0, D9
VST1.16 D22[0], [R0], R9
VMULL.U16 Q14, D2, D8
VST1.16 D14[1], [R0], R9
VMULL.U16 Q13, D0, D8
VST1.16 D22[1], [R0], R9
VMULL.U16 Q12, D2, D9
VST1.16 D14[2], [R0], R9
VSHR.U32 Q15, Q15, #16
VST1.16 D22[2], [R0], R9
VSHR.U32 Q14, Q14, #16
VST1.16 D14[3], [R0], R9
VMLAL.S16 Q15, D1, D9
VST1.16 D22[3], [R0], R9
VMLAL.S16 Q14, D3, D8
VST1.16 D15[0], [R5], R10
VSHR.U32 Q13, Q13, #16
VST1.16 D23[0], [R5], R10
VSHR.U32 Q12, Q12, #16
VST1.16 D15[1], [R5], R10
VMLAL.S16 Q13, D1, D8
VST1.16 D23[1], [R5], R10
VMLAL.S16 Q12, D3, D9
VST1.16 D15[2], [R5], R10
VADD.I32 Q15, Q15, Q14
VST1.16 D23[2], [R5], R10
VNEG.S32 Q15, Q15
VST1.16 D15[3], [R5], R10
VST1.16 D23[3], [R5], R10
VSUB.I32 Q14, Q12, Q13
VMULL.U16 Q11, D4, D8
VMOV Q13, Q15
VMOV Q12, Q14
VMOV Q13, Q15
VMOV Q12, Q14
VUZP.16 D26, D27
VUZP.16 D24, D25
VMULL.U16 Q1, D24, D18
VMULL.U16 Q0, D26, D18
VSHR.U32 Q11, Q11, #16
VMLAL.S16 Q11, D5, D8
VSHR.U32 Q1, Q1, #16
VSHR.U32 Q0, Q0, #16
VMLAL.S16 Q1, D25, D18
VMLAL.S16 Q0, D27, D18
VMULL.U16 Q12, D4, D9
VMULL.U16 Q13, D6, D8
VNEG.S32 Q1, Q1
VADD.I32 Q14, Q14, Q0
VADD.I32 Q15, Q15, Q1
VMULL.U16 Q0, D6, D9
VSHR.S32 Q12, Q12, #16
VMLAL.S16 Q12, D5, D9
VSHR.S32 Q13, Q13, #16
VSHR.S32 Q0, Q0, #16
VMLAL.S16 Q13, D7, D8
VMLAL.S16 Q0, D7, D9
VADD.I32 Q11, Q11, Q0
VNEG.S32 Q11, Q11
VSUB.I32 Q12, Q13, Q12
LDR R11, [sp, #120]
VDUP.S32 Q7, R11
VQADD.S32 Q14, Q14, Q7
LDR R11, [sp, #116]
VDUP.S32 Q0, R11
VQSHL.S32 Q14, Q14, Q0
VMOV Q0, Q11
VMOV Q7, Q12
VUZP.16 D22, D23
VUZP.16 D24, D25
VMULL.U16 Q4, D24, D18
VMULL.U16 Q13, D22, D18
VNEG.S32 Q1, Q15
VUZP.16 D30, D31
VUZP.16 D2, D3
VMULL.U16 Q2, D30, D12
VMULL.U16 Q3, D2, D13
VSHR.U32 Q4, Q4, #16
VSHR.U32 Q13, Q13, #16
VMLAL.S16 Q4, D25, D18
VMLAL.S16 Q13, D23, D18
VSHR.U32 Q2, Q2, #16
VSHR.U32 Q3, Q3, #16
VMLAL.S16 Q2, D31, D12
VMLAL.S16 Q3, D3, D13
VNEG.S32 Q4, Q4
VADD.I32 Q7, Q7, Q13
VADD.I32 Q0, Q0, Q4
LDR R11, [sp, #120]
VDUP.S32 Q4, R11
VQADD.S32 Q0, Q0, Q4
LDR R11, [sp, #116]
VDUP.S32 Q13, R11
VQSHL.S32 Q0, Q0, Q13
VMOV Q13, Q14
VLD2.32 {Q14, Q15}, [R4]
VZIP.32 Q13, Q0
VST1.32 {Q13}, [R4]!
VST1.32 {Q0}, [R4]!
VMOV.S32 D1, #0
VADDL.S16 Q0, D13, D1
VMULL.S32 Q13, D28, D0
VQMOVN.S64 D8, Q13
VMULL.S32 Q13, D29, D1
VQMOVN.S64 D9, Q13
VMOV.S32 D1, #0
VADDL.S16 Q0, D12, D1
VMULL.S32 Q12, D28, D0
VQMOVN.S64 D26, Q12
VMULL.S32 Q12, D29, D1
VQMOVN.S64 D27, Q12
VQSHL.S32 Q2, Q2, Q8
VQSHL.S32 Q3, Q3, Q8
VQSUB.S32 Q2, Q2, Q4
VQSUB.S32 Q3, Q3, Q13
VNEG.S32 Q13, Q7
VUZP.16 D14, D15
VUZP.16 D26, D27
VMOV.S32 D1, #0
VADDL.S16 Q0, D10, D1
VMULL.S32 Q11, D30, D0
VQMOVN.S64 D24, Q11
VMULL.S32 Q11, D31, D1
VQMOVN.S64 D25, Q11
VMOV.S32 D1, #0
VADDL.S16 Q0, D11, D1
VMULL.S32 Q4, D30, D0
VQMOVN.S64 D22, Q4
VMULL.S32 Q4, D31, D1
VQMOVN.S64 D23, Q4
VMULL.U16 Q4, D26, D11
VMULL.U16 Q15, D14, D10
VSHR.U32 Q4, Q4, #16
VSHR.U32 Q15, Q15, #16
VMLAL.S16 Q4, D27, D11
VMLAL.S16 Q15, D15, D10
VQSHL.S32 Q2, Q2, #2
VQSHL.S32 Q3, Q3, #2
VQADD.S32 Q7, Q2, Q10
VQADD.S32 Q3, Q3, Q10
VSHR.S32 Q7, Q7, #16
VUZP.16 D14, D15
VSHR.S32 Q3, Q3, #16
VUZP.16 D6, D7
VMOV D15, D6
VQSHL.S32 Q4, Q4, Q8
VQSHL.S32 Q15, Q15, Q8
VQSUB.S32 Q4, Q4, Q12
VQSUB.S32 Q11, Q15, Q11
VQSHL.S32 Q15, Q4, #2
VQSHL.S32 Q11, Q11, #2
VQADD.S32 Q15, Q15, Q10
VQADD.S32 Q11, Q11, Q10
VSHR.S32 Q15, Q15, #16
VUZP.16 D30, D31
VSHR.S32 Q11, Q11, #16
VUZP.16 D22, D23
VMOV D23, D30
VST1.16 D14[0], [R0], R9
VST1.16 D22[0], [R0], R9
VST1.16 D14[1], [R0], R9
VST1.16 D22[1], [R0], R9
VST1.16 D14[2], [R0], R9
VST1.16 D22[2], [R0], R9
VST1.16 D14[3], [R0], R9
VST1.16 D22[3], [R0], R9
VST1.16 D15[0], [R5], R10
VST1.16 D23[0], [R5], R10
VST1.16 D15[1], [R5], R10
VST1.16 D23[1], [R5], R10
VST1.16 D15[2], [R5], R10
VST1.16 D23[2], [R5], R10
VST1.16 D15[3], [R5], R10
VST1.16 D23[3], [R5], R10
ARM_EPILOGUE:
ARM_LOOP:
VLD2.32 {Q0, Q1}, [R1]
VUZP.16 D0, D1
VUZP.16 D2, D3
VREV64.16 Q0, Q0
VREV64.16 Q1, Q1
VLD2.16 {D8, D9}, [R2]!
VLD2.32 {D4, D6}, [R8]!
VMOV.S32 D5, #0x00000000
VMOV.S32 D7, #0x00000000
VLD1.32 D5[0], [R8]!
VLD1.32 D7[0], [R8]
MOV R12, #16
VUZP.16 D4, D5
VUZP.16 D6, D7
ADD R6, R6, #16
MOV R12, #-4
VLD2.32 {D11, D13}, [R6], R12
VMOV.S32 D10, #0x00000000
VLD1.32 D12[1], [R6], R12
VLD1.32 D10[1], [R6], R12
VLD1.32 D12[0], [R6], R12
VUZP.16 D10, D11
VUZP.16 D12, D13
VREV64.16 Q5, Q5
VREV64.16 Q6, Q6
VMULL.U16 Q15, D0, D9
VMULL.U16 Q14, D2, D8
VMULL.U16 Q13, D0, D8
VMULL.U16 Q12, D2, D9
VSHR.U32 Q15, Q15, #16
VSHR.U32 Q14, Q14, #16
VMLAL.S16 Q15, D1, D9
VMLAL.S16 Q14, D3, D8
VSHR.U32 Q13, Q13, #16
VSHR.U32 Q12, Q12, #16
VMLAL.S16 Q13, D1, D8
VMLAL.S16 Q12, D3, D9
VADD.I32 Q15, Q15, Q14
VNEG.S32 Q15, Q15
VMULL.U16 Q11, D4, D8
VSUB.I32 Q14, Q12, Q13
VMOV Q13, Q15
VMOV Q12, Q14
VUZP.16 D26, D27
VUZP.16 D24, D25
VMULL.U16 Q1, D24, D18
VMULL.U16 Q0, D26, D18
VSHR.U32 Q11, Q11, #16
VMLAL.S16 Q11, D5, D8
VSHR.U32 Q1, Q1, #16
VSHR.U32 Q0, Q0, #16
VMLAL.S16 Q1, D25, D18
VMLAL.S16 Q0, D27, D18
VMULL.U16 Q12, D4, D9
VMULL.U16 Q13, D6, D8
VNEG.S32 Q1, Q1
VADD.I32 Q14, Q14, Q0
VADD.I32 Q15, Q15, Q1
VMULL.U16 Q0, D6, D9
VSHR.S32 Q12, Q12, #16
VMLAL.S16 Q12, D5, D9
VSHR.S32 Q13, Q13, #16
VSHR.S32 Q0, Q0, #16
VMLAL.S16 Q13, D7, D8
VMLAL.S16 Q0, D7, D9
VADD.I32 Q11, Q11, Q0
VNEG.S32 Q11, Q11
VSUB.I32 Q12, Q13, Q12
LDR R11, [sp, #120]
VDUP.S32 Q7, R11
VQADD.S32 Q14, Q14, Q7
LDR R11, [sp, #116]
VDUP.S32 Q0, R11
VQSHL.S32 Q14, Q14, Q0
VMOV Q0, Q11
VMOV Q7, Q12
VUZP.16 D22, D23
VUZP.16 D24, D25
VMULL.U16 Q4, D24, D18
VMULL.U16 Q13, D22, D18
VNEG.S32 Q1, Q15
VUZP.16 D30, D31
VUZP.16 D2, D3
VMULL.U16 Q2, D30, D12
VMULL.U16 Q3, D2, D13
VSHR.U32 Q4, Q4, #16
VSHR.U32 Q13, Q13, #16
VMLAL.S16 Q4, D25, D18
VMLAL.S16 Q13, D23, D18
VSHR.U32 Q2, Q2, #16
VSHR.U32 Q3, Q3, #16
VMLAL.S16 Q2, D31, D12
VMLAL.S16 Q3, D3, D13
VNEG.S32 Q4, Q4
VADD.I32 Q7, Q7, Q13
VADD.I32 Q0, Q0, Q4
LDR R11, [sp, #120]
VDUP.S32 Q4, R11
VQADD.S32 Q0, Q0, Q4
LDR R11, [sp, #116]
VDUP.S32 Q13, R11
VQSHL.S32 Q0, Q0, Q13
VMOV Q13, Q14
MOV R6, R4
VLD1.32 {D28, D29}, [R4]!
VMOV.S32 D31, #0x00000000
VLD1.32 D30[0], [R4]!
VLD1.32 D30[1], [R4]!
VLD1.32 D31[0], [R4]!
VUZP.32 Q14, Q15
VST1.32 D26[0], [R6]!
VST1.32 D0[0], [R6]!
VST1.32 D26[1], [R6]!
VST1.32 D0[1], [R6]!
VST1.32 D27[0], [R6]!
VST1.32 D1[0], [R6]!
VST1.32 D27[1], [R6]!
VMOV.S32 D1, #0
VADDL.S16 Q0, D13, D1
VMULL.S32 Q13, D28, D0
VQMOVN.S64 D8, Q13
VMULL.S32 Q13, D29, D1
VQMOVN.S64 D9, Q13
VMOV.S32 D1, #0
VADDL.S16 Q0, D12, D1
VMULL.S32 Q12, D28, D0
VQMOVN.S64 D26, Q12
VMULL.S32 Q12, D29, D1
VQMOVN.S64 D27, Q12
VQSHL.S32 Q2, Q2, Q8
VQSHL.S32 Q3, Q3, Q8
VQSUB.S32 Q2, Q2, Q4
VQSUB.S32 Q3, Q3, Q13
VNEG.S32 Q13, Q7
VUZP.16 D14, D15
VUZP.16 D26, D27
VMOV.S32 D1, #0
VADDL.S16 Q0, D10, D1
VMULL.S32 Q11, D30, D0
VQMOVN.S64 D24, Q11
VMULL.S32 Q11, D31, D1
VQMOVN.S64 D25, Q11
VMOV.S32 D1, #0
VADDL.S16 Q0, D11, D1
VMULL.S32 Q4, D30, D0
VQMOVN.S64 D22, Q4
VMULL.S32 Q4, D31, D1
VQMOVN.S64 D23, Q4
VMULL.U16 Q4, D26, D11
VMULL.U16 Q15, D14, D10
VSHR.U32 Q4, Q4, #16
VSHR.U32 Q15, Q15, #16
VMLAL.S16 Q4, D27, D11
VMLAL.S16 Q15, D15, D10
VQSHL.S32 Q2, Q2, #2
VQSHL.S32 Q3, Q3, #2
VQADD.S32 Q7, Q2, Q10
VQADD.S32 Q3, Q3, Q10
VSHR.S32 Q7, Q7, #16
VUZP.16 D14, D15
VSHR.S32 Q3, Q3, #16
VUZP.16 D6, D7
VMOV D15, D6
VQSHL.S32 Q4, Q4, Q8
VQSHL.S32 Q15, Q15, Q8
VQSUB.S32 Q4, Q4, Q12
VQSUB.S32 Q11, Q15, Q11
VQSHL.S32 Q15, Q4, #2
VQSHL.S32 Q11, Q11, #2
VQADD.S32 Q15, Q15, Q10
VQADD.S32 Q11, Q11, Q10
VSHR.S32 Q15, Q15, #16
VUZP.16 D30, D31
VSHR.S32 Q11, Q11, #16
VUZP.16 D22, D23
VMOV D23, D30
VST1.16 D14[0], [R0], R9
VST1.16 D22[0], [R0], R9
VST1.16 D14[1], [R0], R9
VST1.16 D22[1], [R0], R9
VST1.16 D14[2], [R0], R9
VST1.16 D22[2], [R0], R9
VST1.16 D14[3], [R0], R9
VST1.16 D15[0], [R5], R10
VST1.16 D23[0], [R5], R10
VST1.16 D15[1], [R5], R10
VST1.16 D23[1], [R5], R10
VST1.16 D15[2], [R5], R10
VST1.16 D23[2], [R5], R10
VST1.16 D15[3], [R5], R10
VPOP {d8 - d15}
LDMFD sp!, {R4-R12}
BX LR