|
|
reference, declaration → definition
definition → references, declarations, derived classes, virtual overrides
reference to multiple definitions → definitions
unreferenced
|
Declarations
include/llvm/CodeGen/SelectionDAGNodes.h 165 inline EVT getValueType() const;
References
gen/lib/Target/AMDGPU/AMDGPUGenDAGISel.inc78717 assert(N->getOperand(0).getValueType().getSizeInBits() == 16);
gen/lib/Target/X86/X86GenDAGISel.inc253839 return St->getAlignment() >= St->getOperand(1).getValueType().getStoreSize();
254554 return Mgt->getIndex().getValueType() == MVT::v4i32;
254563 return Mgt->getIndex().getValueType() == MVT::v2i64;
254572 return Mgt->getIndex().getValueType() == MVT::v4i64;
254581 return Mgt->getIndex().getValueType() == MVT::v8i32;
254590 return Mgt->getIndex().getValueType() == MVT::v8i64;
254599 return Mgt->getIndex().getValueType() == MVT::v16i32;
254608 return Sc->getIndex().getValueType() == MVT::v8i32;
254617 return Sc->getIndex().getValueType() == MVT::v8i64;
254626 return Sc->getIndex().getValueType() == MVT::v4i32;
254635 return Sc->getIndex().getValueType() == MVT::v4i64;
254644 return Sc->getIndex().getValueType() == MVT::v2i64;
254653 return Sc->getIndex().getValueType() == MVT::v16i32;
include/llvm/CodeGen/SelectionDAG.h 484 assert((!N.getNode() || N.getValueType() == MVT::Other) &&
698 getRegister(Reg, N.getValueType()), N);
707 SDValue Ops[] = { Chain, getRegister(Reg, N.getValueType()), N, Glue };
770 assert((VT.getVectorElementType() == Op.getValueType() ||
772 VT.getVectorElementType().bitsLE(Op.getValueType()))) &&
786 assert((VT.getVectorElementType() == Op.getValueType() ||
788 VT.getVectorElementType().bitsLE(Op.getValueType()))) &&
847 EVT VT = Op.getValueType();
852 EVT VT = Op.getValueType();
979 assert(LHS.getValueType().isVector() == RHS.getValueType().isVector() &&
979 assert(LHS.getValueType().isVector() == RHS.getValueType().isVector() &&
981 assert(LHS.getValueType().isVector() == VT.isVector() &&
992 assert(LHS.getValueType() == RHS.getValueType() &&
992 assert(LHS.getValueType() == RHS.getValueType() &&
994 assert(VT.isVector() == LHS.getValueType().isVector() &&
996 auto Opcode = Cond.getValueType().isVector() ? ISD::VSELECT : ISD::SELECT;
1004 return getNode(ISD::SELECT_CC, DL, True.getValueType(), LHS, RHS, True,
1656 std::tie(LoVT, HiVT) = GetSplitDestVTs(N.getValueType());
include/llvm/CodeGen/SelectionDAGNodes.h 169 return getValueType().getSimpleVT();
174 return getValueType().getSizeInBits();
178 return getValueType().getScalarType().getSizeInBits();
291 EVT getValueType() const { return Val.getValueType(); }
988 getOperand(getNumOperands()-1).getValueType() == MVT::Glue)
997 if (UI.getUse().get().getValueType() == MVT::Glue)
include/llvm/CodeGen/TargetLowering.h 2493 return isZExtFree(Val.getValueType(), VT2);
lib/CodeGen/SelectionDAG/DAGCombiner.cpp 301 EVT VT = Op.getValueType();
311 unsigned NumElts = Op.getValueType().getVectorNumElements();
821 if (TLI.getBooleanContents(N.getValueType()) ==
940 EVT VT = N0.getValueType();
977 if (N0.getValueType().isFloatingPoint() ||
978 N1.getValueType().isFloatingPoint())
998 N->getValueType(i) == To[i].getValueType()) &&
1127 Op.getValueType().isByteSized() ? ISD::SIGN_EXTEND : ISD::ZERO_EXTEND;
1140 EVT OldVT = Op.getValueType();
1150 return DAG.getNode(ISD::SIGN_EXTEND_INREG, DL, NewOp.getValueType(), NewOp,
1155 EVT OldVT = Op.getValueType();
1175 EVT VT = Op.getValueType();
1240 EVT VT = Op.getValueType();
1289 EVT VT = Op.getValueType();
1320 EVT VT = Op.getValueType();
1467 assert(N->getValueType(0) == RV.getValueType() &&
1694 if (N->getOperand(0).getValueType() == MVT::Other)
1696 if (N->getOperand(NumOps-1).getValueType() == MVT::Other)
1699 if (N->getOperand(i).getValueType() == MVT::Other)
1960 EVT VT = Sel.getValueType();
1968 if (SelOpNo && VT != CBO.getValueType())
2010 Z.getOperand(0).getValueType() != MVT::i1)
2025 EVT VT = C.getValueType();
2055 EVT VT = ShiftOp.getValueType();
2077 EVT VT = N0.getValueType();
2139 (TLI.isOperationLegal(ISD::XOR, X.getValueType()) &&
2142 SDValue Not = DAG.getNOT(DL, X, X.getValueType());
2295 EVT VT = N0.getValueType();
2319 EVT VT = N0.getValueType();
2393 TLI.getBooleanContents(V.getValueType()) ==
2408 EVT VT = N0.getValueType();
2420 EVT VT = N0.getValueType();
2491 DAG.getVTList(VT, Carry.getValueType()), N0,
2500 EVT VT = N0.getValueType();
2529 EVT VT = V.getValueType();
2565 EVT VT = V.getValueType();
2590 EVT VT = N0.getValueType();
2635 EVT VT = N0.getValueType();
2643 SDValue One = DAG.getConstant(1, SDLoc(N), Y.getValueType());
2698 EVT VT = N0.getValueType();
2699 EVT CarryVT = CarryIn.getValueType();
2757 EVT VT = Combiner.getSetCCResultType(Carry0.getValueType());
2770 DAG.getConstant(0, DL, X.getValueType()),
2856 EVT VT = N0.getValueType();
3154 DAG.getVTList(VT, Carry.getValueType()), NegX, Zero,
3165 EVT VT = N0.getValueType();
3202 EVT VT = N0.getValueType();
3230 EVT VT = N0.getValueType();
3299 EVT VT = N0.getValueType();
3320 EVT VT = N0.getValueType();
3388 EVT ShiftVT = getShiftAmountTy(N0.getValueType());
3402 getShiftAmountTy(N0.getValueType()))));
3659 return DAG.getNode(ISD::UDIV, DL, N1.getValueType(), N0, N1);
3714 EVT ShiftAmtTy = getShiftAmountTy(N0.getValueType());
3834 EVT ShiftVT = getShiftAmountTy(N0.getValueType());
3848 EVT ADDVT = N1.getOperand(1).getValueType();
3969 return DAG.getNode(ISD::SRA, DL, N0.getValueType(), N0,
3971 getShiftAmountTy(N0.getValueType())));
3989 getShiftAmountTy(N1.getValueType())));
4016 return DAG.getConstant(0, DL, N0.getValueType());
4028 EVT ShiftVT = getShiftAmountTy(N0.getValueType());
4045 getShiftAmountTy(N1.getValueType())));
4085 TLI.isOperationLegalOrCustom(LoOpt.getOpcode(), LoOpt.getValueType())))
4095 TLI.isOperationLegalOrCustom(HiOpt.getOpcode(), HiOpt.getValueType())))
4122 getShiftAmountTy(Lo.getValueType())));
4165 getShiftAmountTy(Lo.getValueType())));
4179 EVT VT = N0.getValueType();
4207 EVT VT = N0.getValueType();
4251 EVT VT = N0.getValueType();
4268 EVT XVT = X.getValueType();
4277 if (XVT != Y.getValueType())
4301 if (XVT != Y.getValueType())
4347 if (XVT.isInteger() && XVT == Y.getValueType() &&
4370 assert(X.getValueType() == Y.getValueType() &&
4370 assert(X.getValueType() == Y.getValueType() &&
4419 assert(N0.getValueType() == N1.getValueType() &&
4419 assert(N0.getValueType() == N1.getValueType() &&
4421 assert(LL.getValueType() == LR.getValueType() &&
4421 assert(LL.getValueType() == LR.getValueType() &&
4422 RL.getValueType() == RR.getValueType() &&
4422 RL.getValueType() == RR.getValueType() &&
4428 EVT VT = N0.getValueType();
4429 EVT OpVT = LL.getValueType();
4433 if (OpVT != RL.getValueType())
4563 EVT VT = N1.getValueType();
4724 EVT PtrType = LDST->getBasePtr().getValueType();
4764 !TLI.isTruncStoreLegal(Store->getValue().getValueType(), MemVT))
4778 if (Op.getValueType().isVector())
4818 Op.getOperand(0).getValueType();
4901 SDValue And = DAG.getNode(ISD::AND, SDLoc(Op1), Op1.getValueType(),
5037 EVT VT = N1.getValueType();
5052 SDLoc(N), N0.getValueType());
5056 SDLoc(N), N1.getValueType());
5109 N0.getValueType(), N0Op0);
5605 EVT VT = N1.getValueType();
5658 EVT VT = N0.getValueType();
5675 EVT VT = N1.getValueType();
5695 return DAG.getAllOnesConstant(SDLoc(N), N0.getValueType());
5698 return DAG.getAllOnesConstant(SDLoc(N), N1.getValueType());
5901 EVT ShiftedVT = OppShiftLHS.getValueType();
5940 ShiftedVT != ExtractFrom.getValueType())
5989 EVT ShiftVT = OppShift.getOperand(1).getValueType();
5990 EVT ResVT = ExtractFrom.getValueType();
6123 EVT VT = Shifted.getValueType();
6138 EVT VT = LHS.getValueType();
6150 LHS.getOperand(0).getValueType() == RHS.getOperand(0).getValueType()) {
6150 LHS.getOperand(0).getValueType() == RHS.getOperand(0).getValueType()) {
6151 assert(LHS.getValueType() == RHS.getValueType());
6151 assert(LHS.getValueType() == RHS.getValueType());
6153 return DAG.getNode(ISD::TRUNCATE, SDLoc(LHS), LHS.getValueType(), Rot);
6333 assert(Op.getValueType().isScalarInteger() && "can't handle other types");
6541 else if (CombinedValue.getValueType() != VT) {
6542 if (Value.getValueType() == VT ||
6599 if (VT != CombinedValue.getValueType()) {
6600 assert(CombinedValue.getValueType().getSizeInBits() > VT.getSizeInBits() &&
6859 EVT VT = N0.getValueType();
6907 LHS.getValueType().isInteger());
6927 V = DAG.getNode(ISD::XOR, DL0, V.getValueType(), V,
6928 DAG.getConstant(1, DL0, V.getValueType()));
7116 EVT ShiftAmtVT = Shift->getOperand(1).getValueType();
7247 DAG.getConstant(RotAmt, dl, N1.getValueType()));
7287 EVT VT = N0.getValueType();
7288 EVT ShiftVT = N1.getValueType();
7306 TLI.getBooleanContents(N00.getOperand(0).getValueType()) ==
7380 EVT InnerVT = N0Op0.getValueType();
7433 EVT InnerShiftAmtVT = N0Op0.getOperand(1).getValueType();
7435 NewSHL = DAG.getNode(ISD::SHL, DL, N0Op0.getValueType(), N0Op0, NewSHL);
7537 EVT VT = N0.getValueType();
7580 EVT ShiftVT = N1.getValueType();
7633 getShiftAmountTy(N0.getOperand(0).getValueType()));
7693 EVT LargeVT = N0Op0.getValueType();
7728 EVT VT = N0.getValueType();
7773 EVT ShiftVT = N1.getValueType();
7786 EVT InnerShiftVT = N0.getOperand(0).getValueType();
7787 EVT ShiftCountVT = N0.getOperand(0).getOperand(1).getValueType();
7818 EVT SmallVT = N0.getOperand(0).getValueType();
7873 getShiftAmountTy(Op.getValueType())));
7957 EVT ShAmtTy = N2.getValueType();
8123 EVT VT = LHS.getValueType();
8189 VT != Cond.getOperand(0).getValueType())
8220 EVT CondVT = Cond.getValueType();
8328 EVT VT0 = N0.getValueType();
8381 DAG.getNode(ISD::SELECT, DL, N1.getValueType(), Cond1, N1, N2, Flags);
8383 return DAG.getNode(ISD::SELECT, DL, N1.getValueType(), Cond0,
8393 SDValue InnerSelect = DAG.getNode(ISD::SELECT, DL, N1.getValueType(),
8396 return DAG.getNode(ISD::SELECT, DL, N1.getValueType(), Cond0, N1,
8408 if (N1_2 == N2 && N0.getValueType() == N1_0.getValueType()) {
8408 if (N1_2 == N2 && N0.getValueType() == N1_0.getValueType()) {
8411 SDValue And = DAG.getNode(ISD::AND, DL, N0.getValueType(), N0, N1_0);
8412 return DAG.getNode(ISD::SELECT, DL, N1.getValueType(), And, N1_1,
8417 return DAG.getNode(ISD::SELECT, DL, N1.getValueType(), Combined, N1_1,
8427 if (N2_1 == N1 && N0.getValueType() == N2_0.getValueType()) {
8427 if (N2_1 == N1 && N0.getValueType() == N2_0.getValueType()) {
8430 SDValue Or = DAG.getNode(ISD::OR, DL, N0.getValueType(), N0, N2_0);
8431 return DAG.getNode(ISD::SELECT, DL, N1.getValueType(), Or, N1,
8436 return DAG.getNode(ISD::SELECT, DL, N1.getValueType(), Combined, N1,
8742 EVT NarrowVT = LHS.getValueType();
8743 EVT WideVT = N1.getValueType().changeVectorElementTypeToInteger();
8744 EVT SetCCVT = getSetCCResultType(LHS.getValueType());
8762 return DAG.getSelect(DL, N1.getValueType(), WideSetCC, N1, N2);
8806 if (SDValue SCC = SimplifySetCC(getSetCCResultType(N0.getValueType()), N0, N1,
8822 ISD::SELECT_CC, SDLoc(N), N2.getValueType(), SCC.getOperand(0),
8911 (Opcode != ISD::ZERO_EXTEND || !TLI.isZExtFree(N0.getValueType(), VT))) {
8978 bool isTruncFree = TLI.isTruncateFree(VT, N0.getValueType());
9058 EVT SrcVT = N0.getValueType();
9130 BasePtr = DAG.getNode(ISD::ADD, DL, BasePtr.getValueType(), BasePtr,
9131 DAG.getConstant(Stride, DL, BasePtr.getValueType()));
9148 DAG.getNode(ISD::TRUNCATE, SDLoc(N0), N0.getValueType(), NewValue);
9159 EVT OrigVT = N->getOperand(0).getValueType();
9257 EVT SetCCVT = getSetCCResultType(SetCC.getOperand(0).getValueType());
9319 !TLI.isLoadExtLegal(ExtLoadType, VT, N0.getValueType())))
9333 LN0->getBasePtr(), N0.getValueType(),
9344 DAG.getNode(ISD::TRUNCATE, SDLoc(N0), N0.getValueType(), ExtLoad);
9386 !SetCC.hasOneUse() || SetCC.getValueType() != MVT::i1)
9393 EVT XVT = X.getValueType();
9463 N0.getValueType())) {
9469 DAG.getValueType(N0.getValueType()));
9524 DAG.getNode(ISD::TRUNCATE, DL, N0.getValueType(), And);
9546 EVT N00VT = N0.getOperand(0).getValueType();
9559 if (SVT != N0.getValueType()) {
9656 N.getValueType().getScalarType() != MVT::i1 ||
9662 assert(Op0.getValueType() == Op1.getValueType());
9662 assert(Op0.getValueType() == Op1.getValueType());
9689 if (TLI.isOperationLegalOrCustom(ISD::CTPOP, CtPop.getValueType()) ||
9743 EVT SrcVT = N0.getOperand(0).getValueType();
9744 EVT MinVT = N0.getValueType();
9777 (!TLI.isTruncateFree(N0.getOperand(0).getOperand(0).getValueType(),
9778 N0.getValueType()) ||
9779 !TLI.isZExtFree(N0.getValueType(), VT))) {
9849 DAG.getNode(ISD::TRUNCATE, DL, N0.getValueType(), And);
9880 N0.getValueType().getVectorElementType() == MVT::i1) {
9881 EVT N00VT = N0.getOperand(0).getValueType();
9882 if (getSetCCResultType(N00VT) == N0.getValueType())
9993 !TLI.isTruncateFree(N0.getOperand(0).getOperand(0).getValueType(),
9994 N0.getValueType())) {
10010 TLI.isLoadExtLegal(ISD::EXTLOAD, VT, N0.getValueType())) {
10020 LN0->getBasePtr(), N0.getValueType(),
10031 N0.getValueType(), ExtLoad);
10064 EVT N00VT = N0.getOperand(0).getValueType();
10065 if (getSetCCResultType(N00VT) == N0.getValueType())
10124 assert(BigA_AssertVT.bitsLE(N0.getValueType()) &&
10131 SDValue NewAssert = DAG.getNode(Opcode, DL, BigA.getValueType(),
10144 assert(BigA_AssertVT.bitsLE(N0.getValueType()) &&
10150 SDValue NewAssert = DAG.getNode(Opcode, DL, BigA.getValueType(),
10267 TLI.isLoadExtLegal(ExtType, N0.getValueType(), MaskedVT))
10278 ExtVT == VT && TLI.isNarrowingProfitable(N0.getValueType(), VT)) {
10307 EVT PtrType = N0.getOperand(1).getValueType();
10338 EVT ShImmTy = getShiftAmountTy(Result.getValueType());
10540 EVT SrcVT = N0.getValueType();
10563 if (N0.getOperand(0).getValueType().bitsLT(VT))
10566 if (N0.getOperand(0).getValueType().bitsGT(VT))
10589 EVT VecTy = N0.getOperand(0).getValueType();
10590 EVT ExTy = N0.getValueType();
10636 if (AmtVT != Amt.getValueType()) {
10666 EVT BuildVectEltTy = BuildVect.getValueType().getVectorElementType();
10741 X.getValueType().getVectorNumElements()));
10769 EVT VecSrcVT = VecSrc.getValueType();
10908 EVT SourceVT = N0.getValueType();
10939 LogicOp0.getOperand(0).getValueType() == VT) {
10965 (!LegalOperations && VT.isInteger() && N0.getValueType().isInteger() &&
10996 TLI.hasBigEndianPartOrdering(N0.getValueType(), DAG.getDataLayout()) ==
11007 if (TLI.isLoadBitCastBeneficial(N0.getValueType(), VT, DAG,
11033 if (((N0.getOpcode() == ISD::FNEG && !TLI.isFNegFree(N0.getValueType())) ||
11034 (N0.getOpcode() == ISD::FABS && !TLI.isFAbsFree(N0.getValueType()))) &&
11036 !VT.isVector() && !N0.getValueType().isVector()) {
11041 if (N0.getValueType() == MVT::ppcf128 && !LegalTypes) {
11103 X.getValueType(), X,
11105 X.getValueType()));
11111 if (N0.getValueType() == MVT::ppcf128 && !LegalTypes) {
11158 VT.getVectorNumElements() >= N0.getValueType().getVectorNumElements() &&
11159 !(VT.getVectorNumElements() % N0.getValueType().getVectorNumElements())) {
11166 Op.getOperand(0).getValueType() == VT)
11183 VT.getVectorNumElements() / N0.getValueType().getVectorNumElements();
11222 if (Op.getValueType() != SrcEltVT)
11393 TLI.isFPExtFoldable(PreferredFusedOpcode, VT, N00.getValueType())) {
11407 TLI.isFPExtFoldable(PreferredFusedOpcode, VT, N10.getValueType())) {
11461 TLI.isFPExtFoldable(PreferredFusedOpcode, VT, N020.getValueType())) {
11490 TLI.isFPExtFoldable(PreferredFusedOpcode, VT, N00.getValueType())) {
11505 TLI.isFPExtFoldable(PreferredFusedOpcode, VT, N120.getValueType())) {
11523 TLI.isFPExtFoldable(PreferredFusedOpcode, VT, N10.getValueType())) {
11613 TLI.isFPExtFoldable(PreferredFusedOpcode, VT, N00.getValueType())) {
11629 TLI.isFPExtFoldable(PreferredFusedOpcode, VT, N10.getValueType())) {
11651 TLI.isFPExtFoldable(PreferredFusedOpcode, VT, N00.getValueType())) {
11674 TLI.isFPExtFoldable(PreferredFusedOpcode, VT, N000.getValueType())) {
11725 TLI.isFPExtFoldable(PreferredFusedOpcode, VT, N020.getValueType())) {
11750 TLI.isFPExtFoldable(PreferredFusedOpcode, VT, N00.getValueType())) {
11773 TLI.isFPExtFoldable(PreferredFusedOpcode, VT, N120.getValueType())) {
11802 TLI.isFPExtFoldable(PreferredFusedOpcode, VT, CvtSrc.getValueType())) {
12659 EVT N1Op0VT = N1->getOperand(0).getValueType();
12813 N0.getOperand(0).getValueType() == VT)
12817 N0.getOperand(0).getValueType() == VT)
12826 EVT OpVT = N0.getValueType();
12851 if (N0.getOpcode() == ISD::SETCC && N0.getValueType() == MVT::i1 &&
12887 EVT OpVT = N0.getValueType();
12939 EVT SrcVT = Src.getValueType();
12955 const fltSemantics &sem = DAG.EVTToAPFloatSemantics(N0.getValueType());
13013 if (N0.getOpcode() == ISD::FP_EXTEND && VT == N0.getOperand(0).getValueType())
13028 if (N0.getOperand(0).getValueType() == MVT::f80 && VT == MVT::f16)
13081 if (In.getValueType() == VT) return In;
13082 if (VT.bitsLT(In.getValueType()))
13090 TLI.isLoadExtLegal(ISD::EXTLOAD, VT, N0.getValueType())) {
13094 LN0->getBasePtr(), N0.getValueType(),
13099 N0.getValueType(), ExtLoad,
13175 EVT IntVT = Int.getValueType();
13178 if (N0.getValueType().isVector()) {
13273 EVT IntVT = Int.getValueType();
13276 if (N0.getValueType().isVector()) {
13311 N1.getOperand(0).getValueType())) {
13363 return DAG.getSetCC(DL, getSetCCResultType(Op0.getValueType()),
13364 Op0, DAG.getConstant(0, DL, Op0.getValueType()),
13409 EVT SetCCVT = N.getValueType();
13434 SDValue Simp = SimplifySetCC(getSetCCResultType(CondLHS.getValueType()),
13616 if (Op1.getValueType() != Offset.getValueType()) {
13616 if (Op1.getValueType() != Offset.getValueType()) {
13883 EVT STType = Val.getValueType();
13909 assert(Val.getValueType() == LDMemType &&
13944 EVT STType = ST->getValue().getValueType();
13970 SDValue Idx = DAG.getNode(Opc, SDLoc(LD), LD->getOperand(1).getValueType(),
14200 if (!TLI.isTruncateFree(LS.Inst->getOperand(0).getValueType(),
14333 EVT PtrType = Origin->getBasePtr().getValueType();
14390 EVT ArithType = BaseAddr.getValueType();
14429 TLI.getRegClassFor(Use->getOperand(0).getValueType().getSimpleVT(),
14718 if (V.getValueType() != MVT::i16 &&
14719 V.getValueType() != MVT::i32 &&
14720 V.getValueType() != MVT::i64)
14738 if (V.getValueType() != MVT::i64 && NotMaskLZ)
14803 IVal = DAG.getNode(ISD::SRL, DL, IVal.getValueType(), IVal,
14805 DC->getShiftAmountTy(IVal.getValueType())));
14815 StOffset = IVal.getValueType().getStoreSize() - ByteShift - NumBytes;
14820 Ptr = DAG.getNode(ISD::ADD, DL, Ptr.getValueType(),
14821 Ptr, DAG.getConstant(StOffset, DL, Ptr.getValueType()));
14846 EVT VT = Value.getValueType();
14933 Ptr.getValueType(), Ptr,
14935 Ptr.getValueType()));
15135 if (MemVT != Val.getValueType()) {
15169 if ((MemVT != Val.getValueType()) &&
15174 if (MemVTScalarTy != Val.getValueType().getScalarType()) {
15241 TLI.getTypeToTransformTo(*DAG.getContext(), StoredVal.getValueType());
15249 FirstInChain->getPointerInfo(), StoredVal.getValueType() /*TVT*/,
15348 if (!MemVT.bitsEq(OtherBC.getValueType()))
15627 TLI.getTypeToTransformTo(Context, StoredVal.getValueType());
16109 Ptr = DAG.getNode(ISD::ADD, DL, Ptr.getValueType(), Ptr,
16110 DAG.getConstant(4, DL, Ptr.getValueType()));
16133 EVT SVT = Value.getOperand(0).getValueType();
16142 TLI.isStoreBitCastBeneficial(Value.getValueType(), SVT,
16191 Value.getValueType().isInteger() &&
16275 DAG.getConstant(Val, SDLoc(C), ChainValue.getValueType(),
16293 TLI.isTruncStoreLegal(Value.getOperand(0).getValueType(),
16426 if (!Val.getValueType().isScalarInteger() || Val.getOpcode() != ISD::OR)
16452 !Lo.getOperand(0).getValueType().isScalarInteger() ||
16455 !Hi.getOperand(0).getValueType().isScalarInteger() ||
16462 ? Lo.getOperand(0).getValueType()
16463 : Lo.getValueType();
16465 ? Hi.getOperand(0).getValueType()
16466 : Hi.getValueType();
16486 DAG.getNode(ISD::ADD, DL, Ptr.getValueType(), Ptr,
16487 DAG.getConstant(HalfValBitSize / 8, DL, Ptr.getValueType()));
16519 XOffset = X.getValueType().getVectorNumElements();
16528 (int)(2 * Vec.getValueType().getVectorNumElements()) &&
16532 TLI.buildLegalVectorShuffle(Vec.getValueType(), SDLoc(N), X,
16544 !InsertVal.getOperand(0).getValueType().isVector())
16549 EVT SubVecVT = SubVec.getValueType();
16550 EVT VT = DestVec.getValueType();
16596 EVT VT = InVec.getValueType();
16655 Ops.append(NumElts, DAG.getUNDEF(InVal.getValueType()));
16665 EVT OpVT = Ops[0].getValueType();
16696 EVT PtrType = NewPtr.getValueType();
16798 EVT VecVT = VecOp.getValueType();
16819 if (InOp.getValueType() != ScalarVT) {
16820 assert(InOp.getValueType().isInteger() && ScalarVT.isInteger());
16837 EVT InEltVT = Elt.getValueType();
16858 if (ExtractIndex == BCTruncElt && BCSrc.getValueType().isScalarInteger())
16861 if (LegalTypes && BCSrc.getValueType().isInteger() &&
16866 assert(X.getValueType().isScalarInteger() && ScalarVT.isScalarInteger() &&
16913 if (InOp.getValueType() != ScalarVT) {
16914 assert(InOp.getValueType().isInteger() && ScalarVT.isInteger());
16970 EVT BCVT = VecOp.getOperand(0).getValueType();
17001 VecOp.getOperand(0).getValueType() == ExtVT &&
17037 Index = DAG.getConstant(Elt, DL, Index.getValueType());
17091 EVT InTy = In.getOperand(0).getValueType();
17174 EVT InVT1 = VecIn1.getValueType();
17175 EVT InVT2 = VecIn2.getNode() ? VecIn2.getValueType() : InVT1;
17268 InVT1 = VecIn1.getValueType();
17273 assert(InVT1 == VecIn2.getValueType() && "Unexpected second input type.");
17349 EVT VecVT = Extract.getOperand(0).getValueType();
17413 if (ExtractIdx.uge(ExtractedFromVec.getValueType().getVectorNumElements()))
17418 ExtractedFromVec.getValueType().getVectorElementType())
17445 EVT InVT = Vec.getValueType();
17604 EVT InSVT = In.getValueType().getScalarType();
17642 EVT SrcVT = Splat.getValueType();
17684 (Op0.getOperand(0).getValueType() == N->getValueType(0)))
17707 EVT OpVT = N->getOperand(0).getValueType();
17725 !Op.getOperand(0).getValueType().isVector())
17734 EVT LastOpVT = Ops.back().getValueType();
17751 if (Op.getValueType() == SVT)
17772 EVT OpVT = N->getOperand(0).getValueType();
17796 EVT ExtVT = ExtVec.getValueType();
17857 assert(In.getValueType().isVector() && "Must concat vectors");
17864 Ops.resize(NumOps, DAG.getUNDEF(Ops[0].getValueType()));
17874 EVT SVT = Scalar.getValueType().getVectorElementType();
17875 if (SVT == Scalar.getOperand(0).getValueType())
17880 if (!Scalar.getValueType().isVector()) {
17885 !TLI.isTypeLegal(Scalar.getValueType()) &&
17886 TLI.isTypeLegal(Scalar->getOperand(0).getValueType()))
17889 EVT SclTy = Scalar.getValueType();
17903 if (!TLI.isTypeLegal(NVT) || !TLI.isTypeLegal(Scalar.getValueType()))
17929 EVT OpSVT = Op.getOperand(0).getValueType();
17937 EVT OpVT = Op.getValueType();
17974 unsigned PartNumElem = N->getOperand(0).getValueType().getVectorNumElements();
17996 if (SingleSource.getValueType() != N->getValueType(0))
18021 V.getOperand(1).getValueType() == SubVT && V.getOperand(2) == Index) {
18026 V.getOperand(0).getValueType() == SubVT &&
18042 EVT VecVT = BinOp.getValueType();
18044 if (VecVT != Bop0.getValueType() || VecVT != Bop1.getValueType())
18044 if (VecVT != Bop0.getValueType() || VecVT != Bop1.getValueType())
18091 EVT WideBVT = BinOp.getValueType();
18125 EVT ExtBOIdxVT = Extract->getOperand(1).getValueType();
18239 if (TLI.isExtractSubvectorCheap(NVT, V.getOperand(0).getValueType(),
18250 V.getOperand(0).getValueType().isVector()) {
18252 EVT SrcVT = SrcOp.getValueType();
18254 unsigned DestNumElts = V.getValueType().getVectorNumElements();
18279 V.getOperand(0).getValueType() == NVT) {
18292 EVT InVT = V.getValueType();
18312 if (EltVT != Src.getValueType())
18329 EVT SmallVT = V.getOperand(1).getValueType();
18347 DAG.getBitcast(N->getOperand(0).getValueType(), V.getOperand(0)),
18420 EVT ConcatVT = N0.getOperand(0).getValueType();
18534 Op = Idx == 0 ? Op0 : DAG.getUNDEF(Op0.getValueType());
18557 SVT = (SVT.bitsLT(Op.getValueType()) ? Op.getValueType() : SVT);
18557 SVT = (SVT.bitsLT(Op.getValueType()) ? Op.getValueType() : SVT);
18560 Op = TLI.isZExtFree(Op.getValueType(), SVT)
18811 Op0.getOperand(2).getValueType());
18812 return DAG.getNode(ISD::INSERT_VECTOR_ELT, SDLoc(Shuf), Op0.getValueType(),
18851 assert(N0.getValueType() == VT && "Vector shuffle must be normalized in DAG");
18924 if (ConvInput.getValueType().isVector() &&
18925 ConvInput.getValueType().getVectorNumElements() == NumElts)
18987 N0.getOperand(0).getValueType() == N1.getOperand(0).getValueType()))) {
18987 N0.getOperand(0).getValueType() == N1.getOperand(0).getValueType()))) {
19072 assert(N1->getOperand(0).getValueType() == VT &&
19102 assert(OtherSV->getOperand(0).getValueType() == VT &&
19200 auto InVecT = InVec.getValueType();
19207 if (VT.getScalarType() != InVal.getValueType() &&
19208 InVal.getValueType().isScalarInteger() &&
19255 N1.getOperand(1) == N2 && N1.getOperand(0).getValueType() == VT)
19265 N1.getOperand(0).getOperand(0).getValueType().getVectorNumElements() ==
19267 N1.getOperand(0).getOperand(0).getValueType().getSizeInBits() ==
19279 EVT CN0VT = CN0.getValueType();
19280 EVT CN1VT = CN1.getValueType();
19285 CN0.getValueType(), CN0, CN1, N2);
19294 N0.getOperand(1).getValueType() == N1.getValueType() &&
19294 N0.getOperand(1).getValueType() == N1.getValueType() &&
19319 EVT N0SrcSVT = N0Src.getValueType().getScalarType();
19320 EVT N1SrcSVT = N1Src.getValueType().getScalarType();
19322 N0Src.getValueType().isVector() && N1Src.getValueType().isVector()) {
19322 N0Src.getValueType().isVector() && N1Src.getValueType().isVector()) {
19354 N1.getValueType() == N0.getOperand(1).getValueType() &&
19354 N1.getValueType() == N0.getOperand(1).getValueType() &&
19370 N0.getOperand(0).getValueType() == N1.getValueType()) {
19370 N0.getOperand(0).getValueType() == N1.getValueType()) {
19371 unsigned Factor = N1.getValueType().getVectorNumElements();
19413 EVT VT = N0.getValueType();
19422 if (Res.getValueType() != N->getValueType(0))
19461 EVT RVT = RHS.getValueType();
19549 Src0.getValueType().getVectorElementType() != EltVT ||
19550 Src1.getValueType().getVectorElementType() != EltVT ||
19592 Opcode, SDLoc(LHS), LHS.getValueType(), Ops, N->getFlags()))
19629 EVT NarrowVT = X.getValueType();
19630 if (NarrowVT == Y.getValueType() &&
19658 EVT NarrowVT = LHS.getOperand(0).getValueType();
19659 if (NarrowVT == RHS.getOperand(0).getValueType() &&
19696 N0.getValueType(),
19700 SDValue SelectNode = DAG.getSelect(SDLoc(SCC), SCC.getValueType(), SETCC,
19751 if (TheSelect->getOperand(0).getValueType().isVector()) return false;
19795 LLD->getBasePtr().getValueType()))
19837 LLD->getBasePtr().getValueType(),
19859 LLD->getBasePtr().getValueType(),
19912 EVT XType = N0.getValueType();
19913 EVT AType = N2.getValueType();
19936 EVT ShiftAmtTy = getShiftAmountTy(N0.getValueType());
19977 if (!TLI.reduceSelectOfFPConstantLoads(N0.getValueType()))
19984 EVT VT = N2.getValueType();
20016 DAG.getSetCC(DL, getSetCCResultType(N0.getValueType()), N0, N1, CC);
20018 SDValue CstOffset = DAG.getSelect(DL, Zero.getValueType(), Cond, One, Zero);
20020 CPIdx = DAG.getNode(ISD::ADD, DL, CPIdx.getValueType(), CPIdx, CstOffset);
20035 EVT CmpOpVT = N0.getValueType();
20037 EVT VT = N2.getValueType();
20079 getShiftAmountTy(AndLHS.getValueType()));
20086 getShiftAmountTy(Shl.getValueType()));
20116 if (VT.bitsLT(SCC.getValueType()))
20132 return DAG.getNode(ISD::SHL, DL, N2.getValueType(), Temp,
20135 getShiftAmountTy(Temp.getValueType())));
20249 EVT VT = V.getValueType();
20271 EVT VT = Op.getValueType();
20335 EVT VT = Arg.getValueType();
20367 EVT VT = Arg.getValueType();
20410 EVT VT = Op.getValueType();
lib/CodeGen/SelectionDAG/InstrEmitter.cpp 63 while (N && Node->getOperand(N - 1).getValueType() == MVT::Glue)
65 if (N && Node->getOperand(N - 1).getValueType() == MVT::Other)
297 assert(Op.getValueType() != MVT::Other &&
298 Op.getValueType() != MVT::Glue &&
441 assert(Op.getValueType() != MVT::Other &&
442 Op.getValueType() != MVT::Glue &&
640 if (NumOps && Node->getOperand(NumOps-1).getValueType() == MVT::Other)
1047 if (Node->getOperand(NumOps-1).getValueType() == MVT::Glue)
lib/CodeGen/SelectionDAG/LegalizeDAG.cpp 376 EVT VT = Tmp1.getValueType();
403 EVT EltVT = Vec.getValueType().getVectorElementType();
404 if (Val.getValueType() == EltVT ||
405 (EltVT.isInteger() && Val.getValueType().bitsGE(EltVT))) {
407 Vec.getValueType(), Val);
409 unsigned NumElts = Vec.getValueType().getVectorNumElements();
417 return DAG.getVectorShuffle(Vec.getValueType(), dl, Vec, ScVec, ShufOps);
469 Ptr = DAG.getNode(ISD::ADD, dl, Ptr.getValueType(), Ptr,
470 DAG.getConstant(4, dl, Ptr.getValueType()));
580 Ptr = DAG.getNode(ISD::ADD, dl, Ptr.getValueType(), Ptr,
582 Ptr.getValueType()));
584 ISD::SRL, dl, Value.getValueType(), Value,
586 TLI.getShiftAmountTy(Value.getValueType(), DL)));
596 ISD::SRL, dl, Value.getValueType(), Value,
598 TLI.getShiftAmountTy(Value.getValueType(), DL)));
604 Ptr = DAG.getNode(ISD::ADD, dl, Ptr.getValueType(), Ptr,
606 Ptr.getValueType()));
617 switch (TLI.getTruncStoreAction(ST->getValue().getValueType(), StVT)) {
760 Result.getValueType(),
762 else if (ExtType == ISD::ZEXTLOAD || NVT == Result.getValueType())
765 Result.getValueType(), Result,
796 Ptr = DAG.getNode(ISD::ADD, dl, Ptr.getValueType(), Ptr,
798 Ptr.getValueType()));
811 ISD::SHL, dl, Hi.getValueType(), Hi,
813 TLI.getShiftAmountTy(Hi.getValueType(), DL)));
827 Ptr = DAG.getNode(ISD::ADD, dl, Ptr.getValueType(), Ptr,
829 Ptr.getValueType()));
842 ISD::SHL, dl, Hi.getValueType(), Hi,
844 TLI.getShiftAmountTy(Hi.getValueType(), DL)));
937 Result.getValueType(),
978 assert((TLI.getTypeAction(*DAG.getContext(), Op.getValueType()) ==
1014 Node->getOperand(0).getValueType());
1023 Node->getOperand(2).getValueType());
1116 Node->getOperand(1).getValueType());
1136 cast<MaskedScatterSDNode>(Node)->getValue().getValueType());
1140 cast<MaskedStoreSDNode>(Node)->getValue().getValueType());
1156 Node->getOpcode(), Node->getOperand(0).getValueType());
1180 if (!Op1.getValueType().isVector()) {
1181 SDValue SAO = DAG.getShiftAmountOperand(Op0.getValueType(), Op1);
1202 if (!Op2.getValueType().isVector()) {
1203 SDValue SAO = DAG.getShiftAmountOperand(Op0.getValueType(), Op2);
1324 EVT VecVT = Vec.getValueType();
1337 if (Op.getValueType().isVector())
1339 DAG.getLoad(Op.getValueType(), dl, Ch, StackPtr, MachinePointerInfo());
1341 NewLoad = DAG.getExtLoad(ISD::EXTLOAD, dl, Op.getValueType(), Ch, StackPtr,
1359 assert(Op.getValueType().isVector() && "Non-vector insert subvector!");
1367 EVT VecVT = Vec.getValueType();
1383 return DAG.getLoad(Op.getValueType(), dl, Ch, StackPtr, PtrInfo);
1410 SDValue Idx = DAG.getConstant(Offset, dl, FIPtr.getValueType());
1411 Idx = DAG.getNode(ISD::ADD, dl, FIPtr.getValueType(), FIPtr, Idx);
1415 if (EltVT.bitsLT(Node->getOperand(i).getValueType().getScalarType())) {
1440 EVT FloatVT = Value.getValueType();
1474 IntPtr = DAG.getNode(ISD::ADD, DL, StackPtr.getValueType(), StackPtr,
1475 DAG.getConstant(ByteOffset, DL, StackPtr.getValueType()));
1511 EVT IntVT = SignAsInt.IntValue.getValueType();
1517 EVT FloatVT = Mag.getValueType();
1530 EVT MagVT = MagAsInt.IntValue.getValueType();
1563 EVT FloatVT = Value.getValueType();
1572 EVT IntVT = ValueAsInt.IntValue.getValueType();
1748 SrcOp.getValueType().getTypeForEVT(*DAG.getContext()));
1903 EVT OpVT = Node->getOperand(0).getValueType();
2027 EVT ArgVT = Op.getValueType();
2091 EVT ArgVT = Node->getOperand(i).getValueType();
2168 switch (Node->getOperand(0).getValueType().getSimpleVT().SimpleTy) {
2208 EVT ArgVT = Op.getValueType();
2350 EVT SrcVT = Op0.getValueType();
2363 StackSlot.getValueType());
2366 SDValue Lo = DAG.getNode(ISD::ADD, dl, StackSlot.getValueType(),
2411 SDValue CstOffset = DAG.getSelect(dl, Zero.getValueType(),
2433 CPIdx = DAG.getNode(ISD::ADD, dl, CPIdx.getValueType(), CPIdx, CstOffset);
2463 EVT NewInTy = LegalOp.getValueType();
2539 EVT VT = Op.getValueType();
2603 EVT VT = Op.getValueType();
2693 CfaArg.getValueType(),
2695 CfaArg.getValueType()),
2700 Results.push_back(DAG.getNode(ISD::ADD, dl, FA.getValueType(),
2842 Node->getOperand(1).getValueType(),
2849 Node->getOperand(0).getValueType(),
2929 if (Node->getOperand(0).getValueType().getVectorNumElements() == 1)
3031 EVT OpTy = Node->getOperand(0).getValueType();
3037 Node->getOperand(0).getValueType(),
3353 EVT VT = LHS.getValueType();
3431 DAG.getConstant(0, dl, Tmp1.getValueType()),
3454 ISD::SHL, dl, Index.getValueType(), Index,
3455 DAG.getConstant(llvm::Log2_32(EntrySize), dl, Index.getValueType()));
3457 Index = DAG.getNode(ISD::MUL, dl, Index.getValueType(), Index,
3458 DAG.getConstant(EntrySize, dl, Index.getValueType()));
3459 SDValue Addr = DAG.getNode(ISD::ADD, dl, Index.getValueType(),
3497 Tmp3 = DAG.getNode(ISD::AND, dl, Tmp2.getValueType(), Tmp2,
3498 DAG.getConstant(1, dl, Tmp2.getValueType()));
3501 DAG.getConstant(0, dl, Tmp3.getValueType()),
3533 switch (TLI.getBooleanContents(Tmp1.getValueType())) {
3562 EVT CmpVT = Tmp1.getValueType();
3578 Tmp1.getValueType().isInteger());
3599 getSetCCResultType(Tmp1.getValueType()), Tmp1, Tmp2, CC, NeedInvert,
3615 Tmp2 = DAG.getConstant(0, dl, Tmp1.getValueType());
3632 Tmp2.getValueType()), Tmp2, Tmp3, Tmp4, NeedInvert, dl);
3644 Tmp3 = DAG.getConstant(0, dl, Tmp2.getValueType());
3731 Node->getOperand(1).getValueType())
4041 RTLIB::getFPROUND(Node->getOperand(0).getValueType(), MVT::f16);
4458 EVT IdxVT = Idx.getValueType();
4505 EVT IdxVT = Idx.getValueType();
lib/CodeGen/SelectionDAG/LegalizeFloatTypes.cpp 161 NewOp.getValueType().getVectorElementType(),
182 EVT OpsVT[2] = { N->getOperand(0).getValueType(),
183 N->getOperand(1).getValueType() };
199 EVT OpsVT[2] = { N->getOperand(0).getValueType(),
200 N->getOperand(1).getValueType() };
216 EVT OpsVT[2] = { N->getOperand(0).getValueType(),
217 N->getOperand(1).getValueType() };
232 EVT OpsVT[1] = { N->getOperand(0).getValueType() };
247 EVT OpsVT[1] = { N->getOperand(0).getValueType() };
263 EVT LVT = LHS.getValueType();
264 EVT RVT = RHS.getValueType();
282 TLI.getShiftAmountTy(SignBit.getValueType(),
290 TLI.getShiftAmountTy(SignBit.getValueType(),
310 EVT OpsVT[1] = { N->getOperand(0).getValueType() };
326 EVT OpsVT[2] = { N->getOperand(0).getValueType(),
327 N->getOperand(1).getValueType() };
342 EVT OpsVT[1] = { N->getOperand(0).getValueType() };
357 EVT OpsVT[1] = { N->getOperand(0).getValueType() };
372 EVT OpsVT[1] = { N->getOperand(0).getValueType() };
387 EVT OpsVT[1] = { N->getOperand(0).getValueType() };
402 EVT OpsVT[1] = { N->getOperand(0).getValueType() };
417 EVT OpsVT[1] = { N->getOperand(0).getValueType() };
434 EVT OpsVT[3] = { N->getOperand(0).getValueType(),
435 N->getOperand(1).getValueType(),
436 N->getOperand(2).getValueType() };
452 EVT OpsVT[2] = { N->getOperand(0).getValueType(),
453 N->getOperand(1).getValueType() };
468 EVT OpsVT[1] = { N->getOperand(0).getValueType() };
511 if (Op.getValueType() == MVT::f16 && N->getValueType(0) != MVT::f32) {
517 if (getTypeAction(Op.getValueType()) == TargetLowering::TypePromoteFloat) {
521 if (Op.getValueType() == N->getValueType(0)) {
526 RTLIB::Libcall LC = RTLIB::getFPEXT(Op.getValueType(), N->getValueType(0));
529 EVT OpsVT[1] = { N->getOperand(0).getValueType() };
540 EVT OpsVT[1] = { N->getOperand(0).getValueType() };
562 RTLIB::Libcall LC = RTLIB::getFPROUND(Op.getValueType(), N->getValueType(0));
565 EVT OpsVT[1] = { N->getOperand(0).getValueType() };
575 EVT OpsVT[2] = { N->getOperand(0).getValueType(),
576 N->getOperand(1).getValueType() };
588 assert(N->getOperand(1).getValueType() == MVT::i32 &&
593 EVT OpsVT[2] = { N->getOperand(0).getValueType(),
594 N->getOperand(1).getValueType() };
610 EVT OpsVT[2] = { N->getOperand(0).getValueType(),
611 N->getOperand(1).getValueType() };
626 EVT OpsVT[1] = { N->getOperand(0).getValueType() };
641 EVT OpsVT[1] = { N->getOperand(0).getValueType() };
656 EVT OpsVT[1] = { N->getOperand(0).getValueType() };
671 EVT OpsVT[1] = { N->getOperand(0).getValueType() };
687 EVT OpsVT[2] = { N->getOperand(0).getValueType(),
688 N->getOperand(1).getValueType() };
706 EVT OpsVT[1] = { N->getOperand(0).getValueType() };
755 LHS.getValueType(), N->getOperand(0), LHS, RHS);
762 LHS.getValueType(), N->getOperand(0),
791 EVT SVT = N->getOperand(0).getValueType();
814 EVT OpsVT[1] = { N->getOperand(0).getValueType() };
863 assert(Res.getValueType() == N->getValueType(0) && N->getNumValues() == 1 &&
878 EVT SVT = N->getOperand(0).getValueType();
889 EVT OpsVT[1] = { N->getOperand(0).getValueType() };
900 EVT SVT = N->getOperand(0).getValueType();
909 EVT OpsVT[1] = { N->getOperand(0).getValueType() };
918 EVT VT = NewLHS.getValueType();
927 NewRHS = DAG.getConstant(0, SDLoc(N), NewLHS.getValueType());
940 EVT SVT = N->getOperand(0).getValueType();
962 EVT OpsVT[1] = { N->getOperand(0).getValueType() };
974 EVT VT = NewLHS.getValueType();
983 NewRHS = DAG.getConstant(0, SDLoc(N), NewLHS.getValueType());
998 EVT VT = NewLHS.getValueType();
1006 assert(NewLHS.getValueType() == N->getValueType(0) &&
1039 EVT RetVT = N->getOperand(0).getValueType().getSimpleVT().SimpleTy;
1041 EVT OpsVT[1] = { N->getOperand(0).getValueType() };
1056 EVT RetVT = N->getOperand(0).getValueType().getSimpleVT().SimpleTy;
1058 EVT OpsVT[1] = { N->getOperand(0).getValueType() };
1073 EVT RetVT = N->getOperand(0).getValueType().getSimpleVT().SimpleTy;
1075 EVT OpsVT[1] = { N->getOperand(0).getValueType() };
1090 EVT RetVT = N->getOperand(0).getValueType().getSimpleVT().SimpleTy;
1092 EVT OpsVT[1] = { N->getOperand(0).getValueType() };
1201 Hi = DAG.getNode(ISD::FABS, dl, Tmp.getValueType(), Tmp);
1204 DAG.getNode(ISD::FNEG, dl, Lo.getValueType(), Lo),
1400 Lo = DAG.getNode(ISD::FNEG, dl, Lo.getValueType(), Lo);
1401 Hi = DAG.getNode(ISD::FNEG, dl, Hi.getValueType(), Hi);
1548 EVT SrcVT = Src.getValueType();
1585 SrcVT = Src.getValueType();
1631 if (CustomLowerNode(N, N->getOperand(OpNo).getValueType(), false))
1669 assert(Res.getValueType() == N->getValueType(0) && N->getNumValues() == 1 &&
1686 assert(NewLHS.getValueType() == MVT::ppcf128 && "Unsupported setcc type!");
1694 Tmp1 = DAG.getSetCC(dl, getSetCCResultType(LHSHi.getValueType()),
1696 Tmp2 = DAG.getSetCC(dl, getSetCCResultType(LHSLo.getValueType()),
1698 Tmp3 = DAG.getNode(ISD::AND, dl, Tmp1.getValueType(), Tmp1, Tmp2);
1699 Tmp1 = DAG.getSetCC(dl, getSetCCResultType(LHSHi.getValueType()),
1701 Tmp2 = DAG.getSetCC(dl, getSetCCResultType(LHSHi.getValueType()),
1703 Tmp1 = DAG.getNode(ISD::AND, dl, Tmp1.getValueType(), Tmp1, Tmp2);
1704 NewLHS = DAG.getNode(ISD::OR, dl, Tmp1.getValueType(), Tmp1, Tmp3);
1716 NewRHS = DAG.getConstant(0, SDLoc(N), NewLHS.getValueType());
1727 assert(N->getOperand(1).getValueType() == MVT::ppcf128 &&
1738 assert(N->getOperand(0).getValueType() == MVT::ppcf128 &&
1751 RTLIB::Libcall LC = RTLIB::getFPTOSINT(N->getOperand(0).getValueType(), RVT);
1761 RTLIB::Libcall LC = RTLIB::getFPTOUINT(N->getOperand(0).getValueType(), RVT);
1776 NewRHS = DAG.getConstant(0, SDLoc(N), NewLHS.getValueType());
1793 assert(NewLHS.getValueType() == N->getValueType(0) &&
1815 ST->getValue().getValueType());
1829 EVT RetVT = N->getOperand(0).getValueType().getSimpleVT().SimpleTy;
1842 EVT RetVT = N->getOperand(0).getValueType().getSimpleVT().SimpleTy;
1855 EVT RetVT = N->getOperand(0).getValueType().getSimpleVT().SimpleTy;
1868 EVT RetVT = N->getOperand(0).getValueType().getSimpleVT().SimpleTy;
1899 if (CustomLowerNode(N, N->getOperand(OpNo).getValueType(), false)) {
2009 EVT VT = ST->getOperand(1).getValueType();
2013 NewVal = DAG.getNode(GetPromotionOpcode(Promoted.getValueType(), VT), DL,
2116 N->getOperand(0).getValueType().getSizeInBits());
2172 uint64_t LoElts = Lo.getValueType().getVectorNumElements();
2179 Idx.getValueType()));
2189 EVT IVT = NewOp.getValueType().getVectorElementType();
2340 EVT CastVT = CastVal.getValueType();
lib/CodeGen/SelectionDAG/LegalizeIntegerTypes.cpp 213 Op.getValueType(), Op, N->getOperand(1));
220 Op.getValueType(), Op, N->getOperand(1));
251 EVT SVT = getSetCCResultType(N->getOperand(2).getValueType());
272 DAG.getVTList(Op2.getValueType(), N->getValueType(1), MVT::Other);
284 EVT InVT = InOp.getValueType();
384 EVT NVT = Op.getValueType();
396 EVT NVT = Op.getValueType();
434 EVT NVT = Op.getValueType();
446 return DAG.getNode(ISD::CTPOP, SDLoc(N), Op.getValueType(), Op);
452 EVT NVT = Op.getValueType();
474 if (TLI.getTypeAction(*DAG.getContext(), Op0.getValueType())
480 EVT SVT = In.getValueType().getScalarType();
550 if (getTypeAction(N->getOperand(0).getValueType())
553 assert(Res.getValueType().bitsLE(NVT) && "Extension doesn't make sense!");
557 if (NVT == Res.getValueType()) {
561 DAG.getValueType(N->getOperand(0).getValueType()));
564 N->getOperand(0).getValueType().getScalarType());
606 assert(NVT == ExtPassThru.getValueType() &&
669 EVT PromotedType = Op1Promoted.getValueType();
742 EVT OldType = N->getOperand(0).getValueType();
743 EVT PromotedType = Op1Promoted.getValueType();
773 EVT OVT = N->getOperand(0).getValueType();
774 EVT NVT = LHS.getValueType();
798 LHS.getValueType(), N->getOperand(0), LHS, RHS);
807 LHS.getValueType(), Mask, LHS, RHS);
814 LHS.getValueType(), N->getOperand(0),
819 EVT InVT = N->getOperand(0).getValueType();
838 assert(SVT.isVector() == N->getOperand(0).getValueType().isVector() &&
852 if (getTypeAction(RHS.getValueType()) == TargetLowering::TypePromoteInteger)
854 return DAG.getNode(ISD::SHL, SDLoc(N), LHS.getValueType(), LHS, RHS);
860 Op.getValueType(), Op, N->getOperand(1));
870 LHS.getValueType(), LHS, RHS);
878 LHS.getValueType(), LHS, RHS);
886 LHS.getValueType(), LHS, RHS);
893 if (getTypeAction(RHS.getValueType()) == TargetLowering::TypePromoteInteger)
895 return DAG.getNode(ISD::SRA, SDLoc(N), LHS.getValueType(), LHS, RHS);
902 if (getTypeAction(RHS.getValueType()) == TargetLowering::TypePromoteInteger)
904 return DAG.getNode(ISD::SRL, SDLoc(N), LHS.getValueType(), LHS, RHS);
913 switch (getTypeAction(InOp.getValueType())) {
923 EVT InVT = InOp.getValueType();
945 unsigned NumElem = WideInOp.getValueType().getVectorNumElements();
974 EVT OVT = N->getOperand(0).getValueType();
975 EVT NVT = LHS.getValueType();
1014 EVT ValueVTs[] = {LHS.getValueType(), N->getValueType(1)};
1028 return DAG.getNode(ISD::ABS, SDLoc(N), Op0.getValueType(), Op0);
1038 EVT SmallVT = LHS.getValueType();
1051 SDVTList VTs = DAG.getVTList(LHS.getValueType(), N->getValueType(1));
1061 EVT ShiftTy = getShiftAmountTyForConstant(Mul.getValueType(), TLI, DAG);
1062 SDValue Hi = DAG.getNode(ISD::SRL, DL, Mul.getValueType(), Mul,
1065 DAG.getConstant(0, DL, Hi.getValueType()),
1069 SDValue SExt = DAG.getNode(ISD::SIGN_EXTEND_INREG, DL, Mul.getValueType(),
1142 if (CustomLowerNode(N, N->getOperand(OpNo).getValueType(), false)) {
1234 assert(Res.getValueType() == N->getValueType(0) && N->getNumValues() == 1 &&
1335 EVT OVT = N->getOperand(0).getValueType();
1338 assert(Lo.getValueType() == N->getValueType(0) && "Operand over promoted?");
1412 EVT OpTy = N->getOperand(1).getValueType();
1458 return DAG.getNode(ISD::SIGN_EXTEND_INREG, dl, Op.getValueType(),
1459 Op, DAG.getValueType(N->getOperand(0).getValueType()));
1483 EVT DataVT = DataOp.getValueType();
1541 EVT DataVT = N->getValue().getValueType();
1570 N->getOperand(0).getValueType().getScalarType());
1581 Carry = PromoteTargetBoolean(Carry, LHS.getValueType());
1637 EVT EltVT = Op.getValueType().getVectorElementType();
1839 EVT NVT = InL.getValueType();
1842 EVT ShTy = N->getOperand(1).getValueType();
1917 EVT ShTy = Amt.getValueType();
2004 EVT ShTy = Amt.getValueType();
2105 EVT NVT = LHSL.getValueType();
2133 EVT NVT = LHSL.getValueType();
2238 DAG.getSetCC(dl, getSetCCResultType(LoOps[0].getValueType()),
2259 SDVTList VTList = DAG.getVTList(LHSL.getValueType(), MVT::Glue);
2285 SDVTList VTList = DAG.getVTList(LHSL.getValueType(), MVT::Glue);
2324 CarryOp, TLI.getTypeToExpandTo(*DAG.getContext(), LHS.getValueType()));
2331 SDVTList VTList = DAG.getVTList(LHSL.getValueType(), N->getValueType(1));
2343 SDValue Sum = DAG.getNode(NoCarryOp, dl, LHS.getValueType(), LHS, RHS);
2363 SDVTList VTList = DAG.getVTList(LHSL.getValueType(), N->getValueType(1));
2381 if (Op.getValueType().bitsLE(NVT)) {
2388 assert(getTypeAction(Op.getValueType()) ==
2392 assert(Res.getValueType() == N->getValueType(0) &&
2403 EVT NVT = Lo.getValueType();
2425 EVT NVT = Lo.getValueType();
2445 Lo = DAG.getNode(ISD::BITREVERSE, dl, Lo.getValueType(), Lo);
2446 Hi = DAG.getNode(ISD::BITREVERSE, dl, Hi.getValueType(), Hi);
2453 Lo = DAG.getNode(ISD::BSWAP, dl, Lo.getValueType(), Lo);
2454 Hi = DAG.getNode(ISD::BSWAP, dl, Hi.getValueType(), Hi);
2483 EVT NVT = Lo.getValueType();
2495 EVT NVT = Lo.getValueType();
2515 EVT NVT = Lo.getValueType();
2526 EVT NVT = Lo.getValueType();
2560 if (getTypeAction(Op.getValueType()) == TargetLowering::TypePromoteFloat)
2563 RTLIB::Libcall LC = RTLIB::getFPTOSINT(Op.getValueType(), VT);
2577 if (getTypeAction(Op.getValueType()) == TargetLowering::TypePromoteFloat)
2580 RTLIB::Libcall LC = RTLIB::getFPTOUINT(Op.getValueType(), VT);
2590 EVT VT = N->getOperand(0).getValueType().getSimpleVT().SimpleTy;
2604 if (getTypeAction(Op.getValueType()) == TargetLowering::TypePromoteFloat)
2618 EVT VT = N->getOperand(0).getValueType().getSimpleVT().SimpleTy;
2632 if (getTypeAction(Op.getValueType()) == TargetLowering::TypePromoteFloat)
2699 Ptr = DAG.getNode(ISD::ADD, dl, Ptr.getValueType(), Ptr,
2700 DAG.getConstant(IncrementSize, dl, Ptr.getValueType()));
2724 Ptr = DAG.getNode(ISD::ADD, dl, Ptr.getValueType(), Ptr,
2725 DAG.getConstant(IncrementSize, dl, Ptr.getValueType()));
2763 Lo = DAG.getNode(N->getOpcode(), dl, LL.getValueType(), LL, RL);
2764 Hi = DAG.getNode(N->getOpcode(), dl, LL.getValueType(), LH, RH);
3092 ISD::ADD : ISD::SUB, dl, LHS.getValueType(),
3108 SDValue Zero = DAG.getConstant(0, dl, LHS.getValueType());
3192 EVT VT = LHSL.getValueType();
3202 if (ShiftOp.getValueType() != ShiftTy)
3264 if (Op.getValueType().bitsLE(NVT)) {
3275 assert(getTypeAction(Op.getValueType()) ==
3279 assert(Res.getValueType() == N->getValueType(0) &&
3284 Hi = DAG.getNode(ISD::SIGN_EXTEND_INREG, dl, Hi.getValueType(), Hi,
3296 if (EVT.bitsLE(Lo.getValueType())) {
3298 Lo = DAG.getNode(ISD::SIGN_EXTEND_INREG, dl, Lo.getValueType(), Lo,
3303 Hi = DAG.getNode(ISD::SRA, dl, Hi.getValueType(), Lo,
3310 Hi = DAG.getNode(ISD::SIGN_EXTEND_INREG, dl, Hi.getValueType(), Hi,
3349 Hi = DAG.getNode(ISD::SRL, dl, N->getOperand(0).getValueType(),
3378 EVT HalfVT = LHSLow.getValueType()
3438 EVT ArgVT = Op.getValueType();
3533 if (Op.getValueType().bitsLE(NVT)) {
3540 assert(getTypeAction(Op.getValueType()) ==
3544 assert(Res.getValueType() == N->getValueType(0) &&
3591 if (CustomLowerNode(N, N->getOperand(OpNo).getValueType(), false))
3635 assert(Res.getValueType() == N->getValueType(0) && N->getNumValues() == 1 &&
3658 LHSLo.getValueType(), LHSLo, LHSHi);
3665 NewLHS = DAG.getNode(ISD::XOR, dl, LHSLo.getValueType(), LHSLo, RHSLo);
3666 NewRHS = DAG.getNode(ISD::XOR, dl, LHSLo.getValueType(), LHSHi, RHSHi);
3667 NewLHS = DAG.getNode(ISD::OR, dl, NewLHS.getValueType(), NewLHS, NewRHS);
3668 NewRHS = DAG.getConstant(0, dl, NewLHS.getValueType());
3705 if (TLI.isTypeLegal(LHSLo.getValueType()) &&
3706 TLI.isTypeLegal(RHSLo.getValueType()))
3707 LoCmp = TLI.SimplifySetCC(getSetCCResultType(LHSLo.getValueType()), LHSLo,
3710 LoCmp = DAG.getSetCC(dl, getSetCCResultType(LHSLo.getValueType()), LHSLo,
3712 if (TLI.isTypeLegal(LHSHi.getValueType()) &&
3713 TLI.isTypeLegal(RHSHi.getValueType()))
3714 HiCmp = TLI.SimplifySetCC(getSetCCResultType(LHSHi.getValueType()), LHSHi,
3718 DAG.getNode(ISD::SETCC, dl, getSetCCResultType(LHSHi.getValueType()),
3746 EVT HiVT = LHSHi.getValueType();
3770 EVT LoVT = LHSLo.getValueType();
3786 NewLHS = DAG.getSelect(dl, LoCmp.getValueType(), NewLHS, LoCmp, HiCmp);
3798 NewRHS = DAG.getConstant(0, SDLoc(N), NewLHS.getValueType());
3816 NewRHS = DAG.getConstant(0, SDLoc(N), NewLHS.getValueType());
3833 assert(NewLHS.getValueType() == N->getValueType(0) &&
3855 SDVTList VTList = DAG.getVTList(LHSLo.getValueType(), Carry.getValueType());
3855 SDVTList VTList = DAG.getVTList(LHSLo.getValueType(), Carry.getValueType());
3882 RTLIB::Libcall LC = RTLIB::getSINTTOFP(Op.getValueType(), DstVT);
3897 EVT VT = N->getOperand(1).getValueType();
3981 EVT SrcVT = Op.getValueType();
4017 getSetCCResultType(Hi.getValueType()),
4019 DAG.getConstant(0, dl, Hi.getValueType()),
4032 SDValue Offset = DAG.getSelect(dl, Zero.getValueType(), SignSet,
4035 FudgePtr = DAG.getNode(ISD::ADD, dl, FudgePtr.getValueType(),
4080 if (getTypeAction(InOp0.getValueType()) == TargetLowering::TypePromoteInteger)
4083 EVT InVT = InOp0.getValueType();
4090 SDValue Index = DAG.getNode(ISD::ADD, dl, BaseIdx.getValueType(),
4091 BaseIdx, DAG.getConstant(i, dl, BaseIdx.getValueType()));
4113 EVT OutVT = V0.getValueType();
4136 if (N->getOperand(i).getValueType().bitsLT(NOutVTElem))
4150 assert(!N->getOperand(0).getValueType().isVector() &&
4168 assert(!SplatVal.getValueType().isVector() && "Input must be a scalar");
4189 unsigned NumElem = N->getOperand(0).getValueType().getVectorNumElements();
4199 if (getTypeAction(Op.getValueType()) == TargetLowering::TypePromoteInteger)
4201 EVT SclrTy = Op.getValueType().getVectorElementType();
4202 assert(NumElem == Op.getValueType().getVectorNumElements() &&
4227 if (getTypeAction(N->getOperand(0).getValueType())
4292 MVT InVT = V0.getValueType().getSimpleVT();
lib/CodeGen/SelectionDAG/LegalizeTypes.cpp 137 } else if (isTypeLegal(Res.getValueType()) || IgnoreNodeResults(&Node)) {
294 EVT OpVT = Op.getValueType();
444 !isTypeLegal(Node.getOperand(i).getValueType())) {
686 assert(Result.getValueType() ==
687 TLI.getTypeToTransformTo(*DAG.getContext(), Op.getValueType()) &&
700 assert(Result.getValueType() ==
701 TLI.getTypeToTransformTo(*DAG.getContext(), Op.getValueType()) &&
711 assert(Result.getValueType() ==
712 TLI.getTypeToTransformTo(*DAG.getContext(), Op.getValueType()) &&
744 assert(Lo.getValueType() ==
745 TLI.getTypeToTransformTo(*DAG.getContext(), Op.getValueType()) &&
746 Hi.getValueType() == Lo.getValueType() &&
746 Hi.getValueType() == Lo.getValueType() &&
781 assert(Lo.getValueType() ==
782 TLI.getTypeToTransformTo(*DAG.getContext(), Op.getValueType()) &&
783 Hi.getValueType() == Lo.getValueType() &&
783 Hi.getValueType() == Lo.getValueType() &&
806 assert(Lo.getValueType().getVectorElementType() ==
807 Op.getValueType().getVectorElementType() &&
808 2*Lo.getValueType().getVectorNumElements() ==
809 Op.getValueType().getVectorNumElements() &&
810 Hi.getValueType() == Lo.getValueType() &&
810 Hi.getValueType() == Lo.getValueType() &&
824 assert(Result.getValueType() ==
825 TLI.getTypeToTransformTo(*DAG.getContext(), Op.getValueType()) &&
848 assert(Op.getValueType().isVector() && "Only applies to vectors!");
851 auto EltCnt = Op.getValueType().getVectorElementCount();
861 SDValue StackPtr = DAG.CreateStackTemporary(Op.getValueType(), DestVT);
932 if (Results[i].getValueType() == MVT::Other)
952 EVT NVT = TLI.getTypeToTransformTo(*DAG.getContext(), Pair.getValueType());
964 EVT LVT = Lo.getValueType();
965 EVT HVT = Hi.getValueType();
1013 EVT ArgVT = Node->getOperand(i).getValueType();
1061 Log2_32_Ceil(Op.getValueType().getSizeInBits());
1063 TLI.getScalarShiftAmountTy(DAG.getDataLayout(), Op.getValueType());
1066 Hi = DAG.getNode(ISD::SRL, dl, Op.getValueType(), Op,
lib/CodeGen/SelectionDAG/LegalizeTypes.h 259 EVT OldVT = Op.getValueType();
262 return DAG.getNode(ISD::SIGN_EXTEND_INREG, dl, Op.getValueType(), Op,
268 EVT OldVT = Op.getValueType();
279 EVT OldVT = Op.getValueType();
282 if (TLI.isSExtCheaperThanZExt(OldVT, Op.getValueType()))
283 return DAG.getNode(ISD::SIGN_EXTEND_INREG, DL, Op.getValueType(), Op,
477 assert(isSimpleLegalType(Op.getValueType()) &&
900 if (Op.getValueType().isVector())
902 else if (Op.getValueType().isInteger())
931 if (Op.getValueType().isInteger())
lib/CodeGen/SelectionDAG/LegalizeTypesGeneric.cpp 44 EVT InVT = InOp.getValueType();
172 StackPtr = DAG.getNode(ISD::ADD, dl, StackPtr.getValueType(), StackPtr,
174 StackPtr.getValueType()));
199 assert(Part.getValueType() == N->getValueType(0) &&
208 unsigned OldElts = OldVec.getValueType().getVectorNumElements();
209 EVT OldEltVT = OldVec.getValueType().getVectorElementType();
234 Idx = DAG.getNode(ISD::ADD, dl, Idx.getValueType(), Idx, Idx);
237 Idx = DAG.getNode(ISD::ADD, dl, Idx.getValueType(), Idx,
238 DAG.getConstant(1, dl, Idx.getValueType()));
265 Ptr = DAG.getNode(ISD::ADD, dl, Ptr.getValueType(), Ptr,
266 DAG.getConstant(IncrementSize, dl, Ptr.getValueType()));
315 assert(Op.getValueType().isInteger());
334 N->getOperand(0).getValueType().isInteger()) {
345 EVT OVT = N->getOperand(0).getValueType();
372 EVT OldVT = N->getOperand(0).getValueType();
413 EVT OldEVT = Val.getValueType();
431 Idx = DAG.getNode(ISD::ADD, dl, Idx.getValueType(), Idx, Idx);
434 Idx.getValueType(), Idx,
435 DAG.getConstant(1, dl, Idx.getValueType()));
445 assert(VT.getVectorElementType() == N->getOperand(0).getValueType() &&
450 SDValue UndefVal = DAG.getUNDEF(Ops[0].getValueType());
462 EVT ValueVT = St->getValue().getValueType();
514 if (Cond.getValueType().isVector()) {
519 else if (getTypeAction(Cond.getValueType()) ==
528 EVT CondLHSVT = Cond.getOperand(0).getValueType();
529 if (Cond.getValueType().getVectorElementType() == MVT::i1 &&
531 getSetCCResultType(CondLHSVT) == Cond.getValueType())
539 Lo = DAG.getNode(N->getOpcode(), dl, LL.getValueType(), CL, LL, RL);
540 Hi = DAG.getNode(N->getOpcode(), dl, LH.getValueType(), CH, LH, RH);
550 Lo = DAG.getNode(ISD::SELECT_CC, dl, LL.getValueType(), N->getOperand(0),
552 Hi = DAG.getNode(ISD::SELECT_CC, dl, LH.getValueType(), N->getOperand(0),
lib/CodeGen/SelectionDAG/LegalizeVectorOps.cpp 304 HasVectorValueOrOp |= Op.getValueType().isVector();
479 Node->getOperand(0).getValueType());
547 if (Op.getOperand(j).getValueType().isVector())
549 .getValueType()
583 if (Op.getOperand(j).getValueType().isVector())
589 return DAG.getNode(Op.getOpcode(), dl, Op.getValueType(), Operands);
891 EVT VT = Op.getValueType();
898 assert(VT.isVector() && !Mask.getValueType().isVector()
899 && Op1.getValueType() == Op2.getValueType() && "Invalid type");
899 && Op1.getValueType() == Op2.getValueType() && "Invalid type");
939 return DAG.getNode(ISD::BITCAST, DL, Op.getValueType(), Val);
943 EVT VT = Op.getValueType();
966 EVT VT = Op.getValueType();
969 EVT SrcVT = Src.getValueType();
1002 EVT VT = Op.getValueType();
1004 EVT SrcVT = Src.getValueType();
1026 EVT VT = Op.getValueType();
1029 EVT SrcVT = Src.getValueType();
1072 EVT VT = Op.getValueType();
1090 EVT VT = Op.getValueType();
1141 EVT VT = Mask.getValueType();
1153 TLI.getBooleanContents(Op1.getValueType()) !=
1176 return DAG.getNode(ISD::BITCAST, DL, Op.getValueType(), Val);
1204 EVT VT = Op.getOperand(0).getValueType();
1230 SDValue TWOHW = DAG.getConstantFP(1ULL << (BW / 2), DL, Op.getValueType());
1239 SDValue fHI = DAG.getNode(ISD::SINT_TO_FP, DL, Op.getValueType(), HI);
1240 fHI = DAG.getNode(ISD::FMUL, DL, Op.getValueType(), fHI, TWOHW);
1241 SDValue fLO = DAG.getNode(ISD::SINT_TO_FP, DL, Op.getValueType(), LO);
1244 return DAG.getNode(ISD::FADD, DL, Op.getValueType(), fHI, fLO);
1248 if (TLI.isOperationLegalOrCustom(ISD::FSUB, Op.getValueType())) {
1250 SDValue Zero = DAG.getConstantFP(-0.0, DL, Op.getValueType());
1252 return DAG.getNode(ISD::FSUB, DL, Op.getValueType(),
1262 EVT VT = Op.getValueType();
1369 EVT VT = Op.getValueType();
1391 EVT OperVT = Oper.getValueType();
1416 EVT VT = Op.getValueType();
1420 EVT TmpEltVT = LHS.getValueType().getVectorElementType();
lib/CodeGen/SelectionDAG/LegalizeVectorTypes.cpp 203 LHS.getValueType(), LHS, RHS, N->getFlags());
211 Op0.getValueType(), Op0, Op1, Op2);
218 return DAG.getNode(N->getOpcode(), SDLoc(N), Op0.getValueType(), Op0, Op1,
238 if (Oper.getValueType().isVector())
297 if (Op.getValueType().isVector()
298 && Op.getValueType().getVectorNumElements() == 1
299 && !isSimpleLegalType(Op.getValueType()))
344 Op.getValueType(), Op, N->getOperand(1));
352 if (Op.getValueType() != EltVT)
364 N->getBasePtr(), DAG.getUNDEF(N->getBasePtr().getValueType()),
379 EVT OpVT = Op.getValueType();
411 EVT OpVT = Op.getValueType();
440 if (InOp.getValueType() != EltVT)
447 EVT OpVT = Cond.getValueType();
475 EVT OpVT = Cond->getOperand(0).getValueType();
482 EVT CondVT = Cond.getValueType();
510 LHS.getValueType(), Cond, LHS,
517 LHS.getValueType(), N->getOperand(0), LHS,
523 return DAG.getNode(ISD::SELECT_CC, SDLoc(N), LHS.getValueType(),
544 N->getOperand(0).getValueType().isVector() &&
548 EVT OpVT = LHS.getValueType();
660 assert(Res.getValueType() == N->getValueType(0) && N->getNumValues() == 1 &&
718 if (Res.getValueType() != VT)
741 N->getOperand(0).getValueType().isVector() &&
749 EVT OpVT = N->getOperand(0).getValueType();
813 if (Res.getValueType() != N->getValueType(0))
1024 Lo = DAG.getNode(Opcode, dl, LHSLo.getValueType(), LHSLo, RHSLo, Flags);
1025 Hi = DAG.getNode(Opcode, dl, LHSHi.getValueType(), LHSHi, RHSHi, Flags);
1038 Lo = DAG.getNode(N->getOpcode(), dl, Op0Lo.getValueType(),
1040 Hi = DAG.getNode(N->getOpcode(), dl, Op0Hi.getValueType(),
1053 Lo = DAG.getNode(Opcode, dl, LHSLo.getValueType(), LHSLo, RHSLo, Op2);
1054 Hi = DAG.getNode(Opcode, dl, LHSHi.getValueType(), LHSHi, RHSHi, Op2);
1066 EVT InVT = InOp.getValueType();
1172 EVT VecVT = Vec.getValueType();
1174 unsigned SubElems = SubVec.getValueType().getVectorNumElements();
1205 DAG.getLoad(Lo.getValueType(), dl, Store, StackPtr, MachinePointerInfo());
1210 DAG.getNode(ISD::ADD, dl, StackPtr.getValueType(), StackPtr,
1211 DAG.getConstant(IncrementSize, dl, StackPtr.getValueType()));
1214 Hi = DAG.getLoad(Hi.getValueType(), dl, Store, StackPtr, MachinePointerInfo(),
1222 Lo = DAG.getNode(ISD::FPOWI, dl, Lo.getValueType(), Lo, N->getOperand(1));
1223 Hi = DAG.getNode(ISD::FPOWI, dl, Hi.getValueType(), Hi, N->getOperand(1));
1234 EVT RHSVT = RHS.getValueType();
1241 Lo = DAG.getNode(ISD::FCOPYSIGN, DL, LHSLo.getValueType(), LHSLo, RHSLo);
1242 Hi = DAG.getNode(ISD::FCOPYSIGN, DL, LHSHi.getValueType(), LHSHi, RHSHi);
1255 Lo = DAG.getNode(N->getOpcode(), dl, LHSLo.getValueType(), LHSLo,
1257 Hi = DAG.getNode(N->getOpcode(), dl, LHSHi.getValueType(), LHSHi,
1269 if (getTypeAction(N0.getValueType()) == TargetLowering::TypeSplitVector)
1274 EVT InLoVT = InLo.getValueType();
1320 EVT InVT = Op.getValueType();
1374 EVT OperandVT = Operand.getValueType();
1457 unsigned LoNumElts = Lo.getValueType().getVectorNumElements();
1460 Lo.getValueType(), Lo, Elt, Idx);
1463 DAG.getNode(ISD::INSERT_VECTOR_ELT, dl, Hi.getValueType(), Hi, Elt,
1474 EVT VecVT = Vec.getValueType();
1482 if (EltVT.bitsGT(Elt.getValueType()))
1509 StackPtr = DAG.getNode(ISD::ADD, dl, StackPtr.getValueType(), StackPtr,
1511 StackPtr.getValueType()));
1520 if (LoVT != Lo.getValueType())
1522 if (HiVT != Hi.getValueType())
1545 SDValue Offset = DAG.getUNDEF(Ptr.getValueType());
1591 if (getTypeAction(Mask.getValueType()) == TargetLowering::TypeSplitVector)
1602 if (getTypeAction(PassThru.getValueType()) == TargetLowering::TypeSplitVector)
1657 if (getTypeAction(Mask.getValueType()) == TargetLowering::TypeSplitVector)
1669 if (getTypeAction(PassThru.getValueType()) == TargetLowering::TypeSplitVector)
1675 if (getTypeAction(Index.getValueType()) == TargetLowering::TypeSplitVector)
1706 N->getOperand(0).getValueType().isVector() &&
1715 if (getTypeAction(N->getOperand(0).getValueType()) ==
1721 if (getTypeAction(N->getOperand(1).getValueType()) ==
1741 EVT InVT = N->getOperand(OpNo).getValueType();
1777 EVT SrcVT = N->getOperand(0).getValueType();
1830 EVT NewVT = Inputs[0].getValueType();
1966 if (CustomLowerNode(N, N->getOperand(OpNo).getValueType(), false))
2008 if (N->getValueType(0).bitsLT(N->getOperand(0).getValueType()))
2063 assert(Res.getValueType() == N->getValueType(0) && N->getNumValues() == 2 &&
2066 assert(Res.getValueType() == N->getValueType(0) && N->getNumValues() == 1 &&
2081 EVT Src0VT = Src0.getValueType();
2083 assert(Mask.getValueType().isVector() && "VSELECT without a vector mask?");
2087 assert(Lo.getValueType() == Hi.getValueType() &&
2087 assert(Lo.getValueType() == Hi.getValueType() &&
2113 EVT VecVT = VecOp.getValueType();
2155 EVT InVT = Lo.getValueType();
2206 uint64_t LoElts = Lo.getValueType().getVectorNumElements();
2216 Idx.getValueType()));
2223 EVT VecVT = Vec.getValueType();
2231 uint64_t LoElts = Lo.getValueType().getVectorNumElements();
2237 Idx.getValueType())), 0);
2302 if (getTypeAction(Mask.getValueType()) == TargetLowering::TypeSplitVector)
2313 if (getTypeAction(PassThru.getValueType()) == TargetLowering::TypeSplitVector)
2319 if (getTypeAction(Index.getValueType()) == TargetLowering::TypeSplitVector)
2372 if (getTypeAction(Data.getValueType()) == TargetLowering::TypeSplitVector)
2383 if (getTypeAction(Mask.getValueType()) == TargetLowering::TypeSplitVector)
2433 if (getTypeAction(Data.getValueType()) == TargetLowering::TypeSplitVector)
2444 if (getTypeAction(Mask.getValueType()) == TargetLowering::TypeSplitVector)
2451 if (getTypeAction(Index.getValueType()) == TargetLowering::TypeSplitVector)
2463 Lo = DAG.getMaskedScatter(DAG.getVTList(MVT::Other), DataLo.getValueType(),
2475 return DAG.getMaskedScatter(DAG.getVTList(MVT::Other), DataHi.getValueType(),
2536 for (unsigned i = 0, e = Op.getValueType().getVectorNumElements();
2628 N->getOperand(0).getValueType().isVector() &&
2635 unsigned PartElements = Lo0.getValueType().getVectorNumElements();
2643 EVT OpVT = N->getOperand(0).getValueType();
2656 EVT InVT = Lo.getValueType();
2946 VT = ConcatOps[0].getValueType();
2958 while (ConcatOps[ConcatEnd-1].getValueType() != MaxVT) {
2960 VT = ConcatOps[Idx--].getValueType();
2961 while (Idx >= 0 && ConcatOps[Idx].getValueType() == VT)
3002 VT = ConcatOps[0].getValueType();
3128 if (Oper.getValueType().isVector()) {
3129 assert(Oper.getValueType() == N->getValueType(0) &&
3149 if (Op.getValueType().isVector())
3176 if (Op.getValueType().isVector())
3264 EVT InVT = InOp.getValueType();
3273 InVT = InOp.getValueType();
3349 EVT InVT = InOp.getValueType();
3386 EVT InVT = InOp.getValueType();
3392 InVT = InOp.getValueType();
3433 if (N->getOperand(0).getValueType() == N->getOperand(1).getValueType())
3433 if (N->getOperand(0).getValueType() == N->getOperand(1).getValueType())
3453 EVT ShVT = ShOp.getValueType();
3456 ShVT = ShOp.getValueType();
3492 EVT InVT = InOp.getValueType();
3510 InVT = InOp.getValueType();
3525 InVT = InOp.getValueType();
3578 EVT EltVT = N->getOperand(0).getValueType();
3592 EVT InVT = N->getOperand(0).getValueType();
3669 if (getTypeAction(InOp.getValueType()) == TargetLowering::TypeWidenVector)
3672 EVT InVT = InOp.getValueType();
3705 InOp.getValueType(), InOp,
3740 EVT MaskVT = Mask.getValueType();
3765 EVT MaskVT = Mask.getValueType();
3780 Index.getValueType().getScalarType(),
3929 EVT SetCCOpVT = Cond->getOperand(0).getValueType();
3961 EVT MaskVT = getSetCCResultType(Cond.getOperand(0).getValueType());
3969 EVT VT0 = getSetCCResultType(SETCC0.getOperand(0).getValueType());
3970 EVT VT1 = getSetCCResultType(SETCC1.getOperand(0).getValueType());
4009 EVT CondVT = Cond1.getValueType();
4031 if (Cond1.getValueType() != CondWidenVT)
4037 assert(InOp1.getValueType() == WidenVT && InOp2.getValueType() == WidenVT);
4037 assert(InOp1.getValueType() == WidenVT && InOp2.getValueType() == WidenVT);
4046 InOp1.getValueType(), N->getOperand(0),
4082 N->getOperand(0).getValueType().isVector() &&
4088 EVT InVT = InOp1.getValueType();
4114 assert(InOp1.getValueType() == WidenInVT &&
4115 InOp2.getValueType() == WidenInVT &&
4132 if (CustomLowerNode(N, N->getOperand(OpNo).getValueType(), false))
4201 assert(Res.getValueType() == N->getValueType(0) && N->getNumValues() == 2 &&
4204 assert(Res.getValueType() == N->getValueType(0) && N->getNumValues() == 1 &&
4216 assert(getTypeAction(InOp.getValueType()) ==
4221 InOp.getValueType().getVectorNumElements() &&
4226 EVT InVT = InOp.getValueType();
4250 InVT = InOp.getValueType();
4286 assert(getTypeAction(InOp.getValueType()) ==
4290 EVT InVT = InOp.getValueType();
4343 EVT InWidenVT = InOp.getValueType();
4385 EVT InVT = N->getOperand(0).getValueType();
4410 assert(getTypeAction(InOp.getValueType()) ==
4459 EVT MaskVT = Mask.getValueType();
4468 EVT WideVT = StVal.getValueType();
4478 EVT ValueVT = StVal.getValueType();
4485 assert(Mask.getValueType().getVectorNumElements() ==
4486 StVal.getValueType().getVectorNumElements() &&
4522 unsigned NumElts = DataOp.getValueType().getVectorNumElements();
4525 EVT IndexVT = Index.getValueType();
4531 EVT MaskVT = Mask.getValueType();
4560 EVT SVT = getSetCCResultType(InOp0.getValueType());
4577 EVT OpVT = N->getOperand(0).getValueType();
4586 EVT OrigVT = N->getOperand(0).getValueType();
4587 EVT WideVT = Op.getValueType();
4651 SDValue Select = DAG.getNode(N->getOpcode(), DL, LeftIn.getValueType(), Cond,
4735 EVT LdTy = LdOps[Start].getValueType();
4744 EVT NewLdTy = LdOps[i].getValueType();
4861 if (!LdOps[0].getValueType().isVector())
4871 EVT LdTy = LdOps[i].getValueType();
4875 LdTy = LdOps[i].getValueType();
4883 EVT NewLdTy = LdOps[i].getValueType();
4974 EVT ValVT = ValOp.getValueType();
5041 EVT ValVT = ValOp.getValueType();
5045 assert(StVT.isVector() && ValOp.getValueType().isVector());
5046 assert(StVT.bitsLT(ValOp.getValueType()));
5079 EVT InVT = InOp.getValueType();
lib/CodeGen/SelectionDAG/ScheduleDAGFast.cpp 486 if (Node->getOperand(NumOps-1).getValueType() == MVT::Glue)
680 if (NumLeft == NumOps && Op.getValueType() == MVT::Glue) {
lib/CodeGen/SelectionDAG/ScheduleDAGRRList.cpp 468 if (Op.getValueType() == MVT::Other) {
526 if (Op.getValueType() == MVT::Other) {
1366 if (Node->getOperand(NumOps-1).getValueType() == MVT::Glue)
lib/CodeGen/SelectionDAG/ScheduleDAGSDNodes.cpp 169 N->getOperand(N->getNumOperands()-1).getValueType() == MVT::Glue) {
203 if (Node->getOperand(NumOps-1).getValueType() == MVT::Other)
369 N->getOperand(N->getNumOperands()-1).getValueType() == MVT::Glue) {
479 EVT OpVT = N->getOperand(i).getValueType();
lib/CodeGen/SelectionDAG/SelectionDAG.cpp 279 EVT SVT = Op.getValueType().getScalarType();
298 if (!AllowTypeMismatch && LHS.getValueType() != RHS.getValueType())
298 if (!AllowTypeMismatch && LHS.getValueType() != RHS.getValueType())
311 EVT SVT = LHS.getValueType().getScalarType();
321 if (!AllowTypeMismatch && (LHSOp.getValueType() != SVT ||
322 LHSOp.getValueType() != RHSOp.getValueType()))
322 LHSOp.getValueType() != RHSOp.getValueType()))
801 assert(N->getOperand(0).getValueType() == N->getOperand(1).getValueType() &&
801 assert(N->getOperand(0).getValueType() == N->getOperand(1).getValueType() &&
803 assert(N->getOperand(0).getValueType().isInteger() == VT.isInteger() &&
820 assert(I->getValueType() == N->getOperand(0).getValueType() &&
1099 return VT.bitsGT(Op.getValueType())
1105 return VT.bitsGT(Op.getValueType()) ?
1111 return VT.bitsGT(Op.getValueType()) ?
1117 return VT.bitsGT(Op.getValueType()) ?
1124 if (VT.bitsLE(Op.getValueType()))
1135 if (Op.getValueType().getScalarType() == VT) return Op;
1139 return getNode(ISD::AND, DL, Op.getValueType(), Op,
1140 getConstant(Imm, DL, Op.getValueType()));
1573 assert(VT == N1.getValueType() && VT == N2.getValueType() &&
1573 assert(VT == N1.getValueType() && VT == N2.getValueType() &&
1686 V.getValueType().getVectorNumElements() == VT.getVectorNumElements();
1859 if (VT == V.getValueType())
1889 EVT OpTy = Op.getValueType();
1910 VAList = getNode(ISD::ADD, dl, VAList.getValueType(), VAList,
1911 getConstant(MA->value() - 1, dl, VAList.getValueType()));
1914 getNode(ISD::AND, dl, VAList.getValueType(), VAList,
1915 getConstant(-(int64_t)MA->value(), dl, VAList.getValueType()));
1919 Tmp1 = getNode(ISD::ADD, dl, VAList.getValueType(), VAList,
1922 dl, VAList.getValueType()));
1970 EVT OpVT = N1.getValueType();
2128 EVT VT = V.getValueType();
2151 return getConstant(NewVal, SDLoc(V), V.getValueType());
2173 return getNode(ISD::SRL, SDLoc(V), V.getValueType(), SimplifyLHS,
2199 return getNode(ISD::ANY_EXTEND, SDLoc(V), V.getValueType(), DemandedSrc);
2218 EVT VT = V.getValueType();
2247 EVT VT = V.getValueType();
2293 unsigned NumSrcElts = Src.getValueType().getVectorNumElements();
2326 EVT VT = V.getValueType();
2339 EVT VT = V.getValueType();
2364 int NumElts = V.getValueType().getVectorNumElements();
2377 SrcVector.getValueType().getScalarType(), SrcVector,
2422 EVT VT = Op.getValueType();
2456 assert((!Op.getValueType().isVector() ||
2457 NumElts == Op.getValueType().getVectorNumElements()) &&
2538 EVT SubVectorVT = Op.getOperand(0).getValueType();
2562 unsigned NumSubElts = Sub.getValueType().getVectorNumElements();
2595 unsigned NumSrcElts = Src.getValueType().getVectorNumElements();
2620 EVT SubVT = N0.getValueType();
2637 assert(N0.getValueType().isVector() && "Expected bitcast from vector");
2660 assert(Op.getValueType().isVector() && "Expected bitcast to vector");
2783 if (TLI->getBooleanContents(Op.getValueType().isVector(), false) ==
2790 if (TLI->getBooleanContents(Op.getOperand(0).getValueType()) ==
2984 EVT InVT = Op.getOperand(0).getValueType();
2996 EVT InVT = Op.getOperand(0).getValueType();
3037 if (TLI->getBooleanContents(Op.getOperand(0).getValueType()) ==
3057 if (TLI->getBooleanContents(Op.getOperand(0).getValueType()) ==
3154 EVT VecVT = InVec.getValueType();
3362 EVT OpVT = Val.getValueType();
3403 EVT VT = Op.getValueType();
3412 EVT VT = Op.getValueType();
3495 EVT SrcVT = N0.getValueType();
3550 EVT SrcVT = Src.getValueType();
3654 if (TLI->getBooleanContents(Op.getOperand(0).getValueType()) ==
3799 EVT VecVT = InVec.getValueType();
3825 unsigned NumSrcElts = Src.getValueType().getVectorNumElements();
3838 EVT SubVectorVT = Op.getOperand(0).getValueType();
3858 unsigned NumSubElts = Sub.getValueType().getVectorNumElements();
4098 assert(Op.getValueType().isFloatingPoint() &&
4109 assert(!Op.getValueType().isFloatingPoint() &&
4146 assert(A.getValueType() == B.getValueType() &&
4146 assert(A.getValueType() == B.getValueType() &&
4168 Ops[i].getOperand(0).getValueType() != VT ||
4191 return Ops[0].getValueType() == Op.getValueType();
4191 return Ops[0].getValueType() == Op.getValueType();
4194 assert((Ops.size() * Ops[0].getValueType().getVectorNumElements()) ==
4212 unsigned IdentityIndex = i * Op.getValueType().getVectorNumElements();
4214 Op.getOperand(0).getValueType() != VT ||
4236 EVT OpVT = Op.getValueType();
4248 SVT = (SVT.bitsLT(Op.getValueType()) ? Op.getValueType() : SVT);
4248 SVT = (SVT.bitsLT(Op.getValueType()) ? Op.getValueType() : SVT);
4252 Op = DAG.getTargetLoweringInfo().isZExtFree(Op.getValueType(), SVT)
4474 Operand.getValueType().isFloatingPoint() && "Invalid FP cast!");
4475 if (Operand.getValueType() == VT) return Operand; // noop conversion.
4478 Operand.getValueType().getVectorNumElements()) &&
4480 assert(Operand.getValueType().bitsLT(VT) &&
4497 assert(VT.isInteger() && Operand.getValueType().isInteger() &&
4499 assert(VT.isVector() == Operand.getValueType().isVector() &&
4502 if (Operand.getValueType() == VT) return Operand; // noop extension
4505 Operand.getValueType().getVectorNumElements()) &&
4507 assert(Operand.getValueType().bitsLT(VT) &&
4516 assert(VT.isInteger() && Operand.getValueType().isInteger() &&
4518 assert(VT.isVector() == Operand.getValueType().isVector() &&
4521 if (Operand.getValueType() == VT) return Operand; // noop extension
4524 Operand.getValueType().getVectorNumElements()) &&
4526 assert(Operand.getValueType().bitsLT(VT) &&
4535 assert(VT.isInteger() && Operand.getValueType().isInteger() &&
4537 assert(VT.isVector() == Operand.getValueType().isVector() &&
4540 if (Operand.getValueType() == VT) return Operand; // noop extension
4543 Operand.getValueType().getVectorNumElements()) &&
4545 assert(Operand.getValueType().bitsLT(VT) &&
4558 if (OpOp.getValueType() == VT) {
4565 assert(VT.isInteger() && Operand.getValueType().isInteger() &&
4567 assert(VT.isVector() == Operand.getValueType().isVector() &&
4570 if (Operand.getValueType() == VT) return Operand; // noop truncate
4573 Operand.getValueType().getVectorNumElements()) &&
4575 assert(Operand.getValueType().bitsGT(VT) &&
4582 if (Operand.getOperand(0).getValueType().getScalarType()
4585 if (Operand.getOperand(0).getValueType().bitsGT(VT))
4596 assert(Operand.getValueType().bitsLE(VT) &&
4599 Operand.getValueType().getVectorNumElements() &&
4603 assert(VT.isInteger() && VT == Operand.getValueType() &&
4609 assert(VT.isInteger() && VT == Operand.getValueType() &&
4617 assert(VT.isInteger() && VT == Operand.getValueType() &&
4626 if (VT == Operand.getValueType()) return Operand; // noop conversion.
4633 assert(VT.isVector() && !Operand.getValueType().isVector() &&
4634 (VT.getVectorElementType() == Operand.getValueType() ||
4636 Operand.getValueType().isInteger() &&
4637 VT.getVectorElementType().bitsLE(Operand.getValueType()))) &&
4645 Operand.getOperand(0).getValueType() == VT)
4902 return !Op.getValueType().isVector() ||
4903 Op.getValueType().getVectorNumElements() == NumElts;
4937 EVT InSVT = Op.getValueType().getScalarType();
4949 EVT ScalarVT = ScalarOp.getValueType();
5057 assert(VT == MVT::Other && N1.getValueType() == MVT::Other &&
5058 N2.getValueType() == MVT::Other && "Invalid token factor!");
5079 assert(N1.getValueType() == N2.getValueType() &&
5079 assert(N1.getValueType() == N2.getValueType() &&
5080 N1.getValueType() == VT && "Binary operator types must match!");
5093 assert(N1.getValueType() == N2.getValueType() &&
5093 assert(N1.getValueType() == N2.getValueType() &&
5094 N1.getValueType() == VT && "Binary operator types must match!");
5116 assert(N1.getValueType() == N2.getValueType() &&
5116 assert(N1.getValueType() == N2.getValueType() &&
5117 N1.getValueType() == VT && "Binary operator types must match!");
5125 assert(N1.getValueType() == N2.getValueType() &&
5125 assert(N1.getValueType() == N2.getValueType() &&
5126 N1.getValueType() == VT && "Binary operator types must match!");
5131 assert(N1.getValueType() == VT &&
5132 N1.getValueType().isFloatingPoint() &&
5133 N2.getValueType().isFloatingPoint() &&
5144 assert(VT == N1.getValueType() &&
5146 assert(VT.isInteger() && N2.getValueType().isInteger() &&
5148 assert((!VT.isVector() || VT == N2.getValueType()) &&
5167 N1.getValueType().isFloatingPoint() &&
5168 VT.bitsLE(N1.getValueType()) &&
5171 if (N1.getValueType() == VT) return N1; // noop conversion.
5176 assert(VT == N1.getValueType() && "Not an inreg extend!");
5188 assert(VT == N1.getValueType() && "Not an inreg extend!");
5213 llvm::EVT OpVT = N1.getOperand(0).getValueType();
5229 assert(VT.getSizeInBits() >= N1.getValueType().getScalarSizeInBits() &&
5238 if (N2C && N2C->getAPIntValue().uge(N1.getValueType().getVectorNumElements()))
5247 N1.getOperand(0).getValueType().getVectorNumElements();
5251 N2.getValueType()));
5259 if (VT != Elt.getValueType())
5279 if (VT == N1.getOperand(1).getValueType())
5293 N1.getValueType().getVectorNumElements() == 1) {
5300 assert(!N1.getValueType().isVector() && !VT.isVector() &&
5301 (N1.getValueType().isInteger() == VT.isInteger()) &&
5302 N1.getValueType() != VT &&
5320 if (VT.isSimple() && N1.getValueType().isSimple()) {
5321 assert(VT.isVector() && N1.getValueType().isVector() &&
5324 N1.getValueType().getVectorElementType() &&
5331 <= N1.getValueType().getVectorNumElements())
5347 VT == N1.getOperand(0).getValueType()) {
5355 VT == N1.getOperand(1).getValueType())
5452 assert(N1.getValueType() == VT && N2.getValueType() == VT &&
5452 assert(N1.getValueType() == VT && N2.getValueType() == VT &&
5453 N3.getValueType() == VT && "FMA types must match!");
5481 assert(N1.getValueType() == N2.getValueType() &&
5481 assert(N1.getValueType() == N2.getValueType() &&
5483 assert(VT.isVector() == N1.getValueType().isVector() &&
5486 VT.getVectorNumElements() == N1.getValueType().getVectorNumElements()) &&
5509 if (N3C && N3C->getZExtValue() >= N1.getValueType().getVectorNumElements())
5527 if (VT.isSimple() && N1.getValueType().isSimple()
5528 && N2.getValueType().isSimple()) {
5529 assert(VT.isVector() && N1.getValueType().isVector() &&
5530 N2.getValueType().isVector() &&
5532 assert(VT == N1.getValueType() &&
5537 assert((N2.getValueType().getVectorNumElements() +
5550 N2.getOperand(1) == N3 && N2.getOperand(0).getValueType() == VT)
5557 if (N1.getValueType() == VT)
5644 assert(Value.getValueType() == MVT::i8 && "memset with non-byte fill value?");
5658 if (VT != Value.getValueType() && !VT.isInteger())
5660 if (VT != Value.getValueType())
5713 EVT VT = Base.getValueType();
6136 assert(Value.getValueType() == VT && "Value with wrong type.");
6223 Dst.getValueType().getTypeForEVT(*getContext()),
6327 Dst.getValueType().getTypeForEVT(*getContext()),
6418 Entry.Ty = Src.getValueType().getTypeForEVT(*getContext());
6429 Dst.getValueType().getTypeForEVT(*getContext()),
6508 assert(Cmp.getValueType() == Swp.getValueType() && "Invalid Atomic Op Types");
6508 assert(Cmp.getValueType() == Swp.getValueType() && "Invalid Atomic Op Types");
6534 EVT VT = Val.getValueType();
6560 VTs.push_back(Ops[i].getValueType());
6700 assert(Chain.getValueType() == MVT::Other &&
6743 getVTList(VT, Ptr.getValueType(), MVT::Other) : getVTList(VT, MVT::Other);
6772 SDValue Undef = getUNDEF(Ptr.getValueType());
6779 SDValue Undef = getUNDEF(Ptr.getValueType());
6790 SDValue Undef = getUNDEF(Ptr.getValueType());
6798 SDValue Undef = getUNDEF(Ptr.getValueType());
6812 return getLoad(AM, LD->getExtensionType(), OrigLoad.getValueType(), dl,
6823 assert(Chain.getValueType() == MVT::Other && "Invalid chain type");
6825 Alignment = getEVTAlignment(Val.getValueType());
6835 PtrInfo, MMOFlags, Val.getValueType().getStoreSize(), Alignment, AAInfo);
6841 assert(Chain.getValueType() == MVT::Other &&
6843 EVT VT = Val.getValueType();
6845 SDValue Undef = getUNDEF(Ptr.getValueType());
6874 assert(Chain.getValueType() == MVT::Other &&
6894 EVT VT = Val.getValueType();
6896 assert(Chain.getValueType() == MVT::Other &&
6912 SDValue Undef = getUNDEF(Ptr.getValueType());
6941 SDVTList VTs = getVTList(Base.getValueType(), MVT::Other);
6996 assert(Chain.getValueType() == MVT::Other &&
7044 assert(N->getPassThru().getValueType() == N->getValueType(0) &&
7046 assert(N->getMask().getValueType().getVectorNumElements() ==
7049 assert(N->getIndex().getValueType().getVectorNumElements() >=
7084 assert(N->getMask().getValueType().getVectorNumElements() ==
7085 N->getValue().getValueType().getVectorNumElements() &&
7087 assert(N->getIndex().getValueType().getVectorNumElements() >=
7088 N->getValue().getValueType().getVectorNumElements() &&
7134 return getConstant(0, SDLoc(X.getNode()), X.getValueType());
7137 return getUNDEF(X.getValueType());
7150 return getUNDEF(X.getValueType());
7226 assert(Ops[0].getValueType() == Ops[1].getValueType() &&
7226 assert(Ops[0].getValueType() == Ops[1].getValueType() &&
7228 assert(Ops[2].getValueType() == Ops[3].getValueType() &&
7228 assert(Ops[2].getValueType() == Ops[3].getValueType() &&
7230 assert(Ops[2].getValueType() == VT &&
7235 assert(Ops[2].getValueType() == Ops[3].getValueType() &&
7235 assert(Ops[2].getValueType() == Ops[3].getValueType() &&
8399 if (Op.Val.getValueType() != MVT::Other)
8442 if (Op.Val.getValueType() != MVT::Other)
8731 EVT NSVT = N.getValueType().getScalarType();
8755 EVT NSVT = N.getValueType().getScalarType();
9033 if (Op.getValueType().isFloatingPoint()) {
9050 EVT OpVT = Op.getValueType();
9074 unsigned Stages = Log2_32(Op.getValueType().getVectorNumElements());
9132 EVT OperandVT = Operand.getValueType();
9160 getShiftAmountOperand(Operands[0].getValueType(),
9313 N.getValueType().getVectorNumElements() &&
9326 EVT VT = N.getValueType();
9336 EVT VT = Op.getValueType();
9573 if (Ops[I].Val.getValueType() != MVT::Other) // Skip Chain. It does not carry divergence.
lib/CodeGen/SelectionDAG/SelectionDAGBuilder.cpp 286 EVT PartEVT = Val.getValueType();
319 if (ValueVT.bitsLT(Val.getValueType()))
424 EVT PartEVT = Val.getValueType();
503 EVT ValueVT = Val.getValueType();
562 ValueVT = Val.getValueType();
635 EVT ValueVT = Val.getValueType();
662 EVT ValueVT = Val.getValueType();
698 assert(Val.getValueType() == PartVT && "Unexpected vector part value type");
1886 Outs.push_back(ISD::OutputArg(Flags, Parts[i].getValueType(),
1921 assert(Chain.getNode() && Chain.getValueType() == MVT::Other &&
2339 SDValue True = DAG.getConstant(1, dl, CondLHS.getValueType());
2340 Cond = DAG.getNode(ISD::XOR, dl, CondLHS.getValueType(), CondLHS, True);
2347 if (CondLHS.getValueType() != MemVT) {
2360 EVT VT = CmpOp.getValueType();
2385 SDValue True = DAG.getConstant(1, dl, Cond.getValueType());
2386 Cond = DAG.getNode(ISD::XOR, dl, Cond.getValueType(), Cond, True);
2425 EVT VT = SwitchOp.getValueType();
2449 Sub.getValueType()),
2570 EVT VT = Guard.getValueType();
2575 Sub.getValueType()),
2624 EVT VT = SwitchOp.getValueType();
2664 RangeSub.getValueType()),
2665 RangeSub, DAG.getConstant(B.Range, dl, RangeSub.getValueType()),
2968 Op2.getValueType(), Op2));
3106 SDValue UnNodeValue = DAG.getNode(Opcode, getCurSDLoc(), Op.getValueType(),
3127 SDValue BinNodeValue = DAG.getNode(Opcode, getCurSDLoc(), Op1.getValueType(),
3137 Op1.getValueType(), DAG.getDataLayout());
3140 if (!I.getType()->isVectorTy() && Op2.getValueType() != ShiftTy) {
3180 SDValue Res = DAG.getNode(Opcode, getCurSDLoc(), Op1.getValueType(), Op1, Op2,
3192 setValue(&I, DAG.getNode(ISD::SDIV, getCurSDLoc(), Op1.getValueType(), Op1,
3213 if (Op1.getValueType() != MemVT) {
3262 ISD::NodeType OpCode = Cond.getValueType().isVector() ?
3489 if (DestVT != N.getValueType())
3546 EVT SrcVT = Src1.getValueType();
3850 if (VectorWidth && !N.getValueType().isVector()) {
3852 EVT VT = EVT::getVectorVT(Context, N.getValueType(), VectorWidth);
3871 N = DAG.getNode(ISD::ADD, dl, N.getValueType(), N,
3872 DAG.getConstant(Offset, dl, N.getValueType()), Flags);
3900 OffsVal = DAG.getSExtOrTrunc(OffsVal, dl, N.getValueType());
3902 N = DAG.getNode(ISD::ADD, dl, N.getValueType(), N, OffsVal, Flags);
3909 if (!IdxN.getValueType().isVector() && VectorWidth) {
3910 EVT VT = EVT::getVectorVT(*Context, IdxN.getValueType(), VectorWidth);
3916 IdxN = DAG.getSExtOrTrunc(IdxN, dl, N.getValueType());
3924 N.getValueType(), IdxN,
3925 DAG.getConstant(Amt, dl, IdxN.getValueType()));
3928 IdxN.getValueType());
3930 N.getValueType(), IdxN, Scale);
3935 N.getValueType(), N, IdxN);
3962 if (AllocSize.getValueType() != IntPtr)
3982 AllocSize = DAG.getNode(ISD::ADD, dl, AllocSize.getValueType(), AllocSize,
3987 DAG.getNode(ISD::AND, dl, AllocSize.getValueType(), AllocSize,
3991 SDVTList VTs = DAG.getVTList(AllocSize.getValueType(), MVT::Other);
4071 EVT PtrVT = Ptr.getValueType();
4223 EVT PtrVT = Ptr.getValueType();
4297 EVT VT = Src0.getValueType();
4376 if (!Index.getValueType().isVector()) {
4378 EVT VT = EVT::getVectorVT(Context, Index.getValueType(), GEPWidth);
4391 EVT VT = Src0.getValueType();
4457 EVT VT = Src0.getValueType();
4740 if (Val.getValueType() != MemVT)
4990 if (Op.getValueType() == MVT::f32 &&
5005 return DAG.getNode(ISD::FEXP, dl, Op.getValueType(), Op);
5014 if (Op.getValueType() == MVT::f32 &&
5104 return DAG.getNode(ISD::FLOG, dl, Op.getValueType(), Op);
5113 if (Op.getValueType() == MVT::f32 &&
5201 return DAG.getNode(ISD::FLOG2, dl, Op.getValueType(), Op);
5210 if (Op.getValueType() == MVT::f32 &&
5291 return DAG.getNode(ISD::FLOG10, dl, Op.getValueType(), Op);
5298 if (Op.getValueType() == MVT::f32 &&
5303 return DAG.getNode(ISD::FEXP2, dl, Op.getValueType(), Op);
5311 if (LHS.getValueType() == MVT::f32 && RHS.getValueType() == MVT::f32 &&
5311 if (LHS.getValueType() == MVT::f32 && RHS.getValueType() == MVT::f32 &&
5332 return DAG.getNode(ISD::FPOW, dl, LHS.getValueType(), LHS, RHS);
5349 return DAG.getConstantFP(1.0, DL, LHS.getValueType());
5367 Res = DAG.getNode(ISD::FMUL, DL,Res.getValueType(), Res, CurSquare);
5372 CurSquare = DAG.getNode(ISD::FMUL, DL, CurSquare.getValueType(),
5379 Res = DAG.getNode(ISD::FDIV, DL, LHS.getValueType(),
5380 DAG.getConstantFP(1.0, DL, LHS.getValueType()), Res);
5386 return DAG.getNode(ISD::FPOWI, DL, LHS.getValueType(), LHS, RHS);
5398 Op.getValueType().getSizeInBits());
6050 getValue(I.getArgOperand(0)).getValueType(),
6074 getValue(I.getArgOperand(0)).getValueType(),
6080 getValue(I.getArgOperand(0)).getValueType(),
6086 getValue(I.getArgOperand(0)).getValueType(),
6092 getValue(I.getArgOperand(0)).getValueType(),
6098 getValue(I.getArgOperand(0)).getValueType(),
6104 getValue(I.getArgOperand(0)).getValueType(),
6148 getValue(I.getArgOperand(0)).getValueType(),
6155 getValue(I.getArgOperand(0)).getValueType(),
6159 getValue(I.getArgOperand(0)).getValueType(),
6194 getValue(I.getArgOperand(0)).getValueType(),
6199 getValue(I.getArgOperand(0)).getValueType(),
6205 EVT Ty = Arg.getValueType();
6213 EVT Ty = Arg.getValueType();
6220 EVT Ty = Arg.getValueType();
6230 EVT VT = X.getValueType();
6292 setValue(&I, DAG.getNode(ISD::SADDSAT, sdl, Op1.getValueType(), Op1, Op2));
6298 setValue(&I, DAG.getNode(ISD::UADDSAT, sdl, Op1.getValueType(), Op1, Op2));
6304 setValue(&I, DAG.getNode(ISD::SSUBSAT, sdl, Op1.getValueType(), Op1, Op2));
6310 setValue(&I, DAG.getNode(ISD::USUBSAT, sdl, Op1.getValueType(), Op1, Op2));
6319 Op1.getValueType(), Op1, Op2, Op3));
6326 setValue(&I, DAG.getNode(ISD::SMULFIXSAT, sdl, Op1.getValueType(), Op1, Op2,
6334 setValue(&I, DAG.getNode(ISD::UMULFIXSAT, sdl, Op1.getValueType(), Op1, Op2,
6533 EVT ResultVT = Op1.getValueType();
6826 Val.getValueType(), GA->getOffset())});
7402 Size = DAG.getSExtOrTrunc(Size, sdl, Dst.getValueType());
7405 SDValue DstPlusSize = DAG.getNode(ISD::ADD, sdl, Dst.getValueType(),
7512 setValue(&I, DAG.getNode(Opcode, getCurSDLoc(), Tmp.getValueType(), Tmp));
7529 EVT VT = Tmp0.getValueType();
7573 LHS.getValueType(), LHS, RHS));
8279 RegsForValue MatchedRegs(Regs, RegVT, InOperandVal.getValueType());
8340 assert(InOperandVal.getValueType() ==
8438 if (ResultVT != V.getValueType() &&
8441 else if (ResultVT != V.getValueType() && ResultVT.isInteger() &&
8442 V.getValueType().isInteger()) {
8448 assert(ResultVT == V.getValueType() && "Asm result value mismatch!");
8599 SDValue ZExt = DAG.getNode(ISD::AssertZext, SL, Op.getValueType(), Op,
9210 if (Args[i].IsReturned && !Op.getValueType().isVector() &&
9238 ISD::OutputArg MyFlags(Flags, Parts[j].getValueType(), VT,
9240 i, j*Parts[j].getValueType().getStoreSize());
9265 assert(CLI.Chain.getNode() && CLI.Chain.getValueType() == MVT::Other &&
9284 assert(EVT(CLI.Ins[i].VT) == InVals[i].getValueType() &&
9733 assert(NewRoot.getNode() && NewRoot.getValueType() == MVT::Other &&
9741 assert(EVT(Ins[i].VT) == InVals[i].getValueType() &&
10075 EVT VT = CondLHS.getValueType();
lib/CodeGen/SelectionDAG/SelectionDAGDumper.cpp 924 if (Op.getValueType() == MVT::Other)
lib/CodeGen/SelectionDAG/SelectionDAGISel.cpp 754 if (Op.getValueType() == MVT::Other)
767 EVT SrcVT = Src.getValueType();
2041 if (InOps[e-1].getValueType() == MVT::Glue)
2118 if ((Op.getValueType() == MVT::Other && IgnoreChains) || N == Def)
2130 if ((Op.getValueType() == MVT::Other && IgnoreChains) || N == Def)
2250 Op->getOperand(2).getValueType(),
2310 if (ChainVal.getValueType() == MVT::Glue)
2312 assert(ChainVal.getValueType() == MVT::Other && "Not a chain?");
2356 if (V.getValueType() != MVT::Other)
2509 if (N.getValueType() == VT) return true;
2512 return VT == MVT::iPTR && N.getValueType() == TLI->getPointerTy(DL);
2972 N->getOperand(N->getNumOperands()-1).getValueType() == MVT::Glue)
3240 Imm.getValueType());
3244 Imm.getValueType());
3425 if (V.getValueType() == MVT::Glue) break;
3540 assert((NodeToMatch->getValueType(i) == Res.getValueType() ||
3542 Res.getValueType() == MVT::iPTR ||
3652 bool HasInputChain = N->getOperand(0).getValueType() == MVT::Other;
lib/CodeGen/SelectionDAG/SelectionDAGPrinter.cpp 98 EVT VT = Op.getValueType();
lib/CodeGen/SelectionDAG/StatepointLowering.cpp 375 Loc = Builder.StatepointLowering.allocateStackSlot(Incoming.getValueType(),
435 assert(Incoming.getValueType() == Builder.getFrameIndexTy() &&
589 assert(Incoming.getValueType() == Builder.getFrameIndexTy() &&
lib/CodeGen/SelectionDAG/TargetLowering.cpp 133 Entry.Ty = Entry.Node.getValueType().getTypeForEVT(*DAG.getContext());
134 Entry.IsSExt = shouldSignExtendTypeInLibCall(NewOp.getValueType(),
382 EVT OpsVT[2] = { OldLHS.getValueType(),
383 OldRHS.getValueType() };
402 NewLHS = DAG.getNode(ISD::OR, dl, Tmp.getValueType(), Tmp, NewLHS);
494 EVT VT = Op.getValueType();
522 if (Op.getValueType().isVector())
539 if (TLI.isTruncateFree(Op.getValueType(), SmallVT) &&
540 TLI.isZExtFree(SmallVT, Op.getValueType())) {
547 SDValue Z = DAG.getNode(ISD::ANY_EXTEND, dl, Op.getValueType(), X);
574 EVT VT = Op.getValueType();
597 return DAG.getUNDEF(Op.getValueType());
604 EVT SrcVT = Src.getValueType();
605 EVT DstVT = Op.getValueType();
707 EVT VecVT = Vec.getValueType();
729 return DAG.getUNDEF(Op.getValueType());
762 assert((!Op.getValueType().isVector() ||
763 NumElts == Op.getValueType().getVectorNumElements()) &&
786 EVT VT = Op.getValueType();
840 EVT VecVT = Vec.getValueType();
877 EVT SubVT = Sub.getValueType();
917 unsigned NumSrcElts = Src.getValueType().getVectorNumElements();
931 EVT SubVT = Op.getOperand(0).getValueType();
1260 if (CC == ISD::SETLT && Op1.getValueType().isInteger() &&
1267 if (getBooleanContents(Op0.getValueType()) ==
1303 SDValue NewSA = TLO.DAG.getConstant(Diff, dl, Op1.getValueType());
1325 EVT InnerVT = InnerOp.getValueType();
1353 Op1.getValueType());
1383 EVT ShiftVT = Op1.getValueType();
1482 TLO.DAG.getConstant(BitWidth - 1 - Log2, dl, Op1.getValueType());
1599 EVT HalfVT = Op.getOperand(0).getValueType();
1623 EVT SrcVT = Src.getValueType();
1656 EVT SrcVT = Src.getValueType();
1704 EVT SrcVT = Src.getValueType();
1802 unsigned NumSrcElts = Src.getValueType().getVectorNumElements();
1828 EVT SrcVT = Src.getValueType();
2040 EVT VT = BO.getValueType();
2076 if (C0 && C1 && C0.getValueType() == EltVT && C1.getValueType() == EltVT)
2076 if (C0 && C1 && C0.getValueType() == EltVT && C1.getValueType() == EltVT)
2087 EVT VT = Op.getValueType();
2130 EVT SrcVT = Src.getValueType();
2223 Ops[i] = TLO.DAG.getUNDEF(Ops[0].getValueType());
2244 EVT SubVT = Op.getOperand(0).getValueType();
2264 EVT SubVT = Sub.getValueType();
2296 unsigned NumSrcElts = Src.getValueType().getVectorNumElements();
2451 unsigned NumSrcElts = Src.getValueType().getVectorNumElements();
2788 EVT OpVT = N0.getValueType();
2865 EVT XVT = X.getValueType();
2995 EVT VT = X.getValueType();
3020 EVT OpVT = N0.getValueType();
3042 SDValue YShl1 = DAG.getNode(ISD::SHL, DL, N1.getValueType(), Y, One);
3055 EVT OpVT = N0.getValueType();
3101 SDValue Zero = DAG.getConstant(0, dl, N0.getValueType());
3115 EVT CTVT = CTPOP.getValueType();
3212 if (TopSetCC.getValueType() == MVT::i1 && VT == MVT::i1 &&
3226 TopSetCC.getOperand(0).getValueType().isInteger());
3275 EVT PtrType = Lod->getOperand(1).getValueType();
3331 EVT newVT = N0.getOperand(0).getValueType();
3341 return DAG.getBoolExtOrTrunc(NewSetCC, dl, VT, N0.getValueType());
3352 EVT ExtDstTy = N0.getValueType();
3361 EVT Op0Ty = N0.getOperand(0).getValueType();
3382 isTypeLegal(VT) && VT.bitsLE(N0.getValueType()) &&
3383 (N0.getValueType() == MVT::i1 ||
3384 getBooleanContents(N0.getOperand(0).getValueType()) ==
3392 N0.getOperand(0).getValueType().isInteger());
3418 Val = DAG.getNode(ISD::AND, dl, N0.getValueType(),
3428 getBooleanContents(N0.getValueType()) ==
3446 if (Op0.getValueType().bitsGT(VT))
3450 else if (Op0.getValueType().bitsLT(VT))
3456 DAG.getConstant(0, dl, Op0.getValueType()),
3462 DAG.getConstant(0, dl, Op0.getValueType()),
3514 DAG.getConstant(C, dl, N1.getValueType()),
3534 DAG.getConstant(C, dl, N1.getValueType()),
3553 DAG.getConstant(MinVal, dl, N0.getValueType()),
3571 DAG.getConstant(MaxVal, dl, N0.getValueType()),
3592 DAG.getConstant(0, dl, N1.getValueType()),
3600 N1.getValueType());
3611 EVT ShValTy = N0.getValueType();
3653 EVT ShiftTy = getShiftAmountTy(N0.getValueType(), DL,
3655 EVT CmpTy = N0.getValueType();
3684 EVT ShiftTy = getShiftAmountTy(N0.getValueType(), DL,
3686 EVT CmpTy = N0.getValueType();
3712 SDValue NegN1 = DAG.getNode(ISD::FNEG, dl, N0.getValueType(), N1);
3758 assert(!N0.getValueType().isInteger() &&
3777 N0.getValueType().isInteger()) {
3808 dl, N0.getValueType()), Cond);
3820 dl, N0.getValueType()),
3831 dl, N0.getValueType()),
3878 if (N0.getValueType().getScalarType() == MVT::i1 && foldBooleans) {
4937 EVT VT = REMNode.getValueType();
5110 EVT VT = REMNode.getValueType();
5350 EVT VT = Op.getValueType();
5354 isFPExtFree(VT, Op.getOperand(0).getValueType())))
5474 return DAG.getConstantFP(V, SDLoc(Op), Op.getValueType());
5485 Ops.push_back(DAG.getConstantFP(V, SDLoc(Op), C.getValueType()));
5487 return DAG.getBuildVector(Op.getValueType(), SDLoc(Op), Ops);
5497 return DAG.getNode(ISD::FSUB, SDLoc(Op), Op.getValueType(),
5503 return DAG.getNode(ISD::FSUB, SDLoc(Op), Op.getValueType(),
5516 return DAG.getNode(ISD::FSUB, SDLoc(Op), Op.getValueType(),
5524 return DAG.getNode(Op.getOpcode(), SDLoc(Op), Op.getValueType(),
5532 Op.getOpcode(), SDLoc(Op), Op.getValueType(), Op.getOperand(0),
5554 return DAG.getNode(Op.getOpcode(), SDLoc(Op), Op.getValueType(), Neg0,
5561 return DAG.getNode(Op.getOpcode(), SDLoc(Op), Op.getValueType(),
5567 return DAG.getNode(Op.getOpcode(), SDLoc(Op), Op.getValueType(),
5572 return DAG.getNode(ISD::FP_ROUND, SDLoc(Op), Op.getValueType(),
5805 EVT ShVT = Z.getValueType();
5843 EVT ShVT = Op1.getValueType();
5882 EVT SrcVT = Src.getValueType();
5956 EVT SrcVT = Src.getValueType();
6037 EVT SrcVT = Src.getValueType();
6396 EVT RegVT = Value.getValueType();
6509 EVT PtrVT = Ptr.getValueType();
6510 EVT StackPtrVT = StackPtr.getValueType();
6604 DAG.getConstant(NumBits, dl, getShiftAmountTy(Hi.getValueType(),
6622 EVT VT = Val.getValueType();
6650 EVT PtrVT = Ptr.getValueType();
6664 EVT StackPtrVT = StackPtr.getValueType();
6718 NumBits, dl, getShiftAmountTy(Val.getValueType(), DAG.getDataLayout()));
6747 EVT AddrVT = Addr.getValueType();
6748 EVT MaskVT = Mask.getValueType();
6780 EVT IdxVT = Idx.getValueType();
6798 Index = DAG.getZExtOrTrunc(Index, dl, VecPtr.getValueType());
6809 EVT IdxVT = Index.getValueType();
6866 EVT VT = Op.getOperand(0).getValueType();
6886 EVT VT = LHS.getValueType();
6889 assert(VT == RHS.getValueType() && "Expected operands to be the same type");
6973 EVT VT = LHS.getValueType();
7016 assert(LHS.getValueType() == RHS.getValueType() &&
7016 assert(LHS.getValueType() == RHS.getValueType() &&
7121 LHS.getValueType(), LHS, RHS);
7139 LHS.getValueType(), LHS, RHS);
7147 if (isOperationLegalOrCustom(OpcSat, LHS.getValueType())) {
7148 SDValue Sat = DAG.getNode(OpcSat, dl, LHS.getValueType(), LHS, RHS);
7154 SDValue Zero = DAG.getConstant(0, dl, LHS.getValueType());
7297 getShiftAmountTy(BottomHalf.getValueType(), DAG.getDataLayout()));
7341 EVT VT = Op.getValueType();
lib/Target/AArch64/AArch64ISelDAGToDAG.cpp 285 dl, Op.getValueType(),
345 if (N.getValueType() == MVT::i32)
458 SrcVT = N.getOperand(0).getValueType();
471 EVT SrcVT = N.getOperand(0).getValueType();
636 if (N.getValueType() == MVT::i32)
1352 EVT VT = V64Reg.getValueType();
1368 EVT VT = V128Reg.getValueType();
1736 VT = Opd0.getValueType();
2107 EVT VT = Op.getValueType();
2137 EVT VT = Op.getValueType();
2355 EVT VT = OrOpd1Val.getValueType();
3952 VT = Node->getOperand(1).getValueType();
3981 VT = Node->getOperand(1).getValueType();
4010 VT = Node->getOperand(1).getValueType();
4039 VT = Node->getOperand(1).getValueType();
4068 VT = Node->getOperand(1).getValueType();
4097 VT = Node->getOperand(1).getValueType();
4126 VT = Node->getOperand(1).getValueType();
4146 VT = Node->getOperand(1).getValueType();
4166 VT = Node->getOperand(1).getValueType();
lib/Target/AArch64/AArch64ISelLowering.cpp 987 EVT VT = Op.getValueType();
1017 EVT VT = Op.getValueType();
1102 MVT VT = Op.getOperand(1).getValueType().getSimpleVT();
1604 EVT VT = LHS.getValueType();
1709 if (LHS.getValueType().isFloatingPoint()) {
1710 assert(LHS.getValueType() != MVT::f128);
1711 if (LHS.getValueType() == MVT::f16 && !FullFP16) {
1755 if (Val->getOperand(0).getValueType() == MVT::f128)
1819 bool isInteger = LHS.getValueType().isInteger();
1827 assert(LHS.getValueType().isFloatingPoint());
1962 EVT VT = Op.getValueType();
1974 EVT VT = RHS.getValueType();
2076 DAG.getNode(ISD::SIGN_EXTEND_INREG, dl, LHS.getValueType(), LHS,
2079 RHS.getValueType()),
2103 assert((Op.getValueType() == MVT::i32 || Op.getValueType() == MVT::i64) &&
2103 assert((Op.getValueType() == MVT::i32 || Op.getValueType() == MVT::i64) &&
2134 if (Op.getValueType() == MVT::i32) {
2182 assert(Op.getValueType() == MVT::i64 && "Expected an i64 value type");
2255 return DAG.getNode(AArch64ISD::CSEL, dl, Op.getValueType(), TVal, FVal,
2278 if (LHS.getValueType() != MVT::i32 && LHS.getValueType() != MVT::i64)
2278 if (LHS.getValueType() != MVT::i32 && LHS.getValueType() != MVT::i64)
2302 TVal = DAG.getNode(ISD::XOR, dl, Other.getValueType(), Other,
2303 DAG.getConstant(-1ULL, dl, Other.getValueType()));
2305 return DAG.getNode(AArch64ISD::CSEL, dl, Sel.getValueType(), FVal, TVal,
2313 EVT VT = Op.getValueType();
2350 if (!DAG.getTargetLoweringInfo().isTypeLegal(Op.getValueType()))
2370 SDVTList VTs = DAG.getVTList(Op.getValueType(), MVT::i32);
2407 assert(Op.getValueType() == MVT::f128 && "Unexpected lowering");
2410 LC = RTLIB::getFPEXT(Op.getOperand(0).getValueType(), Op.getValueType());
2410 LC = RTLIB::getFPEXT(Op.getOperand(0).getValueType(), Op.getValueType());
2417 if (Op.getOperand(0).getValueType() != MVT::f128) {
2423 LC = RTLIB::getFPROUND(Op.getOperand(0).getValueType(), Op.getValueType());
2423 LC = RTLIB::getFPROUND(Op.getOperand(0).getValueType(), Op.getValueType());
2430 return makeLibCall(DAG, LC, Op.getValueType(), SrcVal, CallOptions,
2439 EVT InVT = Op.getOperand(0).getValueType();
2440 EVT VT = Op.getValueType();
2449 Op.getOpcode(), dl, Op.getValueType(),
2476 if (Op.getOperand(0).getValueType().isVector())
2480 if (Op.getOperand(0).getValueType() == MVT::f16 &&
2484 Op.getOpcode(), dl, Op.getValueType(),
2488 if (Op.getOperand(0).getValueType() != MVT::f128) {
2495 LC = RTLIB::getFPTOSINT(Op.getOperand(0).getValueType(), Op.getValueType());
2495 LC = RTLIB::getFPTOSINT(Op.getOperand(0).getValueType(), Op.getValueType());
2497 LC = RTLIB::getFPTOUINT(Op.getOperand(0).getValueType(), Op.getValueType());
2497 LC = RTLIB::getFPTOUINT(Op.getOperand(0).getValueType(), Op.getValueType());
2501 return makeLibCall(DAG, LC, Op.getValueType(), Ops, CallOptions, SDLoc(Op)).first;
2508 EVT VT = Op.getValueType();
2511 EVT InVT = In.getValueType();
2534 if (Op.getValueType().isVector())
2538 if (Op.getValueType() == MVT::f16 &&
2548 if (Op.getOperand(0).getValueType() == MVT::i128)
2553 if (Op.getValueType() != MVT::f128)
2558 LC = RTLIB::getSINTTOFP(Op.getOperand(0).getValueType(), Op.getValueType());
2558 LC = RTLIB::getSINTTOFP(Op.getOperand(0).getValueType(), Op.getValueType());
2560 LC = RTLIB::getUINTTOFP(Op.getOperand(0).getValueType(), Op.getValueType());
2560 LC = RTLIB::getUINTTOFP(Op.getOperand(0).getValueType(), Op.getValueType());
2571 EVT ArgVT = Arg.getValueType();
2600 if (Op.getValueType() != MVT::f16)
2603 assert(Op.getOperand(0).getValueType() == MVT::i16);
2753 EVT VT = Op.getValueType();
2801 assert(Op0.getValueType().is64BitVector() &&
2802 Op1.getValueType().is64BitVector() &&
2811 EVT Op1VT = Op1.getValueType();
2830 EVT Ty = Op.getValueType();
2843 return DAG.getNode(ISD::SMAX, dl, Op.getValueType(),
2846 return DAG.getNode(ISD::UMAX, dl, Op.getValueType(),
2849 return DAG.getNode(ISD::SMIN, dl, Op.getValueType(),
2852 return DAG.getNode(ISD::UMIN, dl, Op.getValueType(),
2856 return DAG.getNode(AArch64ISD::SUNPKHI, dl, Op.getValueType(),
2859 return DAG.getNode(AArch64ISD::SUNPKLO, dl, Op.getValueType(),
2862 return DAG.getNode(AArch64ISD::UUNPKHI, dl, Op.getValueType(),
2865 return DAG.getNode(AArch64ISD::UUNPKLO, dl, Op.getValueType(),
2893 return ExtVal.getValueType().isScalableVector();
2939 EVT VT = Value.getValueType();
3304 ArgValue = DAG.getNode(ISD::AssertZext, DL, ArgValue.getValueType(),
3927 Bits = DAG.getNode(ISD::OR, DL, Bits.getValueType(), Bits, Arg);
4075 RegToPass.second.getValueType()));
4220 Bits = DAG.getNode(ISD::OR, DL, Bits.getValueType(), Bits, Arg);
4232 DAG.getRegister(RetVal.first, RetVal.second.getValueType()));
4694 if (LHS.getValueType() == MVT::f128) {
4700 RHS = DAG.getConstant(0, dl, LHS.getValueType());
4726 if (LHS.getValueType().isInteger()) {
4727 assert((LHS.getValueType() == RHS.getValueType()) &&
4727 assert((LHS.getValueType() == RHS.getValueType()) &&
4728 (LHS.getValueType() == MVT::i32 || LHS.getValueType() == MVT::i64));
4728 (LHS.getValueType() == MVT::i32 || LHS.getValueType() == MVT::i64));
4791 assert(LHS.getValueType() == MVT::f16 || LHS.getValueType() == MVT::f32 ||
4791 assert(LHS.getValueType() == MVT::f16 || LHS.getValueType() == MVT::f32 ||
4792 LHS.getValueType() == MVT::f64);
4813 EVT VT = Op.getValueType();
4818 EVT SrcVT = In2.getValueType();
4903 EVT VT = Op.getValueType();
4945 if (Op.getValueType().isVector())
4954 EVT VT = Op.getValueType();
4960 if (LHS.getValueType() == MVT::f128) {
4965 assert(LHS.getValueType() == Op.getValueType() &&
4965 assert(LHS.getValueType() == Op.getValueType() &&
4971 if (LHS.getValueType().isInteger()) {
4983 assert(LHS.getValueType() == MVT::f16 || LHS.getValueType() == MVT::f32 ||
4983 assert(LHS.getValueType() == MVT::f16 || LHS.getValueType() == MVT::f32 ||
4984 LHS.getValueType() == MVT::f64);
5022 if (LHS.getValueType() == MVT::f128) {
5028 RHS = DAG.getConstant(0, dl, LHS.getValueType());
5034 if (LHS.getValueType() == MVT::f16 && !Subtarget->hasFullFP16()) {
5040 if (LHS.getValueType().isInteger()) {
5041 assert((LHS.getValueType() == RHS.getValueType()) &&
5041 assert((LHS.getValueType() == RHS.getValueType()) &&
5042 (LHS.getValueType() == MVT::i32 || LHS.getValueType() == MVT::i64));
5042 (LHS.getValueType() == MVT::i32 || LHS.getValueType() == MVT::i64));
5087 } else if (TVal.getValueType() == MVT::i32) {
5149 FVal = DAG.getConstant(0, dl, FVal.getValueType());
5155 EVT VT = TVal.getValueType();
5160 assert(LHS.getValueType() == MVT::f16 || LHS.getValueType() == MVT::f32 ||
5160 assert(LHS.getValueType() == MVT::f16 || LHS.getValueType() == MVT::f32 ||
5161 LHS.getValueType() == MVT::f64);
5162 assert(LHS.getValueType() == RHS.getValueType());
5162 assert(LHS.getValueType() == RHS.getValueType());
5163 EVT VT = TVal.getValueType();
5180 CTVal && CTVal->isZero() && TVal.getValueType() == LHS.getValueType())
5180 CTVal && CTVal->isZero() && TVal.getValueType() == LHS.getValueType())
5184 FVal.getValueType() == LHS.getValueType())
5184 FVal.getValueType() == LHS.getValueType())
5234 return DAG.getNode(AArch64ISD::CSEL, DL, Op.getValueType(), TVal, FVal,
5247 RHS = DAG.getConstant(0, DL, CCVal.getValueType());
5445 EVT VT = Op.getValueType();
5511 EVT VT = Op.getValueType();
5561 EVT VT = Op.getValueType();
5577 EVT VT = Op.getValueType();
5598 EVT VT = Op.getValueType();
5655 EVT VT = Op.getValueType();
5752 EVT VT = Operand.getValueType();
5781 EVT VT = Operand.getValueType();
5820 EVT VT = Operand.getValueType();
6084 if (Op.getValueType() == MVT::i64)
6222 EVT VT = V64Reg.getValueType();
6235 EVT EltType = V.getValueType().getVectorElementType();
6242 EVT VT = V128Reg.getValueType();
6258 EVT VT = Op.getValueType();
6323 EVT SrcEltTy = Source.Vec.getValueType().getVectorElementType();
6337 EVT SrcVT = Src.ShuffleVec.getValueType();
6354 DAG.getUNDEF(Src.ShuffleVec.getValueType()));
6398 EVT SrcEltTy = Src.ShuffleVec.getValueType().getVectorElementType();
6410 assert(Src.ShuffleVec.getValueType() == ShuffleVT););
6426 EVT OrigEltTy = Entry.getOperand(0).getValueType().getVectorElementType();
6719 EVT VT = Op.getValueType();
6724 if (VT.getVectorElementType() != V0.getValueType().getVectorElementType() ||
6725 VT.getVectorElementType() != V1.getValueType().getVectorElementType())
6782 EVT VT = OpLHS.getValueType();
6856 EVT EltVT = Op.getValueType().getVectorElementType();
6908 return DAG.getNode(ISD::BITCAST, DL, Op.getValueType(), Shuffle);
6927 EVT VT = Op.getValueType();
6947 return DAG.getNode(AArch64ISD::DUP, dl, V1.getValueType(),
6956 unsigned Opcode = getDUPLANEOp(V1.getValueType().getVectorElementType());
6975 return DAG.getNode(AArch64ISD::REV64, dl, V1.getValueType(), V1, V2);
6977 return DAG.getNode(AArch64ISD::REV32, dl, V1.getValueType(), V1, V2);
6979 return DAG.getNode(AArch64ISD::REV16, dl, V1.getValueType(), V1, V2);
6987 return DAG.getNode(AArch64ISD::EXT, dl, V1.getValueType(), V1, V2,
6991 return DAG.getNode(AArch64ISD::EXT, dl, V1.getValueType(), V1, V1,
6998 return DAG.getNode(Opc, dl, V1.getValueType(), V1, V2);
7002 return DAG.getNode(Opc, dl, V1.getValueType(), V1, V2);
7006 return DAG.getNode(Opc, dl, V1.getValueType(), V1, V2);
7011 return DAG.getNode(Opc, dl, V1.getValueType(), V1, V1);
7015 return DAG.getNode(Opc, dl, V1.getValueType(), V1, V1);
7019 return DAG.getNode(Opc, dl, V1.getValueType(), V1, V1);
7027 int NumInputElements = V1.getValueType().getVectorNumElements();
7079 EVT VT = Op.getValueType();
7138 EVT VT = Op.getValueType();
7160 EVT VT = Op.getValueType();
7208 EVT VT = Op.getValueType();
7247 EVT VT = Op.getValueType();
7278 EVT VT = Op.getValueType();
7299 EVT VT = Op.getValueType();
7432 EVT VT = Op.getValueType();
7473 EVT VT = Op.getValueType();
7492 assert(Lane.getValueType() == MVT::i32 &&
7501 EVT VT = Op.getValueType();
7543 EVT VT = Op.getValueType();
7647 N0.getValueType().getVectorElementType())
7694 Value.getValueType() != VT) {
7829 EVT VT = Op.getOperand(0).getValueType();
7849 EVT WideTy = WideVec.getValueType();
7863 EVT VT = Op.getOperand(0).getValueType();
7883 EVT WideTy = WideVec.getValueType();
7896 EVT VT = Op.getOperand(0).getValueType();
8003 EVT VT = Op.getValueType();
8007 if (!Op.getOperand(1).getValueType().isVector())
8053 EVT SrcVT = LHS.getValueType();
8150 EVT CmpVT = LHS.getValueType().changeVectorElementTypeToInteger();
8153 if (LHS.getValueType().getVectorElementType().isInteger()) {
8154 assert(LHS.getValueType() == RHS.getValueType());
8154 assert(LHS.getValueType() == RHS.getValueType());
8158 return DAG.getSExtOrTrunc(Cmp, dl, Op.getValueType());
8166 if (!FullFP16 && LHS.getValueType().getVectorElementType() == MVT::f16) {
8167 if (LHS.getValueType().getVectorNumElements() == 4) {
8177 assert((!FullFP16 && LHS.getValueType().getVectorElementType() != MVT::f16) ||
8178 LHS.getValueType().getVectorElementType() != MVT::f128);
8201 Cmp = DAG.getSExtOrTrunc(Cmp, dl, Op.getValueType());
8204 Cmp = DAG.getNOT(dl, Cmp, Cmp.getValueType());
8213 return DAG.getNode(ISD::EXTRACT_VECTOR_ELT, DL, ScalarOp.getValueType(), Rdx,
8234 ISD::INTRINSIC_WO_CHAIN, dl, Op.getValueType(),
8241 ISD::INTRINSIC_WO_CHAIN, dl, Op.getValueType(),
8554 EVT VT1 = Val.getValueType();
9285 EVT ShiftEltTy = Shift.getValueType().getVectorElementType();
9572 if (!Op.getValueType().isVector() || !Op.getValueType().isSimple() ||
9572 if (!Op.getValueType().isVector() || !Op.getValueType().isSimple() ||
9602 unsigned NumLanes = Op.getValueType().getVectorNumElements();
9645 if (!Op.getValueType().isVector() || !Op.getValueType().isSimple() ||
9645 if (!Op.getValueType().isVector() || !Op.getValueType().isSimple() ||
9646 !Op.getOperand(0).getValueType().isSimple() ||
9675 unsigned NumLanes = Op.getValueType().getVectorNumElements();
9699 return DAG.getNode(ISD::INTRINSIC_WO_CHAIN, DL, Op.getValueType(),
9992 EVT N00VT = N00.getValueType();
9994 if (N00VT == N10.getValueType() &&
10035 MVT RHSTy = RHS.getValueType().getSimpleVT();
10084 if (Vec.getValueType() == MVT::v4i32)
10086 else if (Vec.getValueType() == MVT::v2i64)
10154 N.getOperand(0).getValueType().getVectorNumElements() / 2;
10261 ? InfoAndKind.Info.AArch64.Cmp->getOperand(0).getValueType()
10262 : InfoAndKind.Info.Generic.Opnd0->getValueType();
10353 assert(LHS.getValueType().is64BitVector() &&
10354 RHS.getValueType().is64BitVector() &&
10628 unsigned EltOffset = SplatVal.getValueType().getSizeInBits() / 8;
10681 EVT VT = StVal.getValueType();
10744 EVT VT = StVal.getValueType();
10804 EVT VT = StVal.getValueType();
11086 VecTy = N->getOperand(2).getValueType();
11429 assert(LHS.getValueType() == RHS.getValueType() &&
11429 assert(LHS.getValueType() == RHS.getValueType() &&
11431 if (LHS.getValueType() != MVT::i32 && LHS.getValueType() != MVT::i64)
11431 if (LHS.getValueType() != MVT::i32 && LHS.getValueType() != MVT::i64)
11567 EVT CCVT = N0.getValueType();
11574 EVT CmpVT = N0.getOperand(0).getValueType();
11606 assert((N0.getValueType() == MVT::i1 || N0.getValueType() == MVT::i32) &&
11606 assert((N0.getValueType() == MVT::i1 || N0.getValueType() == MVT::i32) &&
11612 EVT SrcVT = N0.getOperand(0).getValueType();
11656 if (N->getValueType(0) == N->getOperand(0).getValueType())
11827 if (Copy->getOperand(Copy->getNumOperands() - 1).getValueType() ==
11932 if (N->getValueType(0) != MVT::i16 || Op.getValueType() != MVT::f16)
12357 return X.getValueType().isScalarInteger() || NewShiftOpcode == ISD::SHL;
lib/Target/AArch64/AArch64ISelLowering.h 492 return V.getValueType().isScalarInteger();
496 EVT VT = Y.getValueType();
lib/Target/AMDGPU/AMDGPUISelDAGToDAG.cpp 351 if (Src.getValueType().getSizeInBits() == 32)
604 assert(N->getOperand(0).getValueType() == MVT::Other && "Expected chain");
1779 if (Addr.getValueType() != MVT::i32)
1809 if ((Addr.getValueType() != MVT::i32 ||
2415 if (In.getValueType() == MVT::f32)
2569 assert(Src.getValueType() == MVT::f16);
lib/Target/AMDGPU/AMDGPUISelLowering.cpp 52 EVT VT = Op.getValueType();
58 EVT VT = Op.getValueType();
820 return isZExtFree(Val.getValueType(), VT2);
1121 auto Ops = {DAG.getConstant(0, SDLoc(), Op.getValueType()), Op.getOperand(0)};
1215 return DAG.getConstant(Offset, SDLoc(Op), Op.getValueType());
1230 EVT VT = Op.getValueType();
1243 return DAG.getBuildVector(Op.getValueType(), SDLoc(Op), Args);
1251 EVT VT = Op.getValueType();
1255 return DAG.getBuildVector(Op.getValueType(), SDLoc(Op), Args);
1387 N.getValueType().getVectorNumElements() &&
1401 EVT VT = Op.getValueType();
1460 EVT VT = Op.getValueType();
1486 EVT VT = Val.getValueType();
1529 EVT VT = Op.getValueType();
1636 EVT VT = Op.getValueType();
1845 EVT VT = Op.getValueType();
1960 EVT VT = Op.getValueType();
2020 EVT VT = Op.getValueType();
2077 assert(Op.getValueType() == MVT::f64);
2126 assert(Op.getValueType() == MVT::f64);
2153 return DAG.getNode(ISD::FRINT, SDLoc(Op), Op.getValueType(), Op.getOperand(0));
2164 EVT VT = Op.getValueType();
2248 EVT VT = Op.getValueType();
2286 EVT VT = Op.getValueType();
2298 EVT VT = Op.getValueType();
2332 if (ZeroUndef && Src.getValueType() == MVT::i32)
2499 assert(Op.getOperand(0).getValueType() == MVT::i64 &&
2504 EVT DestVT = Op.getValueType();
2526 assert(Op.getOperand(0).getValueType() == MVT::i64 &&
2531 EVT DestVT = Op.getValueType();
2585 if (N0.getValueType() == MVT::f32)
2586 return DAG.getNode(AMDGPUISD::FP_TO_FP16, DL, Op.getValueType(), N0);
2676 return DAG.getZExtOrTrunc(V, DL, Op.getValueType());
2685 EVT SrcVT = Src.getValueType();
2696 if (Op.getValueType() == MVT::i64 && Src.getValueType() == MVT::f64)
2696 if (Op.getValueType() == MVT::i64 && Src.getValueType() == MVT::f64)
2708 EVT SrcVT = Src.getValueType();
2719 if (Op.getValueType() == MVT::i64 && Src.getValueType() == MVT::f64)
2719 if (Op.getValueType() == MVT::i64 && Src.getValueType() == MVT::f64)
2757 EVT VT = Op.getValueType();
2966 EVT SrcVT = Src.getValueType();
3037 if (VT == MVT::i32 && RHSVal == 16 && X.getValueType() == MVT::i16 &&
3053 EVT XVT = X.getValueType();
3177 EVT EltVT = Elt0.getValueType();
3194 if (2 * K->getZExtValue() == Src.getValueType().getScalarSizeInBits()) {
3197 BV.getValueType().getVectorNumElements() == 2) {
3199 EVT SrcEltVT = SrcElt.getValueType();
3216 EVT SrcVT = Src.getValueType();
3235 if (Amt.getValueType() != NewShiftVT) {
3402 EVT VT = Op.getValueType();
3467 EVT VT = N1.getValueType();
3489 EVT VT = N.getValueType();
3569 LHS.getValueType().isInteger());
3571 SDValue NewCond = DAG.getSetCC(SL, Cond.getValueType(), LHS, RHS, NewCC);
3795 SDValue Neg = DAG.getNode(ISD::FNEG, SL, CvtSrc.getValueType(), CvtSrc);
3811 SDValue Neg = DAG.getNode(ISD::FNEG, SL, CvtSrc.getValueType(), CvtSrc);
3821 EVT SrcVT = Src.getValueType();
3846 EVT SrcVT = Src.getValueType();
3889 EVT SrcVT = Src.getValueType();
3916 if (Src.getValueType() == MVT::i64) {
4359 EVT VT = Operand.getValueType();
4375 EVT VT = Operand.getValueType();
4524 unsigned Size = Op.getValueType().getSizeInBits();
lib/Target/AMDGPU/R600ISelLowering.cpp 517 return DAG.getNode(AMDGPUISD::R600_EXPORT, DL, Op.getValueType(), Args);
529 EVT VT = Op.getValueType();
695 EVT VecVT = Vector.getValueType();
719 return DAG.getNode(ISD::EXTRACT_VECTOR_ELT, DL, Op.getValueType(),
735 SDValue Insert = DAG.getNode(ISD::INSERT_VECTOR_ELT, DL, Op.getValueType(),
758 EVT VT = Op.getValueType();
791 EVT VT = Op.getValueType();
827 EVT VT = Op.getValueType();
866 EVT VT = Op.getValueType();
942 EVT VT = Op.getValueType();
959 EVT CompareVT = LHS.getValueType();
1105 return DAG.getNode(ISD::SRL, DL, Ptr.getValueType(), Ptr,
1143 || Store->getValue().getValueType() == MVT::i8);
1237 EVT VT = Value.getValueType();
1239 EVT PtrVT = Ptr.getValueType();
1453 EVT VT = Op.getValueType();
1534 return DAG.getNode(AMDGPUISD::BRANCH_COND, SDLoc(Op), Op.getValueType(),
1550 Op.getValueType());
1693 EVT EltTy = VectorEntry.getValueType().getVectorElementType();
1726 NewBldVec[i] = DAG.getUNDEF(NewBldVec[i].getValueType());
1733 return DAG.getBuildVector(VectorEntry.getValueType(), SDLoc(VectorEntry),
1742 EVT EltTy = VectorEntry.getValueType().getVectorElementType();
1773 return DAG.getBuildVector(VectorEntry.getValueType(), SDLoc(VectorEntry),
1825 SDValue NewPtr = DAG.getNode(ISD::ADD, DL, Ptr.getValueType(), Ptr,
1860 if (Arg.getOpcode() == ISD::UINT_TO_FP && Arg.getValueType() == MVT::f64) {
1879 SelectCC.getOperand(0).getValueType() != MVT::f32 || // LHS
1880 SelectCC.getOperand(2).getValueType() != MVT::f32 || // True
1907 EVT VT = InVec.getValueType();
1927 Ops.append(NElts, DAG.getUNDEF(InVal.getValueType()));
1936 EVT OpVT = Ops[0].getValueType();
1937 if (InVal.getValueType() != OpVT)
1938 InVal = OpVT.bitsGT(InVal.getValueType()) ?
1960 (Arg.getOperand(0).getValueType().getVectorNumElements() ==
1961 Arg.getValueType().getVectorNumElements())) {
2003 LHS.getOperand(0).getValueType().isInteger());
lib/Target/AMDGPU/SIISelLowering.cpp 2150 Arg = DAG.getNode(ISD::AssertZext, DL, Arg.getValueType(), Arg,
2941 RegToPass.second.getValueType()));
3951 EVT VT = Op.getValueType();
3958 SDValue OpLo = DAG.getNode(Opc, SL, Lo.getValueType(), Lo,
3960 SDValue OpHi = DAG.getNode(Opc, SL, Hi.getValueType(), Hi,
3971 EVT VT = Op.getValueType();
3981 SDValue OpLo = DAG.getNode(Opc, SL, Lo0.getValueType(), Lo0, Lo1,
3983 SDValue OpHi = DAG.getNode(Opc, SL, Hi0.getValueType(), Hi0, Hi1,
3992 EVT VT = Op.getValueType();
4004 SDValue OpLo = DAG.getNode(Opc, SL, Lo0.getValueType(), Lo0, Lo1, Lo2,
4006 SDValue OpHi = DAG.getNode(Opc, SL, Hi0.getValueType(), Hi0, Hi1, Hi2,
4197 EVT CmpVT = LHS.getValueType();
4230 EVT CmpVT = Src0.getValueType();
4562 return Op.getValueType().bitsLE(VT) ?
4568 assert(Op.getValueType() == MVT::f16 &&
4572 EVT SrcVT = Src.getValueType();
4585 EVT VT = Op.getValueType();
4769 EVT VecVT = Vec.getValueType();
4770 EVT InsVT = Ins.getValueType();
4790 EVT VecVT = Vec.getValueType();
4865 EVT ResultVT = Op.getValueType();
4868 EVT VecVT = Vec.getValueType();
4910 EVT ResultVT = Op.getValueType();
4915 int SrcNumElts = Op.getOperand(0).getValueType().getVectorNumElements();
4962 EVT VT = Op.getValueType();
5078 EVT PtrVT = Op.getValueType();
5180 if (Elt.getValueType() != MVT::f32)
5346 bool Is64Bit = VData.getValueType() == MVT::i64;
5381 NumVDataDwords = (VData.getValueType().getSizeInBits() + 31) / 32;
5534 SDValue Undef = DAG.getUNDEF(Op.getValueType());
5599 UseNSA ? VAddrs.size() : VAddr.getValueType().getSizeInBits() / 32;
5709 EVT VT = Op.getValueType();
5993 if (Op.getOperand(1).getValueType() == MVT::i1 &&
6026 EVT VT = Op.getValueType();
6267 EVT VT = Op.getValueType();
6271 EVT LoadVT = Op.getValueType();
6328 EVT LoadVT = Op.getValueType();
6358 EVT LoadVT = Op.getValueType();
6382 EVT LoadVT = Op.getValueType();
6433 EVT VT = Op.getValueType();
6501 EVT VT = Op.getValueType();
6575 EVT VT = Op.getValueType();
6647 EVT VT = Op.getValueType();
6668 EVT VT = Op.getValueType();
6689 EVT VT = Op.getValueType();
6742 EVT StoreVT = VData.getValueType();
6833 bool IsD16 = (VData.getValueType().getScalarType() == MVT::f16);
6864 bool IsD16 = (VData.getValueType().getScalarType() == MVT::f16);
6889 bool IsD16 = (VData.getValueType().getScalarType() == MVT::f16);
6915 bool IsD16 = (VData.getValueType().getScalarType() == MVT::f16);
6945 EVT VDataType = VData.getValueType().getScalarType();
6959 EVT VDataVT = VData.getValueType();
7003 EVT VDataVT = VData.getValueType();
7036 EVT VDataType = VData.getValueType().getScalarType();
7064 EVT VT = Op.getOperand(2).getValueType();
7081 EVT VT = Op.getOperand(3).getValueType();
7233 if (VT.bitsLT(Op.getValueType()))
7370 assert(Op.getValueType().getVectorElementType() == MVT::i32 &&
7488 EVT VT = Op.getValueType();
7521 EVT VT = Op.getValueType();
7847 EVT VT = Op.getValueType();
7873 Store->getValue().getValueType().getScalarType() == MVT::i32);
7947 EVT VT = Op.getValueType();
7988 EVT VT = Op.getValueType();
8014 EVT SrcVT = Src.getValueType();
8149 if (V.getValueType() != MVT::i1)
8514 EVT SrcVT = ExtSrc.getValueType();
8627 if (Src.getValueType() != MVT::i16)
8634 if (BCSrc.getValueType() == MVT::f16 &&
8666 Src.getOperand(0).getValueType());
8723 return !F.isDenormal() || denormalsEnabledForType(Op.getValueType());
8776 return Op.getValueType().getScalarType() != MVT::f16;
8792 denormalsEnabledForType(Op.getValueType()))
8835 if (Src.getValueType() == MVT::i16 &&
8838 if (TruncSrc.getValueType() == MVT::i32 &&
8840 TruncSrc.getOperand(0).getValueType() == MVT::v2f16) {
8864 return denormalsEnabledForType(Op.getValueType()) &&
8933 EVT EltVT = Lo.getValueType();
9082 EVT VT = Op0.getValueType();
9255 EVT VecVT = Vec.getValueType();
9319 EVT IdxVT = Idx.getValueType();
9375 EVT VecVT = Vec.getValueType();
9393 EVT IdxVT = Idx.getValueType();
9757 if (Vec1.getValueType() != MVT::v2f16 || Vec2.getValueType() != MVT::v2f16)
9757 if (Vec1.getValueType() != MVT::v2f16 || Vec2.getValueType() != MVT::v2f16)
9776 EVT VT = LHS.getValueType();
10045 EVT EltVT = Src.getValueType();
10255 if (SrcVal.getValueType() == MVT::i1 &&
10284 Node->getOperand(i).getValueType(),
10324 MVT VT = Src0.getValueType().getSimpleVT();
lib/Target/AMDGPU/SIInstrInfo.cpp 96 while (N && Node->getOperand(N - 1).getValueType() == MVT::Glue)
lib/Target/ARC/ARCISelLowering.cpp 171 assert(LHS.getValueType() == MVT::i32 && "Only know how to SELECT_CC i32");
173 return DAG.getNode(ARCISD::CMOV, dl, TVal.getValueType(), TVal, FVal,
181 assert(Op.getValueType() == MVT::i32 &&
205 assert(LHS.getValueType() == MVT::i32 && "Only know how to BR_CC i32");
341 RegsToPass[i].second.getValueType()));
715 EVT VT = Op.getValueType();
lib/Target/ARM/ARMISelDAGToDAG.cpp 2008 EVT AddrTy = MemAddr.getValueType();
2078 EVT VT = N->getOperand(Vec0Idx).getValueType();
2186 MemAddr.getValueType(),
2231 EVT VT = N->getOperand(Vec0Idx).getValueType();
2795 EVT XType = SRASrc0.getValueType();
lib/Target/ARM/ARMISelLowering.cpp 2399 RegsToPass[i].second.getValueType()));
2765 if (Arg.getValueType() == MVT::f32 && Arg.getOpcode() == ISD::BITCAST) {
2767 if (ZE.getOpcode() == ISD::ZERO_EXTEND && ZE.getValueType() == MVT::i32) {
2769 if (BC.getOpcode() == ISD::BITCAST && BC.getValueType() == MVT::i16) {
2879 if (Copy->getOperand(Copy->getNumOperands()-1).getValueType() == MVT::Glue)
2905 if (UI->getOperand(UI->getNumOperands()-1).getValueType() == MVT::Glue)
2920 if (Copy->getOperand(Copy->getNumOperands()-1).getValueType() == MVT::Glue)
2962 assert(WriteValue.getValueType() == MVT::i64
2981 EVT PtrVT = Op.getValueType();
3586 Op.getOperand(Op.getOperand(0).getValueType() == MVT::Other))
3637 const EVT VTy = Op.getValueType();
3652 const EVT VTy = Op.getValueType();
3702 return DAG.getNode(ISD::ABS, SDLoc(Op), Op.getValueType(),
3708 return DAG.getNode(NewOpc, SDLoc(Op), Op.getValueType(),
3715 return DAG.getNode(NewOpc, SDLoc(Op), Op.getValueType(),
3720 if (Op.getValueType().isFloatingPoint())
3724 return DAG.getNode(NewOpc, SDLoc(Op), Op.getValueType(),
3730 if (!Op.getValueType().isFloatingPoint()) {
3733 return DAG.getNode(NewOpc, SDLoc(Op), Op.getValueType(),
3738 return DAG.getNode(NewOpc, SDLoc(Op), Op.getValueType(),
3742 return DAG.getNode(ARMISD::VTBL1, SDLoc(Op), Op.getValueType(),
3745 return DAG.getNode(ARMISD::VTBL2, SDLoc(Op), Op.getValueType(),
3749 return DAG.getNode(ARMISD::PREDICATE_CAST, SDLoc(Op), Op.getValueType(),
4251 LHS.getValueType() == MVT::i32 && isa<ConstantSDNode>(RHS) &&
4324 assert(Subtarget->hasFP64() || RHS.getValueType() != MVT::f64);
4361 assert(Op.getValueType() == MVT::i32 && "Unsupported value type");
4378 Value = DAG.getNode(ISD::ADD, dl, Op.getValueType(), LHS, RHS);
4386 DAG.getVTList(Op.getValueType(), MVT::i32), LHS, RHS)
4392 Value = DAG.getNode(ISD::SUB, dl, Op.getValueType(), LHS, RHS);
4397 Value = DAG.getNode(ISD::SUB, dl, Op.getValueType(), LHS, RHS);
4404 DAG.getVTList(Op.getValueType(), Op.getValueType()),
4404 DAG.getVTList(Op.getValueType(), Op.getValueType()),
4415 DAG.getVTList(Op.getValueType(), Op.getValueType()),
4415 DAG.getVTList(Op.getValueType(), Op.getValueType()),
4418 DAG.getNode(ISD::SRA, dl, Op.getValueType(),
4431 if (!DAG.getTargetLoweringInfo().isTypeLegal(Op.getValueType()))
4442 EVT VT = Op.getValueType();
4447 SDVTList VTs = DAG.getVTList(Op.getValueType(), MVT::i32);
4454 EVT CarryVT = BoolCarry.getValueType();
4478 if (!DAG.getTargetLoweringInfo().isTypeLegal(Op.getValueType()))
4485 EVT VT = Op.getValueType();
4514 EVT VT = Op.getValueType();
4558 EVT VT = Op.getValueType();
4590 EVT VT = Op.getValueType();
4594 assert(True.getValueType() == VT);
4602 Cond = DAG.getNode(ISD::AND, dl, Cond.getValueType(), Cond,
4603 DAG.getConstant(1, dl, Cond.getValueType()));
4606 DAG.getConstant(0, dl, Cond.getValueType()),
4880 EVT VT = Op.getValueType();
4925 LHS.getValueType() == MVT::i32 && RHS.getValueType() == MVT::i32) {
4925 LHS.getValueType() == MVT::i32 && RHS.getValueType() == MVT::i32) {
4969 EVT VT = TrueVal.getValueType();
4974 if (isUnsupportedFloatingType(LHS.getValueType())) {
4976 DAG, LHS.getValueType(), LHS, RHS, CC, dl, LHS, RHS);
4981 RHS = DAG.getConstant(0, dl, LHS.getValueType());
4986 if (LHS.getValueType() == MVT::i32) {
4997 if (Subtarget->hasFPARMv8Base() && (TrueVal.getValueType() == MVT::f16 ||
4998 TrueVal.getValueType() == MVT::f32 ||
4999 TrueVal.getValueType() == MVT::f64)) {
5025 !(isFloatingPointZero(RHS) && TrueVal.getValueType() != MVT::f16) &&
5026 (TrueVal.getValueType() == MVT::f16 ||
5027 TrueVal.getValueType() == MVT::f32 ||
5028 TrueVal.getValueType() == MVT::f64)) {
5065 EVT VT = Op.getValueType();
5106 EVT PtrType = Ptr.getValueType();
5145 if (LHS.getValueType() == MVT::f32) {
5217 if (isUnsupportedFloatingType(LHS.getValueType())) {
5219 DAG, LHS.getValueType(), LHS, RHS, CC, dl, LHS, RHS);
5224 RHS = DAG.getConstant(0, dl, LHS.getValueType());
5260 if (LHS.getValueType() == MVT::i32) {
5329 EVT VT = Op.getValueType();
5332 if (Op.getValueType().getVectorElementType() == MVT::i32) {
5333 if (Op.getOperand(0).getValueType().getVectorElementType() == MVT::f32)
5342 const EVT OpTy = Op.getOperand(0).getValueType();
5360 EVT VT = Op.getValueType();
5363 if (isUnsupportedFloatingType(Op.getOperand(0).getValueType())) {
5366 LC = RTLIB::getFPTOSINT(Op.getOperand(0).getValueType(),
5367 Op.getValueType());
5369 LC = RTLIB::getFPTOUINT(Op.getOperand(0).getValueType(),
5370 Op.getValueType());
5372 return makeLibCall(DAG, LC, Op.getValueType(), Op.getOperand(0),
5380 EVT VT = Op.getValueType();
5383 if (Op.getOperand(0).getValueType().getVectorElementType() == MVT::i32) {
5389 assert((Op.getOperand(0).getValueType() == MVT::v4i16 ||
5390 Op.getOperand(0).getValueType() == MVT::v8i16) &&
5425 EVT VT = Op.getValueType();
5431 LC = RTLIB::getSINTTOFP(Op.getOperand(0).getValueType(),
5432 Op.getValueType());
5434 LC = RTLIB::getUINTTOFP(Op.getOperand(0).getValueType(),
5435 Op.getValueType());
5437 return makeLibCall(DAG, LC, Op.getValueType(), Op.getOperand(0),
5449 EVT VT = Op.getValueType();
5450 EVT SrcVT = Tmp1.getValueType();
5534 EVT VT = Op.getValueType();
5557 EVT VT = Op.getValueType();
5645 ExtractSrc.getValueType().getVectorNumElements() * DstNumElt);
5664 EVT SrcVT = Op.getValueType();
5676 Op.getValueType() != MVT::f32)
5698 if (Op.getOperand(0).getValueType() == MVT::i32)
5792 EVT VT = Op.getValueType();
5836 EVT VT = Op.getValueType();
6066 EVT ShiftVT = N->getOperand(1).getValueType();
6165 EVT VT = Op.getValueType();
6171 CmpVT = Op0.getValueType().changeVectorElementTypeToInteger();
6176 if (Op.getValueType().getVectorElementType() != MVT::i1)
6181 if (Op0.getValueType().isFloatingPoint() && !ST->hasMVEFloatOps())
6187 if (Op0.getValueType().getVectorElementType() == MVT::i64 &&
6210 if (Op1.getValueType().isFloatingPoint()) {
6352 SDVTList VTs = DAG.getVTList(LHS.getValueType(), MVT::i32);
6362 return DAG.getNode(ARMISD::CMOV, DL, Op.getValueType(), FVal, TVal, ARMcc,
6511 EVT VT = Op.getValueType();
7034 EVT VT = Op.getValueType();
7063 return DAG.getNode(ARMISD::PREDICATE_CAST, dl, Op.getValueType(), Ext);
7097 EVT VT = Op.getValueType();
7213 if (VT != Value->getOperand(0).getValueType()) {
7335 EVT VT = Op.getValueType();
7396 EVT SrcEltTy = Source.Vec.getValueType().getVectorElementType();
7409 EVT SrcVT = Src.ShuffleVec.getValueType();
7427 DAG.getUNDEF(Src.ShuffleVec.getValueType()));
7470 EVT SrcEltTy = Src.ShuffleVec.getValueType().getVectorElementType();
7482 assert(Src.ShuffleVec.getValueType() == ShuffleVT););
7498 EVT OrigEltTy = Entry.getOperand(0).getValueType().getVectorElementType();
7630 EVT VT = OpLHS.getValueType();
7697 EVT VT = OpLHS.getValueType();
7760 EVT VT = Op.getValueType();
7786 EVT NewVT = PredAsVector.getValueType();
7803 EVT VT = Op.getValueType();
7910 EVT SubVT = SubV1.getValueType();
7997 EVT VecVT = Op.getOperand(0).getValueType();
8013 return DAG.getNode(ARMISD::PREDICATE_CAST, dl, Op.getValueType(), BFI);
8024 EVT EltVT = Elt.getValueType();
8027 Op.getValueType().getScalarSizeInBits() == 1)
8044 EVT VecVT = VecIn.getValueType();
8060 EVT VecVT = Op.getOperand(0).getValueType();
8084 EVT VT = Vec.getValueType();
8089 if (Op.getValueType() == MVT::i32 && Vec.getScalarValueSizeInBits() < 32) {
8102 EVT VT = Op.getValueType();
8103 EVT Op1VT = V1.getValueType();
8104 EVT Op2VT = V2.getValueType();
8129 EVT NewVT = NewV.getValueType();
8130 EVT ConcatVT = ConVec.getValueType();
8157 assert(Op.getValueType().is128BitVector() && Op.getNumOperands() == 2 &&
8171 return DAG.getNode(ISD::BITCAST, dl, Op.getValueType(), Val);
8179 EVT VT = Op.getValueType();
8180 EVT Op1VT = V1.getValueType();
8426 EVT VT = Op.getValueType();
8474 assert(Op0.getValueType().is64BitVector() &&
8475 Op1.getValueType().is64BitVector() &&
8490 EVT Op1VT = Op1.getValueType();
8570 EVT VT = Op.getValueType();
8607 EVT VT = Op.getValueType();
8732 EVT ArgVT = Arg.getValueType();
8803 EVT VT = Op.getValueType();
8824 Arg.Ty = Arg.Node.getValueType().getTypeForEVT(*DAG.getContext());
8856 if (N->getOperand(0).getValueType().isVector())
8882 assert(Op.getValueType() == MVT::i32 &&
8911 assert(Op.getValueType() == MVT::i64 &&
8933 assert(MemVT == Op.getValueType());
8963 assert(MemVT == ST->getValue().getValueType());
9114 Entry.Ty = Val.getValueType().getTypeForEVT(*DAG.getContext());
9119 Entry.Ty = Exponent.getValueType().getTypeForEVT(*DAG.getContext());
9123 Type *LCRTy = Val.getValueType().getTypeForEVT(*DAG.getContext());
9202 if (Subtarget->isTargetWindows() && !Op.getValueType().isVector())
9206 if (Subtarget->isTargetWindows() && !Op.getValueType().isVector())
10865 if (CC.getValueType() != MVT::i1 || CC.getOpcode() != ISD::SETCC)
11007 if (!N00.getValueType().is64BitVector() ||
11008 !N0.getValueType().is128BitVector())
11026 EVT ElemTy = N00.getValueType().getVectorElementType();
11101 if (nextIndex != Vec.getValueType().getVectorNumElements() ||
11102 Vec.getValueType().getVectorElementType() == VT.getVectorElementType())
11123 EVT inputLaneType = Vec.getValueType().getVectorElementType();
11133 unsigned ExtOp = VT.bitsGT(tmp.getValueType()) ? ISD::ANY_EXTEND : ISD::TRUNCATE;
11249 AddeSubeNode->getOperand(2).getValueType() == MVT::i32 &&
12722 if (Elt->getOperand(0).getValueType() == MVT::i32)
12754 V->getOperand(0).getValueType() == MVT::i32)
12780 if (Op->getOperand(0).getValueType() == VT)
12783 Op->getOperand(0).getValueType(), Op->getOperand(0));
12843 !TLI.isTypeLegal(Concat0Op1.getValueType()) ||
12844 !TLI.isTypeLegal(Concat1Op1.getValueType()))
12967 VecTy = N->getOperand(AddrOpIdx+1).getValueType();
12970 VecTy = N->getOperand(1).getValueType();
13256 EVT VT = StVal.getValueType();
13295 WideVecVT, DL, WideVec, DAG.getUNDEF(WideVec.getValueType()), ShuffleVec);
13329 DAG.getNode(ISD::ADD, DL, BasePtr.getValueType(), BasePtr, Increment);
13345 EVT FromVT = Trunc->getOperand(0).getValueType();
13346 EVT ToVT = Trunc.getValueType();
13398 EVT VT = StVal.getValueType();
13433 if (StVal.getValueType() == MVT::i64 &&
13442 IntVec.getValueType().getVectorNumElements());
13480 if (!Op.getValueType().isVector() || !Op.getValueType().isSimple() ||
13480 if (!Op.getValueType().isVector() || !Op.getValueType().isSimple() ||
13492 unsigned NumLanes = Op.getValueType().getVectorNumElements();
13550 unsigned NumLanes = Op.getValueType().getVectorNumElements();
13576 Op.getValueType(),
13608 EVT VT = N->getOperand(1).getValueType();
13709 EVT VT = N->getOperand(1).getValueType();
13866 SDValue Offset = DAG.getUNDEF(BasePtr.getValueType());
13905 EVT EltVT = N0.getValueType();
13910 TLI.isTypeLegal(Vec.getValueType()) &&
14010 EVT VT = X.getValueType();
14493 unsigned LowWidth = N->getOperand(0).getValueType().getSizeInBits();
14495 unsigned HighWidth = N->getOperand(1).getValueType().getSizeInBits();
14503 unsigned HighWidth = N->getOperand(0).getValueType().getSizeInBits();
14505 unsigned LowWidth = N->getOperand(1).getValueType().getSizeInBits();
14696 EVT VT1 = Val.getValueType();
14810 EVT VT = ExtVal.getValueType();
15444 EVT VecVT = SrcSV.getValueType();
15454 EVT VT = Op.getValueType();
15484 EVT VT = Op.getValueType();
15905 Result = DAG.getTargetConstant(CVal, SDLoc(Op), Op.getValueType());
15944 EVT ArgVT = N->getOperand(i).getValueType();
16102 const unsigned DstSz = Op.getValueType().getSizeInBits();
16103 const unsigned SrcSz = SrcVal.getValueType().getSizeInBits();
16149 EVT SrcVT = SrcVal.getValueType();
16150 EVT DstVT = Op.getValueType();
16151 const unsigned DstSz = Op.getValueType().getSizeInBits();
lib/Target/ARM/ARMSelectionDAGInfo.cpp 90 if (Src.getValueType().bitsGT(MVT::i32))
92 else if (Src.getValueType().bitsLT(MVT::i32))
lib/Target/AVR/AVRISelDAGToDAG.cpp 343 EVT VT = ST->getValue().getValueType();
429 if (N->getOperand(LastOpNum).getValueType() == MVT::Glue) {
lib/Target/AVR/AVRISelLowering.cpp 283 EVT VT = Op.getValueType();
374 Entry.Ty = Value.getValueType().getTypeForEVT(*DAG.getContext());
447 EVT VT = LHS.getValueType();
645 SDVTList VTs = DAG.getVTList(Op.getValueType(), MVT::Glue);
660 SDValue TrueV = DAG.getConstant(1, DL, Op.getValueType());
661 SDValue FalseV = DAG.getConstant(0, DL, Op.getValueType());
662 SDVTList VTs = DAG.getVTList(Op.getValueType(), MVT::Glue);
1277 Ops.push_back(DAG.getRegister(Reg.first, Reg.second.getValueType()));
1908 EVT Ty = Op.getValueType();
lib/Target/BPF/BPFISelLowering.cpp 386 Ops.push_back(DAG.getRegister(Reg.first, Reg.second.getValueType()));
509 return DAG.getNode(BPFISD::BR_CC, DL, Op.getValueType(), Chain, LHS, RHS,
510 DAG.getConstant(CC, DL, LHS.getValueType()), Dest);
524 SDValue TargetCC = DAG.getConstant(CC, DL, LHS.getValueType());
525 SDVTList VTs = DAG.getVTList(Op.getValueType(), MVT::Glue);
lib/Target/Hexagon/HexagonISelDAGToDAG.cpp 471 EVT ValueVT = Value.getValueType();
826 MVT OpTy = Op.getValueType().getSimpleVT();
852 MVT OpTy = N->getOperand(0).getValueType().getSimpleVT(); (void)OpTy;
1066 EVT VT = T0.getValueType();
1141 EVT VT = Addr.getValueType();
1162 EVT OpVT = OpI1.getValueType();
1180 EVT BVT = Ops[I1N].getValueType();
1317 EVT T = N.getValueType();
1332 if (N.getValueType() != MVT::i32)
1337 R = CurDAG->getTargetConstant(V, SDLoc(N), N.getValueType());
1392 N.getValueType(), NewOff);
1437 if (N.getValueType() != MVT::i64)
1445 ? N.getOperand(0).getValueType()
1477 EVT RT = R.getValueType();
1503 EVT T = Op0.getValueType();
1513 if (Val.getOperand(0).getValueType().isInteger()) {
1782 N->getOperand(1).getValueType());
1835 SDLoc(V), V.getValueType());
1844 SDLoc(V), V.getValueType());
1847 return CurDAG->getNode(V.getOpcode(), SDLoc(V), V.getValueType(), Ops);
2053 SDValue Sum = CurDAG->getNode(ISD::ADD, SDLoc(N), Mul1.Value.getValueType(),
2056 Mul1.Value.getValueType());
2057 SDValue New = CurDAG->getNode(ISD::SHL, SDLoc(N), Mul1.Value.getValueType(),
2091 GA.Value.getValueType(), NewTGA);
2115 GA.Value.getValueType(),
2180 TLI.getScalarShiftAmountTy(DL, V0.getValueType())));
2204 EVT VT = NewRoot.getValueType();
2210 TLI.getScalarShiftAmountTy(DL, V0.getValueType())));
lib/Target/Hexagon/HexagonISelDAGToDAGHVX.cpp 1008 MVT OpTy = Op.getValueType().getSimpleVT();
lib/Target/Hexagon/HexagonISelLowering.cpp 412 StackPtr.getValueType());
507 RegsToPass[i].second.getValueType()));
586 if (Op.getOperand(NumOps-1).getValueType() == MVT::Glue)
918 EVT ValTy = Op.getValueType();
954 EVT VT = Op.getValueType();
975 EVT VT = Op.getValueType();
997 EVT VT = Op.getValueType();
1837 return X.getValueType().isScalarInteger(); // 'tstbit'
2787 EVT CarryTy = C.getValueType();
2967 EVT VT = Table.getValueType();
lib/Target/Hexagon/HexagonISelLowering.h 376 return Op.getValueType().getSimpleVT();
379 return { Ops.first.getValueType().getSimpleVT(),
380 Ops.second.getValueType().getSimpleVT() };
lib/Target/Hexagon/HexagonISelLoweringHVX.cpp 247 MVT CastTy = tyVector(Vec.getValueType().getSimpleVT(), ElemTy);
282 if (ElemIdx.getValueType().getSimpleVT() != MVT::i32)
lib/Target/Lanai/LanaiISelLowering.cpp 300 Op.getValueType());
309 Result = DAG.getTargetConstant(0, SDLoc(C), Op.getValueType());
318 Op.getValueType());
327 Op.getValueType());
336 Result = DAG.getTargetConstant(Val, SDLoc(C), Op.getValueType());
345 Result = DAG.getTargetConstant(Val, SDLoc(C), Op.getValueType());
749 RegsToPass[I].second.getValueType()));
816 RHS = DAG.getConstant(0, DL, RHS.getValueType());
834 RHS = DAG.getConstant(0, DL, RHS.getValueType());
879 return DAG.getNode(LanaiISD::BR_CC, DL, Op.getValueType(), Chain, Dest,
980 return DAG.getNode(LanaiISD::SETCC, DL, Op.getValueType(), TargetCC, Flag);
997 SDVTList VTs = DAG.getVTList(Op.getValueType(), MVT::Glue);
1058 EVT VT = Op.getValueType();
1080 EVT VT = Op.getValueType();
1237 EVT VT = Op.getValueType();
1374 if (CC.getValueType() != MVT::i1)
1384 if (CC.getValueType() != MVT::i1)
lib/Target/MSP430/MSP430ISelLowering.cpp 898 RegsToPass[i].second.getValueType()));
947 EVT VT = Op.getValueType();
1030 assert(!LHS.getValueType().isFloatingPoint() && "We don't handle FP yet");
1124 return DAG.getNode(MSP430ISD::BR_CC, dl, Op.getValueType(),
1184 EVT VT = Op.getValueType();
1198 SDVTList VTs = DAG.getVTList(Op.getValueType(), MVT::Glue);
1216 SDVTList VTs = DAG.getVTList(Op.getValueType(), MVT::Glue);
1225 EVT VT = Op.getValueType();
1232 DAG.getValueType(Val.getValueType()));
1285 EVT VT = Op.getValueType();
1402 return isZExtFree(Val.getValueType(), VT2);
lib/Target/Mips/Mips16ISelDAGToDAG.cpp 101 EVT ValTy = Addr.getValueType();
lib/Target/Mips/Mips16ISelLowering.cpp 496 JumpTarget = getAddrGlobal(S, CLI.DL, JumpTarget.getValueType(), DAG,
lib/Target/Mips/MipsISelLowering.cpp 651 if (!LHS.getValueType().isFloatingPoint())
673 True.getValueType(), True, FCC0, False, Cond);
685 !SetCC.getOperand(0).getValueType().isInteger())
689 EVT FalseTy = False.getValueType();
712 SetCC = DAG.getSetCC(DL, SetCC.getValueType(), SetCC.getOperand(0),
723 if (!TrueC || !True.getValueType().isInteger())
729 if (True.getValueType() == MVT::i64)
738 return DAG.getNode(ISD::ADD, DL, SetCC.getValueType(), SetCC, False);
746 SetCC = DAG.getSetCC(DL, SetCC.getValueType(), SetCC.getOperand(0),
748 return DAG.getNode(ISD::ADD, DL, SetCC.getValueType(), SetCC, True);
778 return DAG.getNode(Opc, SDLoc(N), ValueIfFalse.getValueType(),
1193 if (N->getOperand(0).getValueType().isVector())
1921 return DAG.getNode(MipsISD::FPBrcond, DL, Op.getValueType(), Chain, BrCode,
1955 EVT Ty = Op.getValueType();
2003 EVT Ty = Op.getValueType();
2098 EVT Ty = Op.getValueType();
2111 EVT Ty = Op.getValueType();
2169 ISD::ADD, DL, VAList.getValueType(), VAList,
2170 DAG.getConstant(Align.value() - 1, DL, VAList.getValueType()));
2173 ISD::AND, DL, VAList.getValueType(), VAList,
2174 DAG.getConstant(-(int64_t)Align.value(), DL, VAList.getValueType()));
2182 DAG.getNode(ISD::ADD, DL, VAList.getValueType(), VAList,
2184 DL, VAList.getValueType()));
2196 VAList = DAG.getNode(ISD::ADD, DL, VAListPtr.getValueType(), VAList,
2205 EVT TyX = Op.getOperand(0).getValueType();
2206 EVT TyY = Op.getOperand(1).getValueType();
2242 return DAG.getNode(ISD::BITCAST, DL, Op.getOperand(0).getValueType(), Res);
2276 return DAG.getNode(ISD::BITCAST, DL, Op.getOperand(0).getValueType(), I);
2297 return DAG.getNode(ISD::BITCAST, DL, Op.getOperand(0).getValueType(), Or);
2315 SDValue X = (Op.getValueType() == MVT::f32)
2332 if (Op.getValueType() == MVT::f32)
2367 if ((ABI.IsN32() || ABI.IsN64()) && (Op.getValueType() == MVT::f64))
2384 EVT VT = Op.getValueType();
2538 EVT BasePtrVT = Ptr.getValueType();
2565 EVT VT = Op.getValueType();
2619 EVT MemVT = SD->getMemoryVT(), BasePtrVT = Ptr.getValueType();
2636 EVT VT = Value.getValueType();
2710 return DAG.getNode(ISD::BITCAST, SDLoc(Op), Op.getValueType(), Trunc);
2943 RegsToPass[i].second.getValueType()));
3232 EVT Ty = Callee.getValueType();
4036 EVT Type = Op.getValueType();
4046 EVT Type = Op.getValueType();
4056 EVT Type = Op.getValueType();
4066 EVT Type = Op.getValueType();
4076 EVT Type = Op.getValueType();
4086 EVT Type = Op.getValueType();
4096 EVT Type = Op.getValueType();
lib/Target/Mips/MipsSEISelDAGToDAG.cpp 209 EVT VT = LHS.getValueType();
269 EVT ValTy = Addr.getValueType();
285 EVT ValTy = Addr.getValueType();
363 Offset = CurDAG->getTargetConstant(0, SDLoc(Addr), Addr.getValueType());
lib/Target/Mips/MipsSEISelLowering.cpp 1182 EVT PtrVT = Ptr.getValueType();
1211 EVT PtrVT = Ptr.getValueType();
1235 MVT Src = Op.getOperand(0).getValueType().getSimpleVT();
1236 MVT Dest = Op.getValueType().getSimpleVT();
1268 EVT Ty = Op.getOperand(0).getValueType();
1314 bool HasChainIn = Op->getOperand(0).getValueType() == MVT::Other;
1328 if (Opnd.getValueType() == MVT::i64)
lib/Target/NVPTX/NVPTXISelDAGToDAG.cpp 1877 EVT EltVT = Op1.getValueType();
3555 if (Val.getValueType() == MVT::i32) {
3561 } else if (Val.getValueType() == MVT::i64) {
lib/Target/NVPTX/NVPTXISelLowering.cpp 1212 EVT VT = Operand.getValueType();
1943 EVT VectorVT = Vector.getValueType();
1966 EVT VT = Op.getValueType();
2027 EVT VT = Op.getValueType();
2078 EVT VT = Op.getValueType();
2100 EVT VT = Op.getValueType();
2141 EVT VT = Op.getValueType();
2214 assert(Op.getValueType() == MVT::i1 && "Custom lowering enabled only for i1");
2225 if (Op.getValueType() == MVT::i1)
2230 if (Op.getValueType() == MVT::v2f16) {
2291 EVT ValVT = Val.getValueType();
2417 assert(Tmp3.getValueType() == MVT::i1 && "Custom lowering for i1 store only");
4348 EVT VT=N0.getValueType();
4528 AExt.getValueType(), Val);
4586 EVT OrigVT = Op.getOperand(0).getValueType();
4592 EVT OrigVT = Op.getOperand(0).getValueType();
4740 if (CCType != MVT::v2i1 || A.getValueType() != MVT::v2f16)
lib/Target/PowerPC/PPCISelDAGToDAG.cpp 326 dl, Op.getValueType(),
638 EVT RegVT = ST->getValue().getValueType();
1345 if (V.getValueType() != MVT::i64 ||
1346 V.getOperand(0).getValueType() != MVT::i32)
1363 EVT FromType = V.getOperand(0).getValueType();
1364 EVT ToType = V.getValueType();
2538 N->getOperand(0).getValueType() == MVT::i1 &&
2553 bool Input32Bit = WideRes.getValueType() == MVT::i32;
2620 OpToConvToRecForm.getValueType(),
2654 assert(LogicOp.getValueType() == MVT::i1 &&
2672 EVT InVT = InputOp.getValueType();
2693 if (LHS.getValueType() == MVT::i32)
2695 if (!IsBitwiseNegation && RHS.getValueType() == MVT::i32)
2720 assert(Input.getValueType() == MVT::i32 &&
2753 assert(Input.getValueType() == MVT::i32 &&
2817 EVT InVT = LHS.getValueType();
3594 EVT InputVT = LHS.getValueType();
3683 if (LHS.getValueType() == MVT::i32) {
3727 } else if (LHS.getValueType() == MVT::i64) {
3773 } else if (LHS.getValueType() == MVT::f32) {
3800 } else if (LHS.getValueType() == MVT::f64) {
3828 assert(LHS.getValueType() == MVT::f128 && "Unknown vt!");
4103 if (LHS.getValueType().isVector()) {
4107 EVT VecVT = LHS.getValueType();
4136 if (PPCSubTarget->hasSPE() && LHS.getValueType().isFloatingPoint()) {
4789 EVT InVT = N->getOperand(0).getValueType();
4815 N->getOperand(0).getValueType() == MVT::i1)
5017 if (N->getOperand(2).getValueType() == MVT::i1) {
5060 unsigned Opc = Target.getValueType() == MVT::i32 ? PPC::MTCTR : PPC::MTCTR8;
5061 unsigned Reg = Target.getValueType() == MVT::i32 ? PPC::BCTR : PPC::BCTR8;
5427 if (LHS.getValueType() != VT) {
5471 if (N->getOperand(0).getValueType() != MVT::i1)
6318 if (!ToPromote.count(V.getNode()) && V.getValueType() == MVT::i32 &&
6530 ImmOpnd.getValueType());
lib/Target/PowerPC/PPCISelLowering.cpp 2382 Disp = DAG.getTargetConstant(imm, dl, N.getValueType());
2384 Base = DAG.getTargetFrameIndex(FI->getIndex(), N.getValueType());
2385 fixupFuncForFI(DAG, FI->getIndex(), N.getValueType());
2416 Base = DAG.getTargetFrameIndex(FI->getIndex(), N.getValueType());
2417 fixupFuncForFI(DAG, FI->getIndex(), N.getValueType());
2421 Disp = DAG.getTargetConstant(imm, dl, N.getValueType());
2458 Base = DAG.getTargetFrameIndex(FI->getIndex(), N.getValueType());
2459 fixupFuncForFI(DAG, FI->getIndex(), N.getValueType());
2492 N.getValueType());
2665 EVT PtrVT = HiPart.getValueType();
2707 EVT PtrVT = Op.getValueType();
2784 EVT PtrVT = Op.getValueType();
2812 EVT PtrVT = Op.getValueType();
2937 EVT PtrVT = Op.getValueType();
2979 if (Op.getValueType() == MVT::v2i64) {
2982 if (Op.getOperand(0).getValueType() == MVT::v2i64) {
3019 EVT LHSVT = Op.getOperand(0).getValueType();
3021 EVT VT = Op.getValueType();
3644 FIN = DAG.getNode(ISD::ADD, dl, PtrOff.getValueType(), FIN, PtrOff);
3664 FIN = DAG.getNode(ISD::ADD, dl, PtrOff.getValueType(), FIN, PtrOff);
3835 Arg = DAG.getNode(ISD::ADD, dl, ArgOff.getValueType(), Arg, ArgOff);
3881 Addr = DAG.getNode(ISD::ADD, dl, Off.getValueType(), Addr, Off);
4092 FIN = DAG.getNode(ISD::ADD, dl, PtrOff.getValueType(), FIN, PtrOff);
4452 FIN = DAG.getNode(ISD::ADD, dl, PtrOff.getValueType(), FIN, PtrOff);
4996 Callee.getValueType(), 0, OpFlags);
5006 Callee = DAG.getTargetExternalSymbol(S->getSymbol(), Callee.getValueType(),
5057 if (LDChain.getValueType() == MVT::Glue)
5134 RegsToPass[i].second.getValueType()));
5575 if (Arg.getValueType() == MVT::i1)
5582 if (Subtarget.hasSPE() && Arg.getValueType() == MVT::f64) {
5893 PtrOff = DAG.getConstant(ArgOffset, dl, StackPtr.getValueType());
5907 if (Arg.getValueType() == MVT::i32 || Arg.getValueType() == MVT::i1) {
5907 if (Arg.getValueType() == MVT::i32 || Arg.getValueType() == MVT::i1) {
5950 PtrOff.getValueType());
5989 SDValue Const = DAG.getConstant(8 - Size, dl, PtrOff.getValueType());
6010 SDValue Const = DAG.getConstant(j, dl, PtrOff.getValueType());
6089 if (Arg.getValueType() != MVT::f32) {
6128 if (Arg.getValueType() == MVT::f32 &&
6130 SDValue ConstFour = DAG.getConstant(4, dl, PtrOff.getValueType());
6146 ArgOffset += (Arg.getValueType() == MVT::f32 &&
6219 assert(Arg.getValueType().getSimpleVT().SimpleTy == MVT::v4f32 &&
6225 bool IsF32 = Arg.getValueType().getSimpleVT().SimpleTy == MVT::v4f32;
6465 PtrOff = DAG.getConstant(ArgOffset, dl, StackPtr.getValueType());
6470 if (isPPC64 && Arg.getValueType() == MVT::i32) {
6494 PtrOff.getValueType());
6514 SDValue Const = DAG.getConstant(j, dl, PtrOff.getValueType());
6536 if (Arg.getValueType() == MVT::i1)
6564 if (GPR_idx != NumGPRs && Arg.getValueType() == MVT::f64 && !isPPC64){
6565 SDValue ConstFour = DAG.getConstant(4, dl, PtrOff.getValueType());
6578 if (GPR_idx != NumGPRs && Arg.getValueType() == MVT::f64 &&
6589 ArgOffset += Arg.getValueType() == MVT::f32 ? 4 : 8;
6976 EVT IntVT = Op.getValueType();
7107 if (Op.getValueType().isVector())
7110 assert(Op.getValueType() == MVT::i1 &&
7132 if (Op.getOperand(1).getValueType().isVector())
7135 assert(Op.getOperand(1).getValueType() == MVT::i1 &&
7155 assert(Op.getValueType() == MVT::i1 &&
7185 assert(Op.getValueType().isVector() && "Vector type expected.");
7189 unsigned SrcSize = N1.getValueType().getSizeInBits();
7193 EVT TrgVT = Op.getValueType();
7222 if (!Op.getOperand(0).getValueType().isFloatingPoint() ||
7223 !Op.getOperand(2).getValueType().isFloatingPoint())
7237 EVT ResVT = Op.getValueType();
7238 EVT CmpVT = Op.getOperand(0).getValueType();
7252 return DAG.getNode(PPCISD::XSMAXCDP, dl, Op.getValueType(), LHS, RHS);
7255 return DAG.getNode(PPCISD::XSMINCDP, dl, Op.getValueType(), LHS, RHS);
7274 if (LHS.getValueType() == MVT::f32) // Comparison is always 64-bits
7277 if (Sel1.getValueType() == MVT::f32) // Comparison is always 64-bits
7287 if (LHS.getValueType() == MVT::f32) // Comparison is always 64-bits
7296 if (LHS.getValueType() == MVT::f32) // Comparison is always 64-bits
7310 if (Cmp.getValueType() == MVT::f32) // Comparison is always 64-bits
7313 if (Sel1.getValueType() == MVT::f32) // Comparison is always 64-bits
7320 if (Cmp.getValueType() == MVT::f32) // Comparison is always 64-bits
7326 if (Cmp.getValueType() == MVT::f32) // Comparison is always 64-bits
7332 if (Cmp.getValueType() == MVT::f32) // Comparison is always 64-bits
7338 if (Cmp.getValueType() == MVT::f32) // Comparison is always 64-bits
7348 assert(Op.getOperand(0).getValueType().isFloatingPoint());
7350 if (Src.getValueType() == MVT::f32)
7373 bool i32Stack = Op.getValueType() == MVT::i32 && Subtarget.hasSTFIWX() &&
7394 if (Op.getValueType() == MVT::i32 && !i32Stack) {
7395 FIPtr = DAG.getNode(ISD::ADD, dl, FIPtr.getValueType(), FIPtr,
7396 DAG.getConstant(4, dl, FIPtr.getValueType()));
7411 assert(Op.getOperand(0).getValueType().isFloatingPoint());
7414 if (Src.getValueType() == MVT::f32)
7444 if (EnableQuadPrecision && (Op->getOperand(0).getValueType() == MVT::f128))
7449 if (Op.getOperand(0).getValueType() == MVT::ppcf128) {
7450 if (Op.getValueType() == MVT::i32) {
7493 return DAG.getLoad(Op.getValueType(), dl, RLI.Chain, RLI.Ptr, RLI.MPI,
7514 Op.getOperand(0).getValueType())) {
7531 RLI.Ptr = DAG.getNode(ISD::ADD, dl, RLI.Ptr.getValueType(), RLI.Ptr,
7604 assert((Op.getValueType() == MVT::f32 ||
7605 Op.getValueType() == MVT::f64) &&
7611 bool SinglePrec = Op.getValueType() == MVT::f32;
7632 EVT VecVT = Vec.getValueType();
7656 assert((Op.getValueType() == MVT::v2f64 || Op.getValueType() == MVT::v4f32) &&
7656 assert((Op.getValueType() == MVT::v2f64 || Op.getValueType() == MVT::v4f32) &&
7660 bool FourEltRes = Op.getValueType() == MVT::v4f32;
7663 EVT WideVT = Wide.getValueType();
7690 DAG.getValueType(Op.getOperand(0).getValueType()));
7694 return DAG.getNode(Opc, dl, Op.getValueType(), Extend);
7701 EVT InVT = Op.getOperand(0).getValueType();
7702 EVT OutVT = Op.getValueType();
7708 if (EnableQuadPrecision && (Op.getValueType() == MVT::f128))
7711 if (Subtarget.hasQPX() && Op.getOperand(0).getValueType() == MVT::v4i1) {
7712 if (Op.getValueType() != MVT::v4f32 && Op.getValueType() != MVT::v4f64)
7712 if (Op.getValueType() != MVT::v4f32 && Op.getValueType() != MVT::v4f64)
7725 if (Op.getValueType() != MVT::v4f64)
7727 Op.getValueType(), Value,
7733 if (Op.getValueType() != MVT::f32 && Op.getValueType() != MVT::f64)
7733 if (Op.getValueType() != MVT::f32 && Op.getValueType() != MVT::f64)
7736 if (Op.getOperand(0).getValueType() == MVT::i1)
7737 return DAG.getNode(ISD::SELECT, dl, Op.getValueType(), Op.getOperand(0),
7738 DAG.getConstantFP(1.0, dl, Op.getValueType()),
7739 DAG.getConstantFP(0.0, dl, Op.getValueType()));
7752 unsigned FCFOp = (Subtarget.hasFPCVT() && Op.getValueType() == MVT::f32)
7757 MVT FCFTy = (Subtarget.hasFPCVT() && Op.getValueType() == MVT::f32)
7761 if (Op.getOperand(0).getValueType() == MVT::i64) {
7773 if (Op.getValueType() == MVT::f32 &&
7841 SINT.getOperand(0).getValueType() == MVT::i32) {
7875 if (Op.getValueType() == MVT::f32 && !Subtarget.hasFPCVT())
7881 assert(Op.getOperand(0).getValueType() == MVT::i32 &&
7948 if (Op.getValueType() == MVT::f32 && !Subtarget.hasFPCVT())
7977 EVT VT = Op.getValueType();
8018 EVT VT = Op.getValueType();
8022 VT == Op.getOperand(1).getValueType() &&
8030 EVT AmtVT = Amt.getValueType();
8047 EVT VT = Op.getValueType();
8051 VT == Op.getOperand(1).getValueType() &&
8059 EVT AmtVT = Amt.getValueType();
8077 EVT VT = Op.getValueType();
8080 VT == Op.getOperand(1).getValueType() &&
8087 EVT AmtVT = Amt.getValueType();
8134 if (DestVT == MVT::Other) DestVT = Op.getValueType();
8144 if (DestVT == MVT::Other) DestVT = LHS.getValueType();
8154 if (DestVT == MVT::Other) DestVT = Op0.getValueType();
8234 (Op.getValueType() != MVT::f128 ) ||
8236 (Op0.getOperand(0).getValueType() != MVT::i64) ||
8237 (Op0.getOperand(1).getValueType() != MVT::i64))
8267 if (Subtarget.hasQPX() && Op.getValueType() == MVT::v4i1) {
8322 SDValue Idx = DAG.getConstant(Offset, dl, FIdx.getValueType());
8323 Idx = DAG.getNode(ISD::ADD, dl, FIdx.getValueType(), FIdx, Idx);
8325 unsigned StoreSize = BVN->getOperand(i).getValueType().getStoreSize();
8397 DAG.getValueType(Op.getValueType()) // VT
8401 DAG.getVTList(Op.getValueType(), MVT::Other),
8425 if (Op.getValueType() != MVT::v4i32 || HasAnyUndefs) {
8427 Op = DAG.getNode(ISD::BITCAST, dl, Op.getValueType(), Z);
8441 if (Op.getValueType() != MVT::v16i8)
8442 return DAG.getBitcast(Op.getValueType(), NewBV);
8450 if (Op.getValueType() != MVT::v16i8)
8451 return DAG.getBitcast(Op.getValueType(),
8461 return BuildSplatI(SextVal, SplatSize, Op.getValueType(), DAG, dl);
8481 if (VT == Op.getValueType())
8484 return DAG.getNode(ISD::BITCAST, dl, Op.getValueType(), RetVal);
8500 return DAG.getNode(ISD::BITCAST, dl, Op.getValueType(), Res);
8526 return DAG.getNode(ISD::BITCAST, dl, Op.getValueType(), Res);
8537 return DAG.getNode(ISD::BITCAST, dl, Op.getValueType(), Res);
8548 return DAG.getNode(ISD::BITCAST, dl, Op.getValueType(), Res);
8560 return DAG.getNode(ISD::BITCAST, dl, Op.getValueType(), Res);
8567 return BuildVSLDOI(T, T, Amt, Op.getValueType(), DAG, dl);
8573 return BuildVSLDOI(T, T, Amt, Op.getValueType(), DAG, dl);
8579 return BuildVSLDOI(T, T, Amt, Op.getValueType(), DAG, dl);
8650 return BuildVSLDOI(OpLHS, OpRHS, 4, OpLHS.getValueType(), DAG, dl);
8652 return BuildVSLDOI(OpLHS, OpRHS, 8, OpLHS.getValueType(), DAG, dl);
8654 return BuildVSLDOI(OpLHS, OpRHS, 12, OpLHS.getValueType(), DAG, dl);
8656 EVT VT = OpLHS.getValueType();
8886 EVT VT = Op.getValueType();
8918 DAG.getValueType(Op.getValueType()) // VT
8925 if (LdSplt.getValueType() != SVOp->getValueType(0))
9168 EVT EltVT = V1.getValueType().getVectorElementType();
9186 return DAG.getNode(PPCISD::VPERM, dl, V1.getValueType(),
9189 return DAG.getNode(PPCISD::VPERM, dl, V1.getValueType(),
9465 SDValue Tmp = DAG.getNode(PPCISD::VCMP, dl, Op.getOperand(2).getValueType(),
9468 return DAG.getNode(ISD::BITCAST, dl, Op.getValueType(), Tmp);
9477 EVT VTs[] = { Op.getOperand(2).getValueType(), MVT::Glue };
9619 return DAG.getLoad(Op.getValueType(), dl, Store, FIdx, MachinePointerInfo());
9632 EVT VT = Op.getValueType();
9656 assert(N->getOperand(0).getValueType() == MVT::v4i1 &&
9698 SDValue Idx = DAG.getConstant(Offset, dl, FIdx.getValueType());
9699 Idx = DAG.getNode(ISD::ADD, dl, FIdx.getValueType(), FIdx, Idx);
9718 if (Op.getValueType() == MVT::v4f64 ||
9719 Op.getValueType() == MVT::v4f32) {
9727 EVT ScalarVT = Op.getValueType().getScalarType(),
9756 BasePtr = DAG.getNode(ISD::ADD, dl, BasePtr.getValueType(), BasePtr,
9758 BasePtr.getValueType()));
9762 SDValue Value = DAG.getBuildVector(Op.getValueType(), dl, Vals);
9773 assert(Op.getValueType() == MVT::v4i1 && "Unknown load to lower");
9781 SDValue Idx = DAG.getConstant(i, dl, BasePtr.getValueType());
9782 Idx = DAG.getNode(ISD::ADD, dl, BasePtr.getValueType(), BasePtr, Idx);
9807 if (Value.getValueType() == MVT::v4f64 ||
9808 Value.getValueType() == MVT::v4f32) {
9816 EVT ScalarVT = Value.getValueType().getScalarType(),
9845 BasePtr = DAG.getNode(ISD::ADD, dl, BasePtr.getValueType(), BasePtr,
9847 BasePtr.getValueType()));
9862 assert(Value.getValueType() == MVT::v4i1 && "Unknown store to lower");
9899 SDValue Idx = DAG.getConstant(Offset, dl, FIdx.getValueType());
9900 Idx = DAG.getNode(ISD::ADD, dl, FIdx.getValueType(), FIdx, Idx);
9911 SDValue Idx = DAG.getConstant(i, dl, BasePtr.getValueType());
9912 Idx = DAG.getNode(ISD::ADD, dl, BasePtr.getValueType(), BasePtr, Idx);
9927 if (Op.getValueType() == MVT::v4i32) {
9952 } else if (Op.getValueType() == MVT::v8i16) {
9959 } else if (Op.getValueType() == MVT::v16i8) {
10000 EVT VT = Op.getValueType();
10041 if (Op.getValueType() != MVT::v2f64 ||
10042 Op.getOperand(0).getValueType() != MVT::v2f32)
10056 if (Op0.getOperand(0).getValueType() != MVT::v4f32)
10236 if (N->getOperand(0).getValueType() == MVT::ppcf128)
10242 EVT OpVT = N->getOperand(0).getValueType();
11649 EVT VT = Operand.getValueType();
11670 EVT VT = Operand.getValueType();
12034 if (N->getOperand(0).getValueType() != MVT::i32 &&
12035 N->getOperand(0).getValueType() != MVT::i64)
12108 N->getOperand(i).getOperand(0).getValueType() == MVT::i1) ||
12139 BinOp.getOperand(i).getOperand(0).getValueType() == MVT::i1) ||
12242 PromOp.getOperand(0).getValueType() != MVT::i1) {
12264 PromOp.getOperand(C).getValueType() != MVT::i1) ||
12266 PromOp.getOperand(C+1).getValueType() != MVT::i1)) {
12319 if (!((N->getOperand(0).getValueType() == MVT::i1 && Subtarget.useCRBits()) ||
12320 (N->getOperand(0).getValueType() == MVT::i32 && Subtarget.isPPC64())))
12392 User->getOperand(0).getValueType()));
12396 User->getOperand(0).getValueType()));
12399 User->getOperand(1).getValueType()));
12417 User->getOperand(0).getValueType()));
12421 User->getOperand(0).getValueType()));
12424 User->getOperand(1).getValueType()));
12465 if (Inputs[i].getValueType() == N->getValueType(0))
12498 PromOp.getOperand(C).getValueType() != N->getValueType(0)) ||
12500 PromOp.getOperand(C+1).getValueType() != N->getValueType(0))) {
12514 PromOp.getOperand(0).getValueType() != N->getValueType(0)) ||
12516 PromOp.getOperand(1).getValueType() != N->getValueType(0))) {
12529 if (Ops[C+i].getValueType() == N->getValueType(0))
12601 EVT OpVT = LHS.getValueType();
12614 Op.getValueType() == MVT::f64;
12648 EVT SrcVT = FirstInput.getOperand(0).getValueType();
12807 unsigned NumElems = Input.getValueType().getVectorNumElements();
12823 DAG.getVectorShuffle(Input.getValueType(), dl, Input,
12824 DAG.getUNDEF(Input.getValueType()), ShuffleMask);
12903 int InputSize = Input.getValueType().getScalarSizeInBits();
12992 if (Ext1.getOperand(0).getValueType() != MVT::v4i32 ||
13028 if (Op.getValueType() != MVT::f32 && Op.getValueType() != MVT::f64)
13028 if (Op.getValueType() != MVT::f32 && Op.getValueType() != MVT::f64)
13030 if (Op.getOperand(0).getValueType().getSimpleVT() <= MVT(MVT::i1) ||
13031 Op.getOperand(0).getValueType().getSimpleVT() > MVT(MVT::i64))
13036 (FirstOperand.getValueType() == MVT::i8 ||
13037 FirstOperand.getValueType() == MVT::i16);
13040 bool DstDouble = Op.getValueType() == MVT::f64;
13045 DAG.getIntPtrConstant(FirstOperand.getValueType() == MVT::i8 ? 1 : 2,
13067 if (Op.getOperand(0).getValueType() == MVT::i32)
13075 unsigned FCFOp = (Subtarget.hasFPCVT() && Op.getValueType() == MVT::f32)
13080 MVT FCFTy = (Subtarget.hasFPCVT() && Op.getValueType() == MVT::f32)
13090 if (Src.getValueType() == MVT::f32) {
13093 } else if (Src.getValueType() != MVT::f64) {
13105 if (Op.getValueType() == MVT::f32 && !Subtarget.hasFPCVT()) {
13224 MVT VecTy = Src.getValueType().getSimpleVT();
13263 EVT Op1VT = N->getOperand(1).getValueType();
13264 EVT ResVT = Val.getValueType();
13418 EVT Op1VT = N->getOperand(1).getValueType();
13448 if (BSwapOp.getValueType() == MVT::i16)
13586 DAG.getNode(ISD::ADD, dl, BasePtr.getValueType(), BasePtr,
13596 DAG.getNode(ISD::ADD, dl, BasePtr.getValueType(),
13724 Ptr = DAG.getNode(ISD::ADD, dl, Ptr.getValueType(), Ptr, Increment);
13836 return DAG.getNode(ISD::ABS, dl, V2.getValueType(), V2);
13842 return DAG.getNode(ISD::ABS, dl, V1.getValueType(), V1);
13848 return DAG.getNode(ISD::ABS, dl, V1.getValueType(), V1);
14054 EVT VTs[] = { LHS.getOperand(2).getValueType(), MVT::Glue };
14563 FrameAddr = DAG.getLoad(Op.getValueType(), dl, DAG.getEntryNode(),
15104 EVT VT = N0.getValueType();
15140 N0.getOperand(0).getValueType() != MVT::i32 ||
15155 if (ShiftBy.getValueType() == MVT::i64)
15190 Op.getValueType() != MVT::i64)
15195 Cmp.getOperand(0).getValueType() != MVT::i64)
15292 if (Op0.getValueType() != MVT::i128 || N->getValueType(0) != MVT::i64)
15312 Op0.getValueType() == MVT::i128 &&
15313 Op0.getOperand(0).getValueType() == MVT::f128) {
15490 return DAG.getNode(PPCISD::VABSD, dl, N->getOperand(0).getValueType(),
15497 if (N->getOperand(0).getValueType() == MVT::v4i32 &&
15499 return DAG.getNode(PPCISD::VABSD, dl, N->getOperand(0).getValueType(),
15525 EVT VT = N->getOperand(1).getValueType();
15564 return DAG.getNode(PPCISD::VABSD, dl, N->getOperand(1).getValueType(),
lib/Target/RISCV/RISCVISelDAGToDAG.cpp 259 Const->getSExtValue(), SDLoc(ImmOperand), ImmOperand.getValueType());
262 GA->getGlobal(), SDLoc(ImmOperand), ImmOperand.getValueType(),
lib/Target/RISCV/RISCVISelLowering.cpp 400 if (Op.getValueType() != MVT::f32 || Op0.getValueType() != MVT::i32)
400 if (Op.getValueType() != MVT::f32 || Op0.getValueType() != MVT::i32)
470 EVT Ty = Op.getValueType();
579 EVT Ty = Op.getValueType();
636 SDVTList VTs = DAG.getVTList(Op.getValueType(), MVT::Glue);
647 SDVTList VTs = DAG.getVTList(Op.getValueType(), MVT::Glue);
677 EVT VT = Op.getValueType();
703 EVT VT = Op.getValueType();
727 EVT VT = Lo.getValueType();
766 EVT VT = Lo.getValueType();
913 if (Op0.getValueType() != MVT::f32)
1030 EVT Ty = N0.getValueType();
2297 Ops.push_back(DAG.getRegister(Reg.first, Reg.second.getValueType()));
lib/Target/Sparc/SparcISelLowering.cpp 959 RegsToPass[i].second.getValueType()));
1259 RegsToPass[i].second.getValueType()));
1916 Op.getValueType(),
1933 EVT VT = Op.getValueType();
1953 Idx = DAG.getNode(SPISD::Lo, DL, Op.getValueType(),
2125 EVT ArgVT = Arg.getValueType();
2157 Type *RetTy = Op.getValueType().getTypeForEVT(*DAG.getContext());
2195 return DAG.getLoad(Op.getValueType(), SDLoc(Op), Chain, RetPtr,
2242 SDValue RHS = DAG.getTargetConstant(0, DL, Result.getValueType());
2247 SDValue Mask = DAG.getConstant(1, DL, Result.getValueType());
2248 Result = DAG.getNode(ISD::AND, DL, Result.getValueType(), Result, Mask);
2249 SDValue RHS = DAG.getTargetConstant(0, DL, Result.getValueType());
2254 SDValue RHS = DAG.getTargetConstant(2, DL, Result.getValueType());
2259 SDValue RHS = DAG.getTargetConstant(1, DL, Result.getValueType());
2264 SDValue RHS = DAG.getTargetConstant(1, DL, Result.getValueType());
2270 SDValue RHS = DAG.getTargetConstant(3, DL, Result.getValueType());
2275 SDValue RHS = DAG.getTargetConstant(3, DL, Result.getValueType());
2280 SDValue Mask = DAG.getConstant(3, DL, Result.getValueType());
2281 Result = DAG.getNode(ISD::AND, DL, Result.getValueType(), Result, Mask);
2282 SDValue RHS = DAG.getTargetConstant(0, DL, Result.getValueType());
2287 SDValue Mask = DAG.getConstant(3, DL, Result.getValueType());
2288 Result = DAG.getNode(ISD::AND, DL, Result.getValueType(), Result, Mask);
2289 SDValue RHS = DAG.getTargetConstant(0, DL, Result.getValueType());
2300 if (Op.getOperand(0).getValueType() == MVT::f64)
2304 if (Op.getOperand(0).getValueType() == MVT::f32)
2316 if (Op.getOperand(0).getValueType() != MVT::f128)
2319 if (Op.getValueType() == MVT::f64)
2322 if (Op.getValueType() == MVT::f32)
2334 EVT VT = Op.getValueType();
2338 if (Op.getOperand(0).getValueType() == MVT::f128
2363 EVT OpVT = Op.getOperand(0).getValueType();
2369 if (Op.getValueType() == MVT::f128
2384 return DAG.getNode(opcode, dl, Op.getValueType(), Tmp);
2391 EVT VT = Op.getValueType();
2395 if (Op.getOperand(0).getValueType() != MVT::f128 ||
2412 EVT OpVT = Op.getOperand(0).getValueType();
2417 if (Op.getValueType() != MVT::f128 || (hasHardQuad && TLI.isTypeLegal(OpVT)))
2444 if (LHS.getValueType().isInteger()) {
2448 Opc = LHS.getValueType() == MVT::i32 ? SPISD::BRICC : SPISD::BRXCC;
2450 if (!hasHardQuad && LHS.getValueType() == MVT::f128) {
2480 if (LHS.getValueType().isInteger()) {
2482 Opc = LHS.getValueType() == MVT::i32 ?
2486 if (!hasHardQuad && LHS.getValueType() == MVT::f128) {
2496 return DAG.getNode(Opc, dl, TrueVal.getValueType(), TrueVal, FalseVal,
2525 EVT PtrVT = VAListPtr.getValueType();
2620 EVT VT = Op.getValueType();
2666 EVT VT = Op.getValueType();
2693 assert(SrcReg64.getValueType() == MVT::f64 && "LowerF64Op called on non-double!");
2739 EVT addrVT = LdNode->getBasePtr().getValueType();
2807 EVT addrVT = StNode->getBasePtr().getValueType();
2844 if (Op.getValueType() == MVT::f64)
2846 if (Op.getValueType() != MVT::f128)
2883 if (Op.getValueType() != MVT::i64)
2944 if (LHS.getValueType() != VT)
3240 Op.getValueType());
3349 if (N->getOperand(0).getValueType() != MVT::f128
3375 || N->getOperand(0).getValueType() != MVT::i64)
lib/Target/SystemZ/SystemZISelDAGToDAG.cpp 634 } else if (Base.getValueType() != VT) {
636 assert(VT == MVT::i32 && Base.getValueType() == MVT::i64 &&
667 getAddressOperands(AM, Addr.getValueType(), Base, Disp);
678 getAddressOperands(AM, Addr.getValueType(), Base, Disp);
690 getAddressOperands(AM, Addr.getValueType(), Base, Disp, Index);
831 if (RxSBG.BitSize != 64 || N.getValueType() != MVT::i64)
942 if (N.getValueType() == MVT::i32 && VT == MVT::i64)
945 if (N.getValueType() == MVT::i64 && VT == MVT::i32)
947 assert(N.getValueType() == VT && "Unexpected value types");
1192 Index.getValueType() != VT.changeVectorElementTypeToInteger())
1219 EVT VT = Vec.getValueType();
1226 Index.getValueType() != VT.changeVectorElementTypeToInteger())
1559 SDLoc(Node), CCMask.getValueType());
1676 DL, Base.getValueType(),
1684 DL, Index.getValueType(),
lib/Target/SystemZ/SystemZISelLowering.cpp 1162 Op.getValueType()));
1169 Op.getValueType()));
1176 Op.getValueType()));
1183 Op.getValueType()));
1190 Op.getValueType()));
1569 Callee = DAG.getRegister(SystemZ::R1D, Callee.getValueType());
1588 RegsToPass[I].second.getValueType()));
1972 C.Op1 = DAG.getConstant(0, DL, C.Op1.getValueType());
2033 if (C.Op0.getValueType() != MVT::i32 ||
2044 if (C.Op1.getValueType() != MVT::i32 ||
2075 if (C.Op0.getValueType() == MVT::f128)
2186 C.Op0.getValueType() == MVT::i64 &&
2220 C.Op1 = DAG.getConstant(0, DL, C.Op0.getValueType());
2362 if (NewC.Op0.getValueType() != MVT::i64 ||
2422 C.Op1 = DAG.getConstant(MaskVal, DL, C.Op0.getValueType());
2497 if (C.Op0.getValueType().isFloatingPoint()) {
2665 if (CmpOp0.getValueType() == MVT::v4f32 &&
2685 bool IsFP = CmpOp0.getValueType().isFloatingPoint();
2742 EVT VT = Op.getValueType();
2761 SystemZISD::BR_CCMASK, DL, Op.getValueType(), Op.getOperand(0),
2781 Op = DAG.getNode(SystemZISD::IABS, DL, Op.getValueType(), Op);
2783 Op = DAG.getNode(ISD::SUB, DL, Op.getValueType(),
2784 DAG.getConstant(0, DL, Op.getValueType()), Op);
2818 return DAG.getNode(SystemZISD::SELECT_CCMASK, DL, Op.getValueType(), Ops);
3108 EVT InVT = In.getValueType();
3109 EVT ResVT = Op.getValueType();
3280 EVT VT = Op.getValueType();
3328 EVT VT = Op.getValueType();
3349 EVT VT = Op.getValueType();
3369 EVT VT = Op.getValueType();
3381 assert(Op.getValueType() == MVT::i64 && "Should be 64-bit operation");
3548 EVT VT = Op.getValueType();
3645 return DAG.getExtLoad(ISD::EXTLOAD, SDLoc(Op), Op.getValueType(),
3684 EVT PtrVT = Addr.getValueType();
3690 Src2 = DAG.getConstant(-Const->getSExtValue(), DL, Src2.getValueType());
3747 assert(Op.getValueType() == MemVT && "Mismatched VTs");
3807 EVT PtrVT = Addr.getValueType();
3865 SystemZ::R15D, Op.getValueType());
3952 return DAG.getNode(SystemZISD::PERMUTE_DWORDS, SDLoc(Op), Op.getValueType(),
3956 return DAG.getNode(SystemZISD::PERMUTE, SDLoc(Op), Op.getValueType(),
3962 return DAG.getNode(SystemZISD::UNPACK_HIGH, SDLoc(Op), Op.getValueType(),
3968 return DAG.getNode(SystemZISD::UNPACKL_HIGH, SDLoc(Op), Op.getValueType(),
3974 return DAG.getNode(SystemZISD::UNPACK_LOW, SDLoc(Op), Op.getValueType(),
3980 return DAG.getNode(SystemZISD::UNPACKL_LOW, SDLoc(Op), Op.getValueType(),
3989 return DAG.getNode(SystemZISD::VSUM, SDLoc(Op), Op.getValueType(),
4151 EVT VT = ShuffleOp.getValueType();
4325 EVT FromVT = Op.getNode() ? Op.getValueType() : VT;
4558 ResidueOps.push_back(DAG.getUNDEF(ResidueOps[0].getValueType()));
4675 Constants[I] = DAG.getUNDEF(Elems[I].getValueType());
4726 EVT VT = Op.getValueType();
4756 EVT VT = Op.getValueType();
4790 Op.getValueType(), DAG.getUNDEF(Op.getValueType()),
4790 Op.getValueType(), DAG.getUNDEF(Op.getValueType()),
4801 EVT VT = Op.getValueType();
4832 EVT VT = Op.getValueType();
4833 EVT VecVT = Op0.getValueType();
4855 EVT OutVT = Op.getValueType();
4856 EVT InVT = PackedOp.getValueType();
4874 EVT VT = Op.getValueType();
5282 canTreatAsByteVector(Op.getValueType())) {
5305 canTreatAsByteVector(Op.getValueType())) {
5308 EVT OpVT = Op.getValueType();
5319 if (!Op.getValueType().isInteger()) {
5334 canTreatAsByteVector(Op.getValueType()) &&
5335 canTreatAsByteVector(Op.getOperand(0).getValueType())) {
5337 EVT ExtVT = Op.getValueType();
5338 EVT OpVT = Op.getOperand(0).getValueType();
5360 if (Op.getValueType() != VecVT) {
5380 EVT VecVT = Vec.getValueType();
5425 DAG.getNode(ISD::TRUNCATE, DL, N0.getValueType(), NewSelect);
5471 EVT ShiftVT = N0.getOperand(1).getValueType();
5499 EVT VT = Op1.getValueType();
5609 canLoadStoreByteSwapped(Op1.getValueType())) {
5613 if (BSwapOp.getValueType() == MVT::i16)
5631 if (isVectorElementSwap(ShuffleMask, Op1.getValueType())) {
5694 Op.getValueType().isVector() &&
5695 Op.getOperand(0).getValueType().isVector() &&
5696 Op.getValueType().getVectorNumElements() ==
5697 Op.getOperand(0).getValueType().getVectorNumElements())
5702 EVT VecVT = Op.getValueType();
5718 EVT VecVT = Op0.getValueType();
5752 Op0.getOperand(0).getValueType() == MVT::v2f64 &&
5766 OtherRound.getValueType() == MVT::f32) {
5803 Op0.getOperand(0).getValueType() == MVT::v4f32 &&
5817 OtherExtend.getValueType() == MVT::f64) {
5880 Op.getValueType().isVector() &&
5881 Op.getOperand(0).getValueType().isVector() &&
5882 Op.getValueType().getVectorNumElements() ==
5883 Op.getOperand(0).getValueType().getVectorNumElements())
5900 if (VecVT != Vec.getValueType()) {
5904 if (EltVT != Elt.getValueType()) {
5928 if (VecVT != Op0.getValueType()) {
5932 if (VecVT != Op1.getValueType()) {
6187 EVT VT = Op.getValueType();
6310 EVT VT = Op.getValueType();
6402 EVT VT = Op.getValueType();
6449 EVT VT = Op.getValueType();
lib/Target/SystemZ/SystemZSelectionDAGInfo.cpp 28 EVT PtrVT = Src.getValueType();
79 EVT PtrVT = Dst.getValueType();
148 EVT PtrVT = Src1.getValueType();
198 EVT PtrVT = Src.getValueType();
224 SDVTList VTs = DAG.getVTList(Dest.getValueType(), MVT::Other);
234 SDVTList VTs = DAG.getVTList(Src1.getValueType(), MVT::i32, MVT::Other);
252 EVT PtrVT = Src.getValueType();
264 EVT PtrVT = Src.getValueType();
271 EVT PtrVT = Src.getValueType();
lib/Target/WebAssembly/WebAssemblyISelLowering.cpp 747 EVT VT = Arg.getValueType();
1033 EVT VT = Src.getValueType();
1050 return DAG.getTargetFrameIndex(FI, Op.getValueType());
1069 return makeLibCall(DAG, RTLIB::RETURN_ADDRESS, Op.getValueType(),
1083 EVT VT = Op.getValueType();
1093 EVT VT = Op.getValueType();
1139 EVT VT = Op.getValueType();
1152 return DAG.getTargetJumpTable(JT->getIndex(), Op.getValueType(),
1219 EVT VT = Op.getValueType();
1279 DAG.getConstant(IndexVal * Scale, DL, Index.getValueType());
1281 ISD::EXTRACT_VECTOR_ELT, DL, Extract.getValueType(),
1283 return DAG.getNode(ISD::SIGN_EXTEND_INREG, DL, Op.getValueType(),
1293 const EVT VecT = Op.getValueType();
1294 const EVT LaneT = Op.getOperand(0).getValueType();
1329 if (SwizzleSrc.getValueType() != MVT::v16i8 ||
1330 SwizzleIndices.getValueType() != MVT::v16i8 ||
1472 return DAG.getNode(WebAssemblyISD::SHUFFLE, DL, Op.getValueType(), Ops);
1498 DL, ShiftVal.getValueType(), // masked value type
1500 DAG.getConstant(MaskVal, DL, ShiftVal.getValueType()) // mask operand
1505 DL, Op.getValueType(), // original return type
1547 return DAG.getNode(Opcode, DL, Op.getValueType(), Op.getOperand(0),
lib/Target/X86/X86ISelDAGToDAG.cpp 544 EVT OpVT = N->getOperand(0).getValueType();
1757 assert(X.getValueType() != VT);
2046 RHS.getOperand(0).getValueType() == MVT::i32))
2406 else if (Base.getValueType() == MVT::i32 && !isa<FrameIndexSDNode>(Base)) {
2418 assert(Index.getValueType() == MVT::i32 &&
2545 N.getValueType());
2552 EVT VT = N.getValueType();
3415 assert(ShiftAmt.getValueType() == MVT::i8 &&
3578 Imm = CurDAG->getTargetConstant(*Val, SDLoc(Node), Imm.getValueType());
3611 Imm = CurDAG->getTargetConstant(*Val, SDLoc(Node), Imm.getValueType());
3674 EVT SubVT = ShiftAmt.getValueType();
3688 if (NewShiftAmt.getValueType() != MVT::i8) {
4369 bool Use64BitPtr = Node->getOperand(2).getValueType() == MVT::i64;
4455 if (Node->getOperand(0).getValueType().getVectorElementType() == MVT::i1)
5007 N0.getValueType() != MVT::i8) {
5069 } else if (isUInt<32>(Mask) && N0.getValueType() != MVT::i16 &&
5107 if (N0.getValueType() != VT)
lib/Target/X86/X86ISelLowering.cpp 2410 EVT ValVT = ValArg.getValueType();
2445 assert(Arg.getValueType() == MVT::i64 && "Expecting 64 bit value");
2504 EVT ValVT = ValToCopy.getValueType();
2591 RetOps.push_back(DAG.getRegister(Reg.first, Reg.second.getValueType()));
2678 if (Copy->getOperand(Copy->getNumOperands()-1).getValueType() == MVT::Glue)
2694 UI->getOperand(UI->getNumOperands()-1).getValueType() != MVT::Glue)
3777 if (Arg.getValueType().isVector() &&
3778 Arg.getValueType().getVectorElementType() == MVT::i1)
4033 RegsToPass[i].second.getValueType()));
4224 Arg.getValueType()) {
4692 RHS = DAG.getConstant(0, DL, RHS.getValueType());
4705 RHS = DAG.getConstant(0, DL, RHS.getValueType());
4981 EVT VecVT = VecOp.getValueType();
5054 EVT VT = Y.getValueType();
5070 EVT VT = Y.getValueType();
5087 return X.getValueType().isScalarInteger(); // 'bt'
5100 if (X.getValueType().isScalarInteger())
5132 EVT VT = Y.getValueType();
5460 EVT VT = Vec.getValueType();
5491 assert((Vec.getValueType().is256BitVector() ||
5492 Vec.getValueType().is512BitVector()) && "Unexpected vector size!");
5499 assert(Vec.getValueType().is512BitVector() && "Unexpected vector size!");
5511 EVT VT = Vec.getValueType();
5513 EVT ResultVT = Result.getValueType();
5535 assert(Vec.getValueType().is128BitVector() && "Unexpected vector size!");
5545 Vec.getValueType().getScalarType() == VT.getScalarType() &&
5583 EVT VT = Src.getValueType();
5584 EVT SubVT = Sub.getValueType();
5590 Src.getOperand(1).getValueType() == SubVT &&
5639 EVT OpVT = Op.getValueType();
5799 assert(V1.getValueType() == V2.getValueType() && "subvector type mismatch");
5799 assert(V1.getValueType() == V2.getValueType() && "subvector type mismatch");
5800 EVT SubVT = V1.getValueType();
5840 EVT InVT = In.getValueType();
5854 InVT = In.getValueType();
5874 Not = DAG.getBitcast(V.getOperand(0).getValueType(), Not);
5875 return DAG.getNode(ISD::EXTRACT_SUBVECTOR, SDLoc(Not), V.getValueType(),
5884 CatOp = DAG.getBitcast(CatOp.getValueType(), NotCat);
5886 return DAG.getNode(ISD::CONCAT_VECTORS, SDLoc(V), V.getValueType(), CatOps);
5963 EVT VT = Op.getValueType();
6231 EVT SrcVT = Op.getOperand(0).getValueType();
6430 assert(N->getOperand(0).getValueType() == VT && "Unexpected value type");
6431 assert(N->getOperand(1).getValueType() == VT && "Unexpected value type");
6437 assert(N->getOperand(0).getValueType() == VT && "Unexpected value type");
6438 assert(N->getOperand(1).getValueType() == VT && "Unexpected value type");
6445 assert(N->getOperand(0).getValueType() == VT && "Unexpected value type");
6446 assert(N->getOperand(1).getValueType() == VT && "Unexpected value type");
6452 assert(N->getOperand(0).getValueType() == VT && "Unexpected value type");
6462 assert(N->getOperand(0).getValueType() == VT && "Unexpected value type");
6463 assert(N->getOperand(1).getValueType() == VT && "Unexpected value type");
6473 assert(N->getOperand(0).getValueType() == VT && "Unexpected value type");
6474 assert(N->getOperand(1).getValueType() == VT && "Unexpected value type");
6479 assert(N->getOperand(0).getValueType() == VT && "Unexpected value type");
6480 assert(N->getOperand(1).getValueType() == VT && "Unexpected value type");
6485 assert(N->getOperand(0).getValueType() == VT && "Unexpected value type");
6486 assert(N->getOperand(1).getValueType() == VT && "Unexpected value type");
6491 assert(N->getOperand(0).getValueType() == VT && "Unexpected value type");
6492 assert(N->getOperand(1).getValueType() == VT && "Unexpected value type");
6498 assert(N->getOperand(0).getValueType() == VT && "Unexpected value type");
6499 assert(N->getOperand(1).getValueType() == VT && "Unexpected value type");
6509 assert(N->getOperand(0).getValueType() == VT && "Unexpected value type");
6517 assert(N->getOperand(0).getValueType() == VT && "Unexpected value type");
6525 assert(N->getOperand(0).getValueType() == VT && "Unexpected value type");
6532 assert(N->getOperand(0).getValueType() == VT && "Unexpected value type");
6539 assert(N->getOperand(0).getValueType() == VT && "Unexpected value type");
6546 assert(N->getOperand(0).getValueType() == VT && "Unexpected value type");
6555 N0.getOperand(0).getValueType() == VT &&
6562 if (N0.getValueType() == VT || !Ops.empty()) {
6570 assert(N->getOperand(0).getValueType() == VT && "Unexpected value type");
6582 assert(N->getOperand(0).getValueType() == VT && "Unexpected value type");
6583 assert(N->getOperand(1).getValueType() == VT && "Unexpected value type");
6593 assert(N->getOperand(0).getValueType() == VT && "Unexpected value type");
6600 assert(N->getOperand(0).getValueType() == VT && "Unexpected value type");
6601 assert(N->getOperand(1).getValueType() == VT && "Unexpected value type");
6605 assert(N->getOperand(0).getValueType() == VT && "Unexpected value type");
6606 assert(N->getOperand(1).getValueType() == VT && "Unexpected value type");
6613 assert(N->getOperand(0).getValueType() == VT && "Unexpected value type");
6614 assert(N->getOperand(1).getValueType() == VT && "Unexpected value type");
6621 assert(N->getOperand(0).getValueType() == VT && "Unexpected value type");
6626 assert(N->getOperand(0).getValueType() == VT && "Unexpected value type");
6631 assert(N->getOperand(0).getValueType() == VT && "Unexpected value type");
6636 assert(N->getOperand(0).getValueType() == VT && "Unexpected value type");
6637 assert(N->getOperand(1).getValueType() == VT && "Unexpected value type");
6653 assert(N->getOperand(0).getValueType() == VT && "Unexpected value type");
6654 assert(N->getOperand(1).getValueType() == VT && "Unexpected value type");
6664 assert(N->getOperand(1).getValueType() == VT && "Unexpected value type");
6677 assert(N->getOperand(0).getValueType() == VT && "Unexpected value type");
6678 assert(N->getOperand(2).getValueType() == VT && "Unexpected value type");
6786 (Size % V.getValueType().getVectorNumElements()) == 0) {
6787 int Scale = Size / V.getValueType().getVectorNumElements();
6946 if (!N0.getValueType().isVector() || !N1.getValueType().isVector())
6946 if (!N0.getValueType().isVector() || !N1.getValueType().isVector())
6978 EVT SubVT = Sub.getValueType();
6986 Sub.getOperand(0).getValueType() == VT &&
7020 EVT SubSVT = SubInput.getValueType().getScalarType();
7046 N0.getOperand(0).getValueType() == VT) ||
7048 N0.getOperand(0).getValueType() == MVT::v8i16) ||
7050 N0.getOperand(0).getValueType() == MVT::v16i8)) {
7058 EVT SrcVT = SrcVec.getValueType();
7114 assert(N0.getValueType().getVectorNumElements() == (NumElts / 2) &&
7115 N1.getValueType().getVectorNumElements() == (NumElts / 2) &&
7204 EVT SrcVT = Src.getValueType();
7286 EVT VT = Op.getValueType();
7307 EVT VT = Op.getValueType();
7312 unsigned NumElts = Op.getValueType().getVectorNumElements();
7326 EVT VT = V.getValueType();
7372 EVT SubVT = Sub.getValueType();
7392 EVT SrcVT = V.getValueType();
7723 Ptr = DAG.getNode(ISD::ADD, DL, Ptr.getValueType(), Ptr,
7724 DAG.getConstant(StartOffset, DL, Ptr.getValueType()));
7853 EVT EltBaseVT = EltBase.getValueType();
8318 EVT CVT = Ld.getValueType();
8365 if (Subtarget.hasInt256() && Ld.getValueType().isInteger()) {
8449 if (ExtractedFromVec.getValueType() != VT)
8536 assert(Cond.getValueType() == MVT::i8 && "Unexpected VT!");
8648 if (V0.getValueType() != VT)
8654 if (V1.getValueType() != VT)
9290 assert(IndicesVec.getValueType().getVectorNumElements() >= NumElts &&
9292 if (IndicesVec.getValueType().getVectorNumElements() > NumElts)
9318 EVT SrcVT = Idx.getValueType();
9406 EVT VT = Idx.getValueType();
9650 Type *EltType = Op.getValueType().getScalarType().getTypeForEVT(Context);
10332 unsigned Size = Cond.getValueType().getVectorNumElements();
10602 if (!isNonZeroElementsInOrder(Zeroable, Mask, V1.getValueType(),
12286 if (V2S && DAG.getTargetLoweringInfo().isTypeLegal(V2S.getValueType())) {
12368 EVT V0VT = V0.getValueType();
12402 Scalar = DAG.getNode(ISD::SRL, DL, Scalar.getValueType(), Scalar,
12437 EVT VT = N0.getValueType();
12450 EVT WideVT = WideVec.getValueType();
12636 if (Opcode == X86ISD::MOVDDUP && !V.getValueType().isVector())
12641 if (V.getValueType().getScalarType() != BroadcastVT.getScalarType()) {
12645 if (V.getValueType().isVector()) {
12655 if (!Subtarget.is64Bit() && V.getValueType() == MVT::i64) {
15138 assert(V1.getValueType() == V2.getValueType() && "Different sized vectors?");
15138 assert(V1.getValueType() == V2.getValueType() && "Different sized vectors?");
15139 assert(V1.getValueType().isSimple() && "Expecting only simple types");
17367 return DAG.getNode(ISD::EXTRACT_VECTOR_ELT, dl, Op.getValueType(), Vec,
17431 return DAG.getNode(ISD::EXTRACT_VECTOR_ELT, dl, Op.getValueType(), Vec,
17606 V = DAG.getNode(ISD::INSERT_VECTOR_ELT, dl, V.getValueType(), V, N1,
17635 if (N1.getValueType() != MVT::i32)
17637 if (N2.getValueType() != MVT::i32)
17757 return DAG.getNode(ISD::EXTRACT_SUBVECTOR, dl, Op.getValueType(), Vec,
18319 Amt = DAG.getNode(ISD::AND, DL, Amt.getValueType(), Amt,
18320 DAG.getConstant(15, DL, Amt.getValueType()));
18478 bool useSSE = isScalarFPTypeInSSEReg(Op.getValueType());
18482 Tys = DAG.getVTList(Op.getValueType(), MVT::Other);
18521 Op.getValueType(), StoreMMO);
18523 Op.getValueType(), DL, Chain, StackSlot,
18845 if (isScalarFPTypeInSSEReg(Op.getValueType()) && !Subtarget.is64Bit())
18881 SDValue Offset = DAG.getSelect(dl, Zero.getValueType(), SignSet, Zero, Four);
18908 EVT DstTy = Op.getValueType();
18909 EVT TheVT = Op.getOperand(0).getValueType();
19019 SDValue Res = DAG.getLoad(Op.getValueType(), SDLoc(Op), FIST, StackSlot, MPI);
19195 EVT SrcVT = In.getValueType();
19647 assert(Op.getOperand(0).getValueType() != MVT::f128 &&
19699 EVT VecVT = X.getValueType();
19719 SDValue HOp = DAG.getNode(HOpcode, DL, X.getValueType(), X, X);
19727 if (Op.getValueType() == MVT::f128) {
19733 assert((Op.getValueType() == MVT::f32 || Op.getValueType() == MVT::f64) &&
19733 assert((Op.getValueType() == MVT::f32 || Op.getValueType() == MVT::f64) &&
19930 VT = Src.getValueType();
19933 VT != SrcOpMap.begin()->first.getValueType())
19972 EVT VT = VecIns[0].getValueType();
20057 DAG.getConstant(0, dl, Op.getValueType()));
20110 SDVTList VTs = DAG.getVTList(Op.getValueType(), MVT::i32);
20122 DAG.getConstant(0, dl, Op.getValueType()));
20124 SDVTList VTs = DAG.getVTList(Op.getValueType(), MVT::i32);
20139 EVT CmpVT = Op0.getValueType();
20194 !Cmp.getOperand(0).getValueType().isFloatingPoint() ||
20195 !Cmp.getOperand(1).getValueType().isFloatingPoint())
20216 EVT VT = Op.getValueType();
20234 EVT VT = Op.getValueType();
20265 EVT VT = Op.getValueType();
20407 Src.getValueType());
20421 if (Src.getValueType() == MVT::i8 || Src.getValueType() == MVT::i16)
20421 if (Src.getValueType() == MVT::i8 || Src.getValueType() == MVT::i16)
20428 if (Src.getValueType() == MVT::i64 &&
20434 if (Src.getValueType() != BitNo.getValueType())
20434 if (Src.getValueType() != BitNo.getValueType())
20435 BitNo = DAG.getNode(ISD::ANY_EXTEND, dl, Src.getValueType(), BitNo);
21071 if (Op0.getValueType() == MVT::f128) {
21076 assert(Op0.getValueType() == Op.getValueType() &&
21076 assert(Op0.getValueType() == Op.getValueType() &&
21101 EVT CarryVT = Carry.getValueType();
21106 SDVTList VTs = DAG.getVTList(LHS.getValueType(), MVT::i32);
21153 SDVTList VTs = DAG.getVTList(Op.getValueType(), MVT::i32);
21298 SDValue newSelect = DAG.getSelect(DL, Op1Scalar.getValueType(), Cond,
21341 SDValue Zero = DAG.getConstant(0, DL, CmpOp0.getValueType());
21343 SDVTList VTs = DAG.getVTList(Op.getValueType(), MVT::i32);
21344 Zero = DAG.getConstant(0, DL, Op.getValueType());
21349 CmpOp0, DAG.getConstant(1, DL, CmpOp0.getValueType()));
21352 SDVTList VTs = DAG.getVTList(Op.getValueType(), MVT::i32);
21353 SDValue Zero = DAG.getConstant(0, DL, Op.getValueType());
21358 Res = DAG.getNOT(DL, Res, Res.getValueType());
21361 Res = DAG.getNode(ISD::OR, DL, Res.getValueType(), Res, Y);
21457 Cond = EmitCmp(Cond, DAG.getConstant(0, DL, Cond.getValueType()),
21473 DAG.getNode(X86ISD::SETCC_CARRY, DL, Op.getValueType(),
21476 return DAG.getNOT(DL, Res, Res.getValueType());
21484 if (Op.getValueType() == MVT::i8 &&
21487 if (T1.getValueType() == T2.getValueType() &&
21487 if (T1.getValueType() == T2.getValueType() &&
21490 SDValue Cmov = DAG.getNode(X86ISD::CMOV, DL, T1.getValueType(), T2, T1,
21492 return DAG.getNode(ISD::TRUNCATE, DL, Op.getValueType(), Cmov);
21502 if ((Op.getValueType() == MVT::i8 && Subtarget.hasCMov()) ||
21503 (Op.getValueType() == MVT::i16 && !MayFoldLoad(Op1) &&
21509 return DAG.getNode(ISD::TRUNCATE, DL, Op.getValueType(), Cmov);
21515 return DAG.getNode(X86ISD::CMOV, DL, Op.getValueType(), Ops);
21693 assert(Curr.getValueType() == MVT::v4i32 && "Unexpected input VT");
21763 assert((StoredVal.getValueType().is256BitVector() ||
21764 StoredVal.getValueType().is512BitVector()) &&
21800 StoredVal.getValueType().is128BitVector() && "Expecting 128-bit op");
21837 if (StoredVal.getValueType().isVector() &&
21838 StoredVal.getValueType().getVectorElementType() == MVT::i1) {
21839 assert(StoredVal.getValueType().getVectorNumElements() <= 8 &&
22057 Chain = DAG.getNode(X86ISD::BRCOND, dl, Op.getValueType(),
22088 Chain = DAG.getNode(X86ISD::BRCOND, dl, Op.getValueType(), Chain,
22133 Chain = DAG.getNode(X86ISD::BRCOND, dl, Op.getValueType(),
22149 Chain = DAG.getNode(X86ISD::BRCOND, dl, Op.getValueType(),
22177 Cond = EmitCmp(Cond, DAG.getConstant(0, dl, Cond.getValueType()),
22181 return DAG.getNode(X86ISD::BRCOND, dl, Op.getValueType(),
22662 assert(Mask.getValueType() == MVT::i8 && "Unexpect type");
22791 return DAG.getNode(IntrWithRoundingModeOpcode, dl, Op.getValueType(),
22797 return DAG.getNode(IntrData->Opc0, dl, Op.getValueType(), Op.getOperand(1));
22810 return DAG.getNode(Opc, dl, Op.getValueType(), Op.getOperand(1));
22823 return DAG.getNode(IntrWithRoundingModeOpcode, dl, Op.getValueType(),
22830 return DAG.getNode(IntrData->Opc0, dl, Op.getValueType(),
22844 return DAG.getNode(Opc, dl, Op.getValueType(), Op.getOperand(1),
22861 return DAG.getNode(IntrWithRoundingModeOpcode, dl, Op.getValueType(),
22868 return DAG.getNode(IntrData->Opc0, dl, Op.getValueType(),
22872 return DAG.getNode(IntrData->Opc0, dl, Op.getValueType(), Op.getOperand(1),
22887 DAG.getNode(IntrWithRoundingModeOpcode, dl, Op.getValueType(),
23069 EVT MaskVT = Src3.getValueType().changeVectorElementTypeToInteger();
23085 return DAG.getNode(IntrData->Opc0, dl, Op.getValueType(),
23260 return DAG.getNode(IntrData->Opc0, dl, Op.getValueType(),
23270 return DAG.getNode(IntrData->Opc0, dl, Op.getValueType(),
23279 SDValue Control = DAG.getConstant(Imm, dl, Op.getValueType());
23280 return DAG.getNode(IntrData->Opc0, dl, Op.getValueType(),
23286 SDVTList VTs = DAG.getVTList(Op.getOperand(2).getValueType(), MVT::i32);
23313 return DAG.getNode(IntrData->Opc0, dl, Op.getValueType(), Src);
23318 return DAG.getNode(IntrData->Opc1, dl, Op.getValueType(), Src, PassThru,
23328 return DAG.getNode(IntrData->Opc0, dl, Op.getValueType(), Src, Rnd);
23333 return DAG.getNode(IntrData->Opc1, dl, Op.getValueType(), Src, Rnd,
23343 return DAG.getNode(IntrData->Opc0, dl, Op.getValueType(), Src);
23347 PassThru = DAG.getConstant(0, dl, PassThru.getValueType());
23349 return DAG.getNode(IntrData->Opc1, dl, Op.getValueType(), Src, PassThru,
23626 return DAG.getNode(ISD::INTRINSIC_WO_CHAIN, DL, Op.getValueType(),
23663 return DAG.getNode(ISD::INTRINSIC_WO_CHAIN, DL, Op.getValueType(),
23683 EVT MaskVT = Mask.getValueType().changeVectorElementTypeToInteger();
23684 SDVTList VTs = DAG.getVTList(Op.getValueType(), MaskVT, MVT::Other);
23718 if (Mask.getValueType() != MaskVT)
23721 SDVTList VTs = DAG.getVTList(Op.getValueType(), MaskVT, MVT::Other);
23754 if (Mask.getValueType() != MaskVT)
23924 SDValue Undef = DAG.getUNDEF(Ptr.getValueType());
24217 EVT VT = Op.getValueType();
25385 EVT VT = Op.getValueType();
25407 EVT ArgVT = Op->getOperand(i).getValueType();
27263 EVT CarryVT = Carry.getValueType();
27288 EVT ArgVT = Arg.getValueType();
27370 EVT EltVT = InOp.getOperand(0).getValueType();
27402 assert(Mask.getValueType() == MVT::v2i1 && "Unexpected mask type");
27404 if (Index.getValueType() == MVT::v2i64 && Subtarget.hasVLX()) {
27873 EVT InVT = N->getOperand(0).getValueType();
27980 EVT InVT = In.getValueType();
28048 EVT InVT = In.getValueType();
28121 EVT SrcVT = Src.getValueType();
28162 if (Src.getValueType() == MVT::v2f64) {
28210 if (N->getValueType(0) != MVT::v2f32 || Src.getValueType() != MVT::v2i64)
28221 EVT SrcVT = Src.getValueType();
28240 if (!isTypeLegal(N->getOperand(0).getValueType()))
28439 EVT SrcVT = N->getOperand(0).getValueType();
28484 if (Index.getValueType() != MVT::v2i64)
28490 assert(Mask.getValueType() == MVT::v2i1 && "Unexpected mask type");
28504 DAG.getVTList(WideVT, Mask.getValueType(), MVT::Other), Ops, dl,
29066 EVT VT1 = Val.getValueType();
29093 EVT SrcVT = ExtVal.getOperand(0).getValueType();
31431 EVT VT = Op.getValueType();
31488 EVT VT = Op.getValueType();
31503 unsigned NumLoBits = Op.getOperand(0).getValueType().getVectorNumElements();
31510 EVT SrcVT = Src.getValueType();
31594 Op.getOperand(0).getValueType().getScalarType() == MVT::i8 &&
31646 if (Ops[OpIdx].getValueType() != VT) {
31670 EVT VT = Op.getValueType();
31692 getPackDemandedElts(Op.getValueType(), DemandedElts, DemandedLHS,
31782 if (Ops[OpIdx].getValueType() != VT) {
32301 SDValue V2 = (UnaryShuffle ? DAG.getUNDEF(V1.getValueType())
32348 Src.getValueType(),
32441 if (V1.getValueType() == MaskVT &&
32831 EVT BaseVT = Src.getValueType();
32849 EVT RootVT = Root.getValueType();
32858 EVT WideSVT = WideInputs[0].getValueType().getScalarType();
32860 return !DAG.getTargetLoweringInfo().isTypeLegal(Op.getValueType()) ||
32861 Op.getValueType().getScalarType() != WideSVT;
33169 return DAG.getUNDEF(Root.getValueType());
33393 V = DAG.getNode(V.getOpcode(), DL, V.getValueType(), V.getOperand(0),
33400 if (V.getValueType() != W.getOperand(0).getValueType())
33400 if (V.getValueType() != W.getOperand(0).getValueType())
33401 V = DAG.getBitcast(W.getOperand(0).getValueType(), V);
33409 V = DAG.getNode(W.getOpcode(), DL, W.getValueType(), V, V);
33415 V = DAG.getNode(W.getOpcode(), DL, W.getValueType(), V, W.getOperand(1));
33419 if (V.getValueType() != N.getValueType())
33419 if (V.getValueType() != N.getValueType())
33420 V = DAG.getBitcast(N.getValueType(), V);
33442 EVT VT0 = BC0.getValueType();
33443 EVT VT1 = BC1.getValueType();
33467 EVT SrcVT = Src.getValueType();
33468 EVT BCVT = BC.getValueType();
33545 N0.getOperand(0).getValueType() == N1.getOperand(0).getValueType()) {
33545 N0.getOperand(0).getValueType() == N1.getOperand(0).getValueType()) {
33570 EVT SrcVT = Src.getValueType();
34029 SrcOp.getValueType() == MVT::f64 &&
34030 SrcOp.getOperand(0).getValueType() == VT &&
34064 HorizOp.getValueType(), X, X);
34072 if (HOp.getScalarValueSizeInBits() == 64 && HOp.getValueType() == VT) {
34075 assert((HOp.getValueType() == MVT::v2f64 ||
34076 HOp.getValueType() == MVT::v4f64) && "Unexpected type for h-op");
34196 (N->getOperand(0).getOperand(0).getValueType() == MVT::v4f32 ||
34197 N->getOperand(0).getOperand(0).getValueType() == MVT::v4i32)) {
34209 if (In.getOperand(0).getValueType() == MVT::v2f64 ||
34210 In.getOperand(0).getValueType() == MVT::v2i64)
34226 SDValue Movl = DAG.getNode(X86ISD::VZEXT_MOVL, dl, In.getValueType(), In);
34259 EVT VT = Op.getValueType();
34497 if (Src.getValueType() != VT)
34557 TLO.DAG.getNode(Opc, DL, Ext0.getValueType(), Ext0);
34593 TLO.DAG.getNode(Opc, DL, Ext0.getValueType(), Ext0, Op.getOperand(1));
34656 !V.getValueType().isVector();
34685 if (OpInputs[Src].getValueType() != VT)
34711 EVT VT = Op.getValueType();
34997 EVT VT = Op.getValueType();
35076 EVT OriginalVT = InVec.getValueType();
35082 EVT CurrentVT = InVec.getValueType();
35217 EVT SrcVT = Src.getValueType();
35226 (Src.getOperand(0).getValueType() == MVT::v16i8 ||
35227 Src.getOperand(0).getValueType() == MVT::v32i8 ||
35228 Src.getOperand(0).getValueType() == MVT::v64i8);
35315 EVT SrcVT = Op.getValueType();
35345 EVT SrcVT = Op.getValueType();
35367 LHS.getOperand(0).getValueType() == DstVT)
35372 RHS.getOperand(0).getValueType() == DstVT)
35397 if (V.getValueType().isFloatingPoint()) {
35463 EVT SrcVT = N0.getValueType();
35480 N0.getOperand(0).getValueType() == MVT::v4i32 &&
35487 N00.getOperand(0).getValueType() == MVT::v4f32)) {
35518 SrcVT = LastOp.getValueType();
35544 N0.getOperand(0).getValueType() == MVT::v16i1 &&
35586 N0.getOperand(0).getValueType() == SrcVT.getScalarType()) {
35615 if (N00.getValueType().is128BitVector())
35676 LogicOp0.hasOneUse() && LogicOp0.getOperand(0).getValueType() == VT &&
35683 LogicOp1.hasOneUse() && LogicOp1.getOperand(0).getValueType() == VT &&
35705 Op0.getOperand(0).getValueType().getVectorElementType() != MVT::i8 ||
35707 Op1.getOperand(0).getValueType().getVectorElementType() != MVT::i8)
35719 EVT InVT = Zext0.getOperand(0).getValueType();
35762 EVT SrcVT = Src.getValueType();
35850 EVT MatchVT = Match.getValueType();
35868 Match = DAG.getNode(BinOp, DL, Lo.getValueType(), Lo, Hi);
35891 if (Match.getValueType().getVectorNumElements() < 2)
35901 Match = DAG.getNode(BinOp, DL, Lo.getValueType(), Lo, Hi);
35959 EVT VT = Extract->getOperand(0).getValueType();
36046 EVT SrcVT = Src.getValueType();
36172 EVT VecVT = Vec.getValueType();
36182 EVT OpVT = Vec.getOperand(0).getValueType().getScalarType();
36206 Vec.getOperand(0).getValueType().getScalarType() == MVT::i1 &&
36207 Vec.getOperand(0).getOperand(0).getValueType() == VecVT) {
36211 Vec.getOperand(0).getValueType().getScalarType(),
36284 EVT VecVT = Rdx.getValueType();
36305 if (Rdx.getValueType() == MVT::v8i8) {
36328 Rdx = DAG.getNode(ISD::ADD, DL, Lo.getValueType(), Lo, Hi);
36329 VecVT = Rdx.getValueType();
36359 Rdx = DAG.getNode(HorizOpcode, DL, Lo.getValueType(), Hi, Lo);
36360 VecVT = Rdx.getValueType();
36388 EVT SrcVT = InputVector.getValueType();
36421 assert(SrcVT == InputVector.getOperand(0).getValueType() &&
36443 if (MMXSrc.getValueType() == MVT::x86mmx)
36453 if (MMXSrc.getValueType() == MVT::x86mmx)
36523 EVT VT = LHS.getValueType();
36524 EVT CondVT = Cond.getValueType();
36580 Cond.getOperand(0).getValueType().isInteger());
36653 return DAG.getNode(Opcode, DL, Ops[1].getValueType(), Ops);
36678 if (Cond.getValueType() != MVT::i1)
36818 EVT VT = LHS.getValueType();
36819 EVT CondVT = Cond.getValueType();
37028 TLI.isTypeLegal(Op.getOperand(0).getValueType()) &&
37038 EVT SrcVT = SelectableLHS ? LHS.getOperand(0).getValueType()
37039 : RHS.getOperand(0).getValueType();
37082 Cond = DAG.getSetCC(SDLoc(Cond), Cond.getValueType(),
37305 ISD::ATOMIC_LOAD_SUB, SDLoc(CmpLHS), CmpLHS.getValueType(),
37307 /*RHS*/ DAG.getConstant(-Addend, SDLoc(CmpRHS), CmpRHS.getValueType()),
37311 DAG.getUNDEF(CmpLHS.getValueType()));
37334 DAG.getUNDEF(CmpLHS.getValueType()));
37540 CarryOp1.getValueType().isInteger() &&
37594 if (FalseOp.getValueType() != MVT::f80 || hasFPCMov(CC)) {
37624 Cond = DAG.getNode(ISD::SHL, DL, Cond.getValueType(), Cond,
37637 Cond = DAG.getNode(ISD::ADD, DL, Cond.getValueType(), Cond,
37672 Cond = DAG.getNode(ISD::MUL, DL, Cond.getValueType(), Cond,
37673 DAG.getConstant(Diff, DL, Cond.getValueType()));
37677 Cond = DAG.getNode(ISD::ADD, DL, Cond.getValueType(), Cond,
37801 EVT VT = N->getOperand(0).getValueType();
37884 EVT VT = N->getOperand(0).getValueType();
38088 return DAG.getNode(X86ISD::PMULDQ, DL, Ops[0].getValueType(), Ops);
38099 return DAG.getNode(X86ISD::PMULUDQ, DL, Ops[0].getValueType(), Ops);
38256 EVT VT = N0.getValueType();
38300 assert(N0.getValueType().isVector() && "Invalid vector shift type");
38314 EVT VT = N0.getValueType();
38337 EVT CVT = N1.getValueType();
38368 EVT VT = N0.getValueType();
38490 N0.getOperand(0).getValueType() == MVT::v8i32) {
38558 assert(VT == N0.getValueType() && (NumBitsPerElt % 8) == 0 &&
38560 assert(N1.getValueType() == MVT::i8 && "Unexpected shift amount type");
38669 EVT VT = CMP00.getValueType();
38718 DAG.getNode(X86ISD::FSETCC, DL, CMP00.getValueType(), CMP00,
38721 bool is64BitFP = (CMP00.getValueType() == MVT::f64);
38793 EVT NarrowVT = Narrow.getValueType();
38809 if (N0.getOperand(0).getValueType() != VT)
38814 N1.getOperand(0).getValueType() == VT;
38861 EVT N00Type = N00.getValueType();
38862 EVT N10Type = N10.getValueType();
38889 EVT VT0 = Op0.getValueType();
38890 EVT VT1 = Op1.getValueType();
39131 EVT SrcVT = Src.getValueType();
39142 EVT SubVecVT = SubVec.getValueType();
39150 EVT SetccVT = SubVec.getOperand(0).getValueType();
39207 unsigned NumElts = SrcOps[0].getValueType().getVectorNumElements();
39252 EVT SrcVecVT = SrcVec.getValueType();
39387 EVT MaskVT = Mask.getValueType();
39392 if (X.getValueType() != MaskVT || Y.getValueType() != MaskVT)
39392 if (X.getValueType() != MaskVT || Y.getValueType() != MaskVT)
39456 EVT MaskVT = Mask.getValueType();
39492 EVT VT = Cmp.getOperand(0).getValueType();
39534 N->getOperand(1).getValueType().bitsGE(MVT::i32);
39612 unsigned NumElts = SrcOps[0].getValueType().getVectorNumElements();
39668 if (ShAmt0.getValueType() != MVT::i8)
39671 if (ShAmt1.getValueType() != MVT::i8)
39794 EVT ShiftTy = Shift.getValueType();
39808 EVT ShiftOpTy = ShiftOp.getValueType();
39882 EVT InVT = In.getValueType();
39968 EVT InVT = In.getValueType();
40071 EVT InVT = In.getValueType();
40133 return DAG.getNode(X86ISD::AVG, DL, Ops[0].getValueType(), Ops);
40140 Operands[0].getOperand(0).getValueType() == VT) {
40162 if (V.getValueType() != VT || ISD::OR != V.getOpcode() ||
40187 if (Operands[j].getValueType() != VT) {
40189 Operands[j].getOperand(0).getValueType() != VT)
40440 EVT VT = MS->getValue().getValueType();
40457 EVT VT = Mst->getValue().getValueType();
40478 TLI.isTruncStoreLegal(Value.getOperand(0).getValueType(),
40496 EVT VT = StoredVal.getValueType();
40515 StoredVal.getOperand(0).getValueType() == MVT::i8) {
40605 St->getValue().getOperand(0).getValueType() == MVT::v16i16 &&
40617 TLI.isTruncStoreLegal(StoredVal.getOperand(0).getValueType(), VT)) {
40797 Op.getOperand(0).getValueType().is256BitVector() &&
40945 EVT SrcVT = Src.getValueType();
41035 EVT InVT = In.getValueType();
41049 EVT InVT = In.getValueType();
41068 if (!In.getValueType().isSimple())
41071 EVT InVT = In.getValueType();
41119 if (!In.getValueType().isSimple())
41125 MVT InVT = In.getValueType().getSimpleVT();
41185 EVT InVT = Src.getValueType();
41208 if (LHS.getValueType() != VT || RHS.getValueType() != VT)
41208 if (LHS.getValueType() != VT || RHS.getValueType() != VT)
41272 if (N00.getValueType().getVectorElementType() != MVT::i8 ||
41273 N01.getValueType().getVectorElementType() != MVT::i8 ||
41274 N10.getValueType().getVectorElementType() != MVT::i8 ||
41275 N11.getValueType().getVectorElementType() != MVT::i8)
41342 EVT InVT = Ops[0].getValueType();
41345 assert(InVT == Ops[1].getValueType() && "Operands' types mismatch");
41384 if (BCSrc.getValueType() == MVT::x86mmx)
41439 if (NegOp0.getValueType() == VT) // FIXME: Can we do better?
41453 if (NegInsVal.getValueType() == VT.getVectorElementType()) // FIXME
41548 EVT VT = Arg.getValueType();
41603 EVT VT = Op.getValueType();
41640 return DAG.getBitcast(Op.getValueType(), Arg);
41642 EVT VT = Op.getValueType();
41804 if (V.getValueType().isVector())
42187 if (N00.getValueType() == MVT::v4i32 && ExtraVT.getSizeInBits() < 128) {
42282 EVT VT = CMovN.getValueType();
42336 EVT InSVT = N0.getValueType().getScalarType();
42349 EVT SclVT = N0.getOperand(0).getValueType();
42437 EVT N00VT = N0.getOperand(0).getValueType();
42445 Res = DAG.getZeroExtendInReg(Res, dl, N0.getValueType().getScalarType());
42455 EVT InVT = N0.getValueType();
42524 V = DAG.getNode(ISD::EXTRACT_VECTOR_ELT, SDLoc(V), V.getValueType(),
42657 EVT OpVT = X.getValueType();
42676 return isa<ConstantSDNode>(X) || X.getValueType().isVector() ||
42821 EVT OpVT = LHS.getValueType();
42854 (LHS.getOperand(0).getValueType().getVectorElementType() == MVT::i1);
42858 assert(VT == LHS.getOperand(0).getValueType() &&
42890 LHS.getValueType() == MVT::v4f32)
42980 unsigned NumElts = Index.getValueType().getVectorNumElements();
43009 unsigned NumElts = Index.getValueType().getVectorNumElements();
43037 Index.getValueType().getVectorNumElements());
43162 EVT TruncVT = Trunc.getValueType();
43163 EVT SrcVT = ExtElt.getValueType();
43170 EVT SrcVecVT = ExtElt.getOperand(0).getValueType();
43185 EVT InVT = Op0.getValueType();
43220 EVT InVT = Op0.getValueType();
43292 assert(Flags.getValueType() == MVT::i32 && "Unexpected VT!");
43330 assert(Flags.getValueType() == MVT::i32 && "Unexpected VT!");
43366 EVT VT = Op.getValueType();
43585 EFLAGS.getValueType().isInteger() &&
43618 EFLAGS.getValueType().isInteger() &&
43636 !Cmp.getOperand(0).getValueType().isInteger())
43640 EVT ZVT = Z.getValueType();
43903 Mul.getValueType().getVectorNumElements() != 2 * e)
43921 EVT InVT = Ops[0].getValueType();
43924 assert(InVT == Ops[1].getValueType() && "Operands' types mismatch");
43975 EVT InVT = N00.getValueType();
43976 if (InVT.getVectorElementType() != MVT::i16 || N01.getValueType() != InVT ||
43977 N10.getValueType() != InVT || N11.getValueType() != InVT)
43977 N10.getValueType() != InVT || N11.getValueType() != InVT)
44047 EVT OpVT = Ops[0].getValueType();
44050 assert(OpVT == Ops[1].getValueType() && "Operands' types mismatch");
44085 return DAG.getNode(X86ISD::HADD, DL, Ops[0].getValueType(), Ops);
44099 Op0.getOperand(0).getValueType().getVectorElementType() == MVT::i1 &&
44100 TLI.isTypeLegal(Op0.getOperand(0).getValueType())) {
44107 Op1.getOperand(0).getValueType().getVectorElementType() == MVT::i1 &&
44108 TLI.isTypeLegal(Op1.getOperand(0).getValueType())) {
44179 EVT ExtType = SubusLHS.getValueType();
44220 EVT VT = Op0.getValueType();
44237 return DAG.getNode(X86ISD::HSUB, DL, Ops[0].getValueType(), Ops);
44318 Op0.getOperand(0).getValueType() == VT.getScalarType())
44383 EVT SrcVT = N->getOperand(0).getValueType();
44597 EVT InVecVT = InVec.getValueType();
44598 EVT InVecBCVT = InVecBC.getValueType();
44709 InVec.getOperand(0).getValueType() == MVT::v4i32) {
44714 InVec.getOperand(0).getValueType() == MVT::v4i32) {
44719 InVec.getOperand(0).getValueType() == MVT::v4f32) {
44735 InVec.getOperand(0).getValueType().is256BitVector() &&
44736 InVec.getOperand(1).getValueType().is256BitVector() &&
44737 InVec.getOperand(2).getValueType().is256BitVector()) {
44766 Src.hasOneUse() && Src.getOperand(0).getValueType().isVector() &&
44767 Src.getOperand(0).getValueType().getVectorElementType() == MVT::i1)
44776 Src.getValueType() == MVT::i64 && Src.hasOneUse() &&
44817 LHS.getOperand(0).getValueType() == MVT::v4i32) {
44827 RHS.getOperand(0).getValueType() == MVT::v4i32) {
44869 if (TLI.isTypeLegal(VT) && TLI.isTypeLegal(In.getValueType()))
45102 EVT VT = Op.getValueType();
45629 Op.getValueType());
45638 Op.getValueType());
45647 Op.getValueType());
45657 Op.getValueType());
45666 Op.getValueType());
45675 Op.getValueType());
45684 Op.getValueType());
45709 Op.getValueType());
lib/Target/X86/X86SelectionDAGInfo.cpp 169 EVT AddrVT = Dst.getValueType();
170 EVT SizeVT = Size.getValueType();
280 EVT DstVT = Dst.getValueType();
281 EVT SrcVT = Src.getValueType();
314 Size.getValueType(), Align, isVolatile,
lib/Target/XCore/XCoreISelLowering.cpp 182 EVT VT1 = Val.getValueType();
326 EVT PtrVT = Op.getValueType();
379 LowAddr = DAG.getGlobalAddress(GASD->getGlobal(), DL, Base.getValueType(),
381 HighAddr = DAG.getGlobalAddress(GASD->getGlobal(), DL, Base.getValueType(),
541 assert(Op.getValueType() == MVT::i32 && Op.getOpcode() == ISD::SMUL_LOHI &&
558 assert(Op.getValueType() == MVT::i32 && Op.getOpcode() == ISD::UMUL_LOHI &&
742 EVT PtrVT = VAListPtr.getValueType();
919 EVT VT = Op.getValueType();
1213 RegsToPass[i].second.getValueType()));
1639 EVT VT = N0.getValueType();
1675 EVT VT = N0.getValueType();
1713 EVT VT = N0.getValueType();