Ceph » mgr

Hi Sage,

I migrated to single root already. So I don't have this osdmap. But I have mon leveldb backups from this day - can this help?

After upgrading from Nautilus to Octopus 15.2.4, the balancer is now complaining that "some osds belong to multiple subtrees":

1. ceph balancer status {
   "active": true,
   "last_optimize_duration": "0:00:00.696740",
   "last_optimize_started": "Tue Sep 8 16:48:17 2020",
   "mode": "crush-compat",
   "optimize_result": "Some osds belong to multiple subtrees: {0: ['default~hdd', 'default'], 1: ['default~hdd', 'default'], 2: ['default~hdd', 'default'], 3: ['default~hdd', 'default'], 4: ['default~hdd', 'default'], 5: ['default~hdd', 'default'], 6: ['default~hdd', 'default'], 7: ['default~hdd', 'default'], 8: ['default~ssd', 'default'], 9: ['default~ssd', 'default'], 10: ['default~ssd', 'default'], 11: ['default~ssd', 'default'], 12: ['default~ssd', 'default'], 13: ['default~ssd', 'default'], 14: ['default~ssd', 'default'], 15: ['default~ssd', 'default'], 16: ['default~ssd', 'default'], 17: ['default~ssd', 'default'], 18: ['default~hdd', 'default'], 19: ['default~hdd', 'default'], 20: ['default~hdd', 'default'], 21: ['default~hdd', 'default'], 22: ['default~hdd', 'default'], 23: ['default~hdd', 'default'], 24: ['default~hdd', 'default'], 25: ['default~hdd', 'default'], 26: ['default~ssd', 'default'], 27: ['default~ssd', 'default'], 28: ['default~ssd', 'default'], 29: ['default~ssd', 'default'], 30: ['default~ssd', 'default'], 31: ['default~ssd', 'default'], 32: ['default~ssd', 'default'], 33: ['default~ssd', 'default'], 34: ['default~ssd', 'default'], 35: ['default~ssd', 'default'], 36: ['default~ssd', 'default'], 37: ['default~ssd', 'default'], 38: ['default~ssd', 'default'], 39: ['default~ssd', 'default'], 40: ['default~ssd', 'default'], 41: ['default~ssd', 'default'], 42: ['default~ssd', 'default'], 43: ['default~ssd', 'default'], 44: ['default~ssd', 'default'], 45: ['default~ssd', 'default'], 46: ['default~ssd', 'default'], 47: ['default~ssd', 'default'], 48: ['default~ssd', 'default'], 49: ['default~ssd', 'default'], 50: ['default~ssd', 'default'], 51: ['default~ssd', 'default'], 52: ['default~ssd', 'default'], 53: ['default~ssd', 'default'], 54: ['default~ssd', 'default'], 55: ['default~ssd', 'default'], 56: ['default~ssd', 'default'], 57: ['default~ssd', 'default'], 58: ['default~ssd', 'default'], 59: ['default~ssd', 'default'], 60: ['default~ssd', 'default'], 61: ['default~ssd', 'default'], 62: ['default~ssd', 'default'], 63: ['default~ssd', 'default'], 64: ['default~ssd', 'default'], 65: ['default~ssd', 'default'], 66: ['default~ssd', 'default'], 67: ['default~ssd', 'default'], 68: ['default~ssd', 'default'], 69: ['default~ssd', 'default'], 70: ['default~ssd', 'default'], 71: ['default~ssd', 'default'], 72: ['default~ssd', 'default'], 73: ['default~ssd', 'default'], 74: ['default~ssd', 'default'], 75: ['default~ssd', 'default'], 76: ['default~ssd', 'default'], 77: ['default~ssd', 'default'], 78: ['default~ssd', 'default'], 79: ['default~ssd', 'default'], 80: ['default~ssd', 'default'], 81: ['default~ssd', 'default'], 82: ['default~ssd', 'default'], 83: ['default~ssd', 'default'], 84: ['default~ssd', 'default'], 85: ['default~ssd', 'default'], 86: ['default~ssd', 'default'], 87: ['default~ssd', 'default'], 88: ['default~ssd', 'default'], 89: ['default~ssd', 'default'], 90: ['default~ssd', 'default'], 91: ['default~ssd', 'default'], 92: ['default~ssd', 'default'], 93: ['default~ssd', 'default'], 94: ['default~ssd', 'default'], 95: ['default~ssd', 'default'], 96: ['default~mdd', 'default'], 97: ['default~mdd', 'default'], 98: ['default~mdd', 'default'], 99: ['default~mdd', 'default'], 100: ['default~mdd', 'default'], 101: ['default~mdd', 'default'], 102: ['default~mdd', 'default'], 103: ['default~mdd', 'default'], 104: ['default~hdd', 'default'], 105: ['default~hdd', 'default'], 106: ['default~hdd', 'default'], 107: ['default~hdd', 'default'], 108: ['default~hdd', 'default'], 109: ['default~hdd', 'default'], 110: ['default~hdd', 'default'], 111: ['default~hdd', 'default'], 112: ['default~hdd', 'default'], 113: ['default~hdd', 'default'], 114: ['default~hdd', 'default'], 115: ['default~hdd', 'default'], 116: ['default~hdd', 'default'], 117: ['default~hdd', 'default'], 118: ['default~hdd', 'default'], 119: ['default~hdd', 'default'], 120: ['default~hdd', 'default'], 121: ['default~hdd', 'default'], 122: ['default~hdd', 'default'], 123: ['default~hdd', 'default'], 124: ['default~hdd', 'default'], 125: ['default~hdd', 'default'], 126: ['default~hdd', 'default'], 127: ['default~hdd', 'default'], 128: ['default~hdd', 'default'], 129: ['default~hdd', 'default'], 130: ['default~hdd', 'default'], 131: ['default~hdd', 'default'], 132: ['default~hdd', 'default'], 133: ['default~hdd', 'default'], 134: ['default~hdd', 'default'], 135: ['default~hdd', 'default'], 136: ['default~hdd', 'default'], 137: ['default~hdd', 'default'], 138: ['default~hdd', 'default'], 139: ['default~hdd', 'default'], 140: ['default~hdd', 'default'], 141: ['default~hdd', 'default'], 142: ['default~hdd', 'default'], 143: ['default~hdd', 'default'], 144: ['default~hdd', 'default'], 145: ['default~hdd', 'default'], 146: ['default~hdd', 'default'], 147: ['default~hdd', 'default'], 148: ['default~hdd', 'default'], 149: ['default~hdd', 'default'], 150: ['default~hdd', 'default'], 151: ['default~hdd', 'default'], 152: ['default~hdd', 'default'], 153: ['default~hdd', 'default'], 154: ['default~hdd', 'default'], 155: ['default~hdd', 'default'], 156: ['default~hdd', 'default'], 157: ['default~hdd', 'default'], 158: ['default~hdd', 'default'], 159: ['default~hdd', 'default'], 160: ['default~hdd', 'default'], 161: ['default~hdd', 'default'], 162: ['default~hdd', 'default'], 163: ['default~hdd', 'default'], 164: ['default~hdd', 'default'], 165: ['default~hdd', 'default'], 166: ['default~hdd', 'default'], 167: ['default~hdd', 'default'], 168: ['default~hdd', 'default'], 169: ['default~hdd', 'default'], 170: ['default~hdd', 'default'], 171: ['default~hdd', 'default'], 172: ['default~hdd', 'default'], 173: ['default~hdd', 'default'], 174: ['default~hdd', 'default'], 175: ['default~hdd', 'default'], 176: ['default~hdd', 'default'], 177: ['default~hdd', 'default'], 178: ['default~hdd', 'default'], 179: ['default~hdd', 'default'], 180: ['default~hdd', 'default'], 181: ['default~hdd', 'default'], 182: ['default~hdd', 'default'], 183: ['default~hdd', 'default'], 184: ['default~hdd', 'default'], 185: ['default~hdd', 'default'], 186: ['default~hdd', 'default'], 187: ['default~hdd', 'default'], 188: ['default~hdd', 'default'], 189: ['default~hdd', 'default'], 190: ['default~hdd', 'default'], 191: ['default~hdd', 'default'], 192: ['default~hdd', 'default'], 193: ['default~hdd', 'default'], 194: ['default~hdd', 'default'], 195: ['default~hdd', 'default'], 196: ['default~hdd', 'default'], 197: ['default~hdd', 'default'], 200: ['default~hdd', 'default'], 201: ['default~hdd', 'default'], 202: ['default~hdd', 'default'], 203: ['default~hdd', 'default'], 204: ['default~hdd', 'default'], 205: ['default~hdd', 'default'], 206: ['default~hdd', 'default'], 207: ['default~hdd', 'default'], 208: ['default~ssd', 'default'], 209: ['default~ssd', 'default'], 210: ['default~ssd', 'default'], 211: ['default~ssd', 'default'], 212: ['default~ssd', 'default'], 213: ['default~ssd', 'default'], 214: ['default~ssd', 'default'], 215: ['default~ssd', 'default'], 216: ['default~ssd', 'default'], 217: ['default~ssd', 'default'], 218: ['default~ssd', 'default'], 219: ['default~ssd', 'default'], 220: ['default~ssd', 'default'], 221: ['default~ssd', 'default'], 222: ['default~ssd', 'default'], 223: ['default~ssd', 'default'], 224: ['default~ssd', 'default'], 225: ['default~ssd', 'default'], 226: ['default~ssd', 'default'], 227: ['default~ssd', 'default'], 228: ['default~ssd', 'default'], 229: ['default~ssd', 'default'], 230: ['default~ssd', 'default'], 231: ['default~ssd', 'default'], 232: ['default~ssd', 'default'], 233: ['default~ssd', 'default'], 234: ['default~ssd', 'default'], 235: ['default~ssd', 'default'], 236: ['default~ssd', 'default'], 237: ['default~ssd', 'default'], 238: ['default~ssd', 'default'], 239: ['default~ssd', 'default'], 240: ['default~ssd', 'default'], 241: ['default~ssd', 'default'], 242: ['default~ssd', 'default'], 243: ['default~ssd', 'default'], 244: ['default~ssd', 'default'], 245: ['default~ssd', 'default'], 246: ['default~ssd', 'default'], 247: ['default~ssd', 'default'], 248: ['default~ssd', 'default'], 249: ['default~ssd', 'default'], 250: ['default~ssd', 'default'], 251: ['default~ssd', 'default'], 252: ['default~ssd', 'default'], 253: ['default~ssd', 'default'], 254: ['default~ssd', 'default'], 255: ['default~ssd', 'default'], 256: ['default~ssd', 'default'], 257: ['default~ssd', 'default'], 258: ['default~ssd', 'default'], 259: ['default~ssd', 'default'], 260: ['default~ssd', 'default'], 261: ['default~ssd', 'default'], 262: ['default~ssd', 'default'], 263: ['default~ssd', 'default'], 264: ['default~ssd', 'default'], 265: ['default~ssd', 'default'], 266: ['default~ssd', 'default'], 267: ['default~ssd', 'default'], 268: ['default~ssd', 'default'], 269: ['default~ssd', 'default'], 270: ['default~ssd', 'default'], 271: ['default~ssd', 'default'], 272: ['default~ssd', 'default'], 273: ['default~ssd', 'default'], 274: ['default~ssd', 'default'], 275: ['default~ssd', 'default'], 276: ['default~ssd', 'default'], 277: ['default~ssd', 'default'], 278: ['default~ssd', 'default'], 279: ['default~ssd', 'default'], 280: ['default~ssd', 'default'], 281: ['default~ssd', 'default'], 282: ['default~ssd', 'default'], 283: ['default~ssd', 'default'], 284: ['default~ssd', 'default'], 285: ['default~ssd', 'default'], 286: ['default~ssd', 'default'], 287: ['default~ssd', 'default'], 288: ['default~ssd', 'default'], 289: ['default~ssd', 'default'], 290: ['default~ssd', 'default'], 291: ['default~ssd', 'default'], 292: ['default~ssd', 'default'], 293: ['default~ssd', 'default'], 294: ['default~ssd', 'default'], 295: ['default~ssd', 'default'], 296: ['default~ssd', 'default'], 297: ['default~ssd', 'default'], 298: ['default~ssd', 'default'], 299: ['default~ssd', 'default'], 300: ['default~ssd', 'default'], 301: ['default~ssd', 'default'], 302: ['default~ssd', 'default'], 303: ['default~ssd', 'default'], 304: ['default~ssd', 'default'], 305: ['default~ssd', 'default'], 306: ['default~ssd', 'default'], 307: ['default~ssd', 'default'], 308: ['default~ssd', 'default'], 309: ['default~ssd', 'default'], 310: ['default~ssd', 'default'], 311: ['default~ssd', 'default'], 312: ['default~ssd', 'default'], 313: ['default~ssd', 'default'], 314: ['default~ssd', 'default'], 315: ['default~ssd', 'default'], 316: ['default~ssd', 'default'], 317: ['default~ssd', 'default'], 318: ['default~ssd', 'default'], 319: ['default~ssd', 'default'], 320: ['default~ssd', 'default'], 321: ['default~ssd', 'default'], 322: ['default~ssd', 'default'], 323: ['default~ssd', 'default'], 324: ['default~ssd', 'default'], 325: ['default~ssd', 'default'], 326: ['default~ssd', 'default'], 327: ['default~ssd', 'default'], 328: ['default~ssd', 'default'], 329: ['default~ssd', 'default'], 330: ['default~ssd', 'default'], 331: ['default~ssd', 'default'], 332: ['default~ssd', 'default'], 333: ['default~ssd', 'default'], 334: ['default~ssd', 'default'], 335: ['default~ssd', 'default'], 336: ['default~ssd', 'default'], 337: ['default~ssd', 'default'], 338: ['default~ssd', 'default'], 339: ['default~ssd', 'default'], 340: ['default~ssd', 'default'], 341: ['default~ssd', 'default'], 342: ['default~ssd', 'default'], 343: ['default~ssd', 'default'], 344: ['default~ssd', 'default'], 345: ['default~ssd', 'default'], 346: ['default~ssd', 'default'], 347: ['default~ssd', 'default'], 348: ['default~ssd', 'default'], 349: ['default~ssd', 'default'], 350: ['default~ssd', 'default'], 351: ['default~ssd', 'default'], 352: ['default~ssd', 'default'], 353: ['default~ssd', 'default'], 354: ['default~ssd', 'default'], 355: ['default~ssd', 'default'], 356: ['default~ssd', 'default'], 357: ['default~ssd', 'default'], 358: ['default~ssd', 'default'], 359: ['default~ssd', 'default'], 360: ['default~ssd', 'default'], 361: ['default~ssd', 'default'], 362: ['default~ssd', 'default'], 363: ['default~ssd', 'default'], 364: ['default~ssd', 'default'], 365: ['default~ssd', 'default'], 366: ['default~ssd', 'default'], 367: ['default~ssd', 'default'], 368: ['default~ssd', 'default'], 369: ['default~ssd', 'default'], 370: ['default~ssd', 'default'], 371: ['default~ssd', 'default'], 372: ['default~ssd', 'default'], 373: ['default~ssd', 'default'], 374: ['default~ssd', 'default'], 375: ['default~ssd', 'default'], 376: ['default~ssd', 'default'], 377: ['default~ssd', 'default'], 378: ['default~ssd', 'default'], 379: ['default~ssd', 'default'], 380: ['default~ssd', 'default'], 381: ['default~ssd', 'default'], 382: ['default~ssd', 'default'], 383: ['default~ssd', 'default'], 384: ['default~ssd', 'default'], 385: ['default~ssd', 'default'], 386: ['default~ssd', 'default'], 387: ['default~ssd', 'default'], 388: ['default~ssd', 'default'], 389: ['default~ssd', 'default'], 390: ['default~ssd', 'default'], 391: ['default~ssd', 'default'], 392: ['default~ssd', 'default'], 393: ['default~ssd', 'default'], 394: ['default~ssd', 'default'], 395: ['default~ssd', 'default'], 396: ['default~ssd', 'default'], 397: ['default~ssd', 'default'], 398: ['default~ssd', 'default'], 399: ['default~ssd', 'default'], 400: ['default~ssd', 'default'], 401: ['default~ssd', 'default'], 402: ['default~ssd', 'default'], 403: ['default~ssd', 'default'], 404: ['default~ssd', 'default'], 405: ['default~ssd', 'default'], 406: ['default~ssd', 'default'], 407: ['default~ssd', 'default'], 408: ['default~ssd', 'default'], 409: ['default~ssd', 'default'], 410: ['default~ssd', 'default'], 411: ['default~ssd', 'default'], 412: ['default~ssd', 'default'], 413: ['default~ssd', 'default'], 414: ['default~ssd', 'default'], 415: ['default~ssd', 'default'], 416: ['default~ssd', 'default'], 417: ['default~ssd', 'default'], 418: ['default~ssd', 'default'], 419: ['default~ssd', 'default'], 420: ['default~ssd', 'default'], 421: ['default~ssd', 'default'], 422: ['default~ssd', 'default'], 423: ['default~ssd', 'default'], 424: ['default~ssd', 'default'], 425: ['default~ssd', 'default'], 426: ['default~ssd', 'default'], 427: ['default~ssd', 'default'], 428: ['default~ssd', 'default'], 429: ['default~ssd', 'default'], 430: ['default~ssd', 'default'], 431: ['default~ssd', 'default'], 432: ['default~ssd', 'default'], 433: ['default~ssd', 'default'], 434: ['default~ssd', 'default'], 435: ['default~ssd', 'default'], 436: ['default~ssd', 'default'], 437: ['default~ssd', 'default'], 438: ['default~ssd', 'default'], 439: ['default~ssd', 'default'], 440: ['default~ssd', 'default'], 441: ['default~ssd', 'default'], 442: ['default~ssd', 'default'], 443: ['default~ssd', 'default'], 444: ['default~ssd', 'default'], 445: ['default~ssd', 'default'], 446: ['default~ssd', 'default'], 447: ['default~ssd', 'default'], 448: ['default~ssd', 'default'], 449: ['default~ssd', 'default'], 450: ['default~ssd', 'default'], 451: ['default~ssd', 'default'], 452: ['default~ssd', 'default'], 453: ['default~ssd', 'default'], 454: ['default~ssd', 'default'], 455: ['default~ssd', 'default'], 456: ['default~ssd', 'default'], 457: ['default~ssd', 'default'], 458: ['default~ssd', 'default'], 459: ['default~ssd', 'default'], 460: ['default~ssd', 'default'], 461: ['default~ssd', 'default'], 462: ['default~ssd', 'default'], 463: ['default~ssd', 'default'], 464: ['default~ssd', 'default'], 465: ['default~ssd', 'default'], 466: ['default~ssd', 'default'], 467: ['default~ssd', 'default'], 468: ['default~ssd', 'default'], 469: ['default~ssd', 'default'], 470: ['default~ssd', 'default'], 471: ['default~ssd', 'default'], 472: ['default~ssd', 'default'], 473: ['default~ssd', 'default'], 474: ['default~ssd', 'default'], 475: ['default~ssd', 'default'], 476: ['default~ssd', 'default'], 477: ['default~ssd', 'default'], 478: ['default~ssd', 'default'], 479: ['default~ssd', 'default'], 480: ['default~ssd', 'default'], 481: ['default~ssd', 'default'], 482: ['default~ssd', 'default'], 483: ['default~ssd', 'default'], 484: ['default~ssd', 'default'], 485: ['default~ssd', 'default'], 486: ['default~ssd', 'default'], 487: ['default~ssd', 'default'], 488: ['default~ssd', 'default'], 489: ['default~ssd', 'default'], 490: ['default~ssd', 'default'], 491: ['default~ssd', 'default'], 492: ['default~ssd', 'default'], 493: ['default~ssd', 'default'], 494: ['default~ssd', 'default'], 495: ['default~ssd', 'default'], 496: ['default~ssd', 'default'], 497: ['default~ssd', 'default'], 498: ['default~ssd', 'default'], 499: ['default~ssd', 'default'], 500: ['default~ssd', 'default'], 501: ['default~ssd', 'default'], 502: ['default~ssd', 'default'], 503: ['default~ssd', 'default'], 504: ['default~ssd', 'default'], 505: ['default~ssd', 'default'], 506: ['default~ssd', 'default'], 507: ['default~ssd', 'default'], 508: ['default~ssd', 'default'], 509: ['default~ssd', 'default'], 510: ['default~ssd', 'default'], 511: ['default~ssd', 'default'], 512: ['default~ssd', 'default'], 513: ['default~ssd', 'default'], 514: ['default~ssd', 'default'], 515: ['default~ssd', 'default'], 516: ['default~ssd', 'default'], 517: ['default~ssd', 'default'], 518: ['default~ssd', 'default'], 519: ['default~ssd', 'default'], 520: ['default~ssd', 'default'], 521: ['default~ssd', 'default'], 522: ['default~ssd', 'default'], 523: ['default~ssd', 'default'], 524: ['default~ssd', 'default'], 525: ['default~ssd', 'default'], 526: ['default~ssd', 'default'], 527: ['default~ssd', 'default'], 528: ['default~hdd', 'default'], 529: ['default~hdd', 'default'], 530: ['default~hdd', 'default'], 531: ['default~hdd', 'default'], 532: ['default~hdd', 'default'], 533: ['default~hdd', 'default'], 534: ['default~hdd', 'default'], 535: ['default~hdd', 'default'], 536: ['default~hdd', 'default'], 537: ['default~hdd', 'default'], 538: ['default~hdd', 'default'], 539: ['default~hdd', 'default'], 540: ['default~hdd', 'default'], 541: ['default~hdd', 'default'], 542: ['default~hdd', 'default'], 543: ['default~hdd', 'default'], 544: ['default~hdd', 'default'], 545: ['default~hdd', 'default'], 546: ['default~hdd', 'default'], 547: ['default~hdd', 'default'], 548: ['default~hdd', 'default'], 549: ['default~hdd', 'default'], 550: ['default~hdd', 'default'], 551: ['default~hdd', 'default'], 552: ['default~hdd', 'default'], 553: ['default~hdd', 'default'], 554: ['default~hdd', 'default'], 555: ['default~hdd', 'default'], 556: ['default~hdd', 'default'], 557: ['default~hdd', 'default'], 558: ['default~hdd', 'default']}",
   "plans": []
   }

Dan, what is your `ceph osd tree`?