Project

General

Profile

Actions
Copy link

Bug #38655

closed

osd: missing, size mismatch, snap mapper errors

Added by Sage Weil about 5 years ago. Updated about 5 years ago.

Status:
Resolved
Priority:
Urgent
Assignee:
Sage Weil
Category:
-
Target version:
-
% Done:

0%

Source:
Tags:
Backport:
Regression:
No
Severity:
3 - minor
Reviewed:
Affected Versions:
ceph-qa-suite:
Component(RADOS):
Pull request ID:
Crash signature (v1):
Crash signature (v2):

Description

2019-03-10 09:06:11.491 7f4550010700 -1 log_channel(cluster) log [ERR] : 2.3 shard 5 2:c41f6f62:::smithi11213411-245 oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo:head : missing
2019-03-10 09:06:11.491 7f4550010700 -1 log_channel(cluster) log [ERR] : 2.3 shard 5 2:c4e796ab:::smithi11213411-939 oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo:17a : missing
2019-03-10 09:06:11.491 7f4550010700 -1 log_channel(cluster) log [ERR] : 2.3 shard 5 2:c4e796ab:::smithi11213411-939 oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo:head : missing
2019-03-10 09:06:11.491 7f4550010700 -1 log_channel(cluster) log [ERR] : 2.3 shard 5 2:c52198ab:::smithi11213411-717 oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo:head : missing
2019-03-10 09:06:11.491 7f4550010700 -1 log_channel(cluster) log [ERR] : 2.3 shard 5 2:c57761cb:::smithi11213411-199 oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo:head : missing
2019-03-10 09:06:11.491 7f4550010700 -1 log_channel(cluster) log [ERR] : 2.3 shard 5 2:c60ad465:::smithi11213411-589 oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo:head : missing
2019-03-10 09:06:11.491 7f4550010700 -1 log_channel(cluster) log [ERR] : 2.3 shard 5 2:c684a000:::smithi11213411-775 oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo:head : missing
2019-03-10 09:06:11.491 7f4550010700 -1 log_channel(cluster) log [ERR] : 2.3 shard 5 2:c69edc63:::smithi11213411-657 oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo:head : missing
2019-03-10 09:06:11.491 7f4550010700 -1 log_channel(cluster) log [ERR] : 2.3 shard 5 2:c6e3b7c3:::smithi11213411-134:head : missing
2019-03-10 09:06:11.491 7f4550010700 -1 log_channel(cluster) log [ERR] : 2.3 shard 2 soid 2:c74eb9c6:::smithi11213411-596:head : candidate size 3647515 info size 2319630 mismatch
2019-03-10 09:06:11.491 7f4550010700 -1 log_channel(cluster) log [ERR] : 2.3 shard 2 soid 2:c74eb9c6:::smithi11213411-596:head : size 3647515 != size 2319630 from auth oi 2:c74eb9c6:::smithi11213411-596:head(453'382 client.4481.0:9735 dirty s 2319630 uv 447 alloc_hint [0 0 0]), size 3647515 != size 2319630 from shard 5
2019-03-10 09:06:11.491 7f4550010700 -1 log_channel(cluster) log [ERR] : 2.3 shard 5 2:c7d7fd2d:::smithi11213411-561 oooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooooo:head : missing
2019-03-10 09:06:11.491 7f4550010700 -1 log_channel(cluster) log [ERR] : 2.3 shard 5 2:c7e20d21:::smithi11213411-716:head : missing
2019-03-10 09:06:11.491 7f4550010700 -1 log_channel(cluster) log [ERR] : 2.3 shard 5 2:c7eaceef:::smithi11213411-138:head : missing
2019-03-10 09:06:11.491 7f4550010700 -1 log_channel(cluster) log [ERR] : 2.3 shard 5 2:c7eb4bbd:::smithi11213411-932:head : missing

/a/sage-2019-03-10_01:08:05-rados-master-distro-basic-smithi/3703847
Actions
Copy link
 #1

Updated by Sage Weil about 5 years ago

The problem originates with 2.23, a merge source. It is instantiated on osd.5 with info

 pg[2.23( empty local-lis/les=0/0 n=0 ec=172/20 lis/c 296/296 les/c/f 297/297/0 437/437/437) [5,2] r=0 lpr=437 pi=[296,437)/1 crt=0'0 mlcod 0'0 unknown mbc={}]

and then later is merged into 2.3,
2019-03-10 09:05:23.381 7f4550010700 10 osd.5 pg_epoch: 444 pg[2.3( v 437'377 (0'0,437'377] local-lis/les=384/385 n=12 ec=20/20 lis/c 384/384 les/c/f 385/385/0 440/440/440) [2,7] r=-1 lpr=440 pi=[384,440)/1 luod=0'0 crt=437'377 lcod 435'375 active mbc={} ps=22] merge_from from {2.23=0x562d8c30c800} split_bits 5

but because it fails to cause the resulting pg ot be incomplete:
  if (info.last_complete != info.last_update ||
      info.is_incomplete() ||
      info.dne()) {

Actions
Copy link
 #2

Updated by Sage Weil about 5 years ago

  • Assignee set to Sage Weil
Actions
Copy link
 #3

Updated by Sage Weil about 5 years ago

  • Status changed from 12 to Fix Under Review
Actions
Copy link
 #4

Updated by Sage Weil about 5 years ago

  • Status changed from Fix Under Review to Resolved
Actions
Copy link

Also available in: Atom PDF