Platform teams running self-hosted macOS runners see the same failure mode: innocent retries hide real product bugs, burn Apple Silicon hours, and train developers to distrust CI. This playbook defines how to classify flakes, when to auto-rerun versus block merges, and how to implement streak-based quarantine on dedicated Mac mini M4 machines—with two decision tables and a six-step rollout you can copy into GitHub Actions or any runner orchestrator.
If you already split UI work across machines, pair this policy withiOS UI test sharding on Mac mini M4so shard skew does not masquerade as test flakiness. For runner installation baselines, start fromself-hosted GitHub Actions on cloud Macand keep Xcode builds identical across the fleet.
무제한 재시도가 Mac 빌드 플릿의 신뢰를 손상시키는 이유 __분할__ macOS CI는 Linux 컨테이너와는 다른 방식으로 상태를 저장합니다. 키체인 항목, 시뮬레이터 캐시, 화면 잠금 및 Apple 공증 데몬은 모두 측정할 때까지 무작위로 보이는 오류 모드를 도입합니다. 서면 재시도 예산이 없으면 대기 중인 엔지니어는 모든 녹색 이후의 빨간색을 "자체적으로 수정된" 것으로 해석하여 조용히 병합 위험을 증가시킵니다. __분할__ 계량맹: __분할__ 워크플로별로 통과/실패만 추적하는 팀은 테스트 실패 여부를 알 수 없습니다. __분할__ 경제적 끌림: __분할__ 풀 요청당 두 번 재시도하는 단일 불안정한 UI 제품군은 __분할__ 제품 코드가 안정적인 경우에도 매주 Mac 실행 시간이 소요됩니다. __분할__ 잘못된 학습: __분할__ 개발자는 병합 게이트가 보호해야 하는 정확한 신호를 우회하여 "녹색까지" 로컬에서 작업을 다시 실행하기 시작합니다. __분할__ 실패 지문: 인프라, 테스트 또는 제품? __분할__ 할당량을 변경하기 전에 대시보드에서 신호와 노이즈를 분류할 수 있도록 지문으로 실패에 태그를 지정하세요. 아래 표는 대화의 시작점입니다. "첫 번째 조치" 열을 규정 준수 규칙에 맞게 조정하세요. __분할__ 지문 __분할__ 운전자일 가능성이 있음 __분할__ 첫 번째 조치
macOS CI is stateful in ways Linux containers are not: Keychain items, simulator caches, screen locks, and Apple-notary daemons all introduce failure modes that look random until you measure them. Without a written retry budget, on-call engineers interpret every green-after-red as “fixed itself,” which silently increases merge risk.
- Metric blindness:Teams that only track pass/fail per workflow cannot tell whether a test failed onthree different runners or the same overheating host three times.
- Economic drag:A single flaky UI suite that retries twice per pull request can consume20–35%of weekly Mac runner minutes even when product code is stable.
- False learning:Developers begin rerunning jobs locally “until green,” bypassing the exact signal your merge gate should protect.
Failure Fingerprints: Infrastructure, Test, or Product?
Before changing quotas, tag failures with a fingerprint so dashboards sort signal from noise. The table below is a conversation starter—tune the “first action” column to your compliance rules.
| Fingerprint | Likely driver | First action |
|---|---|---|
| 동일한 실행자 호스트 이름, 다양한 테스트 __분할__ 디스크, 열 또는 USB 허브 불안정 __분할__ 일자리 창출; SMART 및 여유 공간 검사(< __분할__ free는 즉시 정리를 트리거합니다) __분할__ 동일한 테스트, 어떤 주자라도 __분할__ 테스트에서는 벽시계, 애니메이션 또는 로케일을 가정합니다. __분할__ 오픈 검역 티켓; 최대 재시도 시간 __분할__ Xcode 범프 후 스파이크 __분할__ 툴체인 또는 시뮬레이터 회귀 __분할__ 핀 SDK; 제품군 출시 전에 하나의 골든 Mac에서 Canary Suite 실행 __분할__ 포크의 pull_request에만 해당 __분할__ 비밀 가용성 또는 샌드박스 차이점 __분할__ 워크플로 분할 포크 작업 시 프로덕션 서명 라벨을 재사용하지 마십시오. __분할__ 팀 성숙도에 따른 재시도 예산 및 격리 임계값 | Disk, thermal, or USB hub instability | Drain jobs; inspect SMART and free space (<15%free triggers immediate cleanup) |
| Same test, any runner | Test assumes wall-clock, animation, or locale | Open quarantine ticket; cap retries at1 until fixed |
| Spike after Xcode bump | Toolchain or simulator regression | Pin SDK; run canary suite on one golden Mac before fleet rollout |
| Only on pull_request from forks | Secret availability or sandbox differences | Split workflows; never reuse production signing labels on fork jobs |
Retry Budget and Quarantine Thresholds by Team Maturity
성숙한 팀은 재시도를 이자가 있는 대출로 간주합니다. 아래 매트릭스는 세 가지 정책 사전 설정을 작동 노브에 매핑합니다. 저장소 계층당 하나의 프로필을 선택하세요. __분할__ 정책 손잡이 __분할__ 스타터 __분할__ 균형 잡힌 __분할__ 기업 __분할__ 작업당 자동 재시도 __분할__ (인프라 오류만 해당) __분할__ 입력된 오류 허용 목록 포함 __분할__ 플레이크 연속 격리 __분할__ 야간 보고서 __분할__ 격리된 테스트에 대한 병합 규칙 __분할__ 경고 배지 __분할__ 소유자 승인 후 선택적 건너뛰기 __분할__ VPAT 예외가 아닌 한 하드 차단
| Policy knob | Starter | Balanced | Enterprise |
|---|---|---|---|
| Auto-retries per job | 2 | 1(infra errors only) | 0–1with typed error allow-list |
| Flake streak to quarantine | Nightly report | 3 fails in 24 h | 2 fails on main |
| Merge rule for quarantined tests | Warning badge | Optional skip with owner approval | Hard block unless VPAT exception |
| 러너 원격 측정 보존 __분할__ 일 + SIEM 내보내기 __분할__ 감사 참고사항: __분할__ 격리에서 테스트를 건너뛰면 커밋 SHA, 행위자 및 티켓 ID를 워크플로 로그에 저장합니다. 규제 기관과 비용을 지불하는 고객은 실수로 인한 친환경 빌드가 아닌 확인을 건너뛴 것이 의식적이었다는 증거를 점점 더 요구하고 있습니다. __분할__ Cloud Mac Runner에서 연속 기반 격리를 실행하는 6단계 __분할__ 이 단계에서는 유지 관리를 위해 호스트에 SSH를 통해 연결할 수 있다고 가정합니다. 연결 위생 및 계정 설정은 당사에 문서화되어 있습니다. __분할__ 구조화된 실행기 사실을 내보냅니다. __분할__ 추가 __분할__ , OS 빌드, Xcode 빌드 및 여유 디스크 GB를 모든 작업 요약에 포함합니다. __분할__ 재시도 분류: __분할__ 구별하다 __분할__ (시간 초과, 시뮬레이터 부팅) __분할__ (어설션 실패). __분할__ 테스트별 연속 추적: | 7 days | 30 days | 90days + SIEM export |
Audit note:When quarantine skips a test, store the commit SHA, actor, and ticket ID in the workflow log. Regulators and paying customers increasingly ask for proof that skipped checks were conscious—not accidental green builds.
Six Steps to Roll Out Streak-Based Quarantine on Cloud Mac Runners
These steps assume you can SSH to hosts for maintenance. Connection hygiene and account setup are documented in ourhelp center.
- Emit structured runner facts:Add
RUNNER_NAME, OS build, Xcode build, and free-disk GB into every job summary. - Classify retries:Distinguish
infra_retry(timeouts, simulator boot) fromtest_retry(assertion failures). - Track per-test streaks:소규모 데이터베이스나 객체 저장소에 카운트를 유지합니다. 이후에만 줄무늬를 재설정
__분할__
와이어 병합 게이트:
__분할__
관리자 라벨이 없으면 연속 연속이 등급 임계값을 초과하면 차단됩니다.
__분할__
불량 행위자 교체:
__분할__
호스트 이름이 나타나는 경우
__분할__
매주 검토:
__분할__
회의 시간을 다음으로 제한하세요.
__분할__
다음 사고 검토 전에 내보낼 지표
__분할__
경영진은 녹색 비율을 요구합니다. 신뢰성 엔지니어에게는 배포판이 필요합니다. 격리 결정이 정치적인 결정이 아닌 데이터 중심으로 유지되도록 창고에 다음 집계를 기록하는 주간 작업을 예약하세요. 이러한 측정항목을 실행기 호스트 이름 및 Xcode 빌드 ID와 연관시키면 일반적으로 개발자가 티켓을 열기 훨씬 전에 단일 불량 노드가 노출됩니다.
__분할__
재시도 조정 기간:
__분할__
모든 시도를 포함한 벽시계 시간입니다. 재시도 세금을 수량화하기 위해 첫 번째 시도 기간과 비교합니다.
__분할__
간헐성 지수:
__분할__
새로운 커밋 없이 빨간색에서 녹색으로 전환된 작업 수입니다. 이것을 아래에서 운전하는 것을 목표로 하세요
__분할__
스프린트당 macOS 작업 수.10 consecutive greens on
main. - Wire merge gates:Block when streak exceeds your tier threshold unless a maintainer label is present.
- Rotate bad actors:If a hostname appears in40% of infra retries in a week, pull it from service and reimage.
- Review weekly:Cap meeting time to25 minutes with a dashboard that lists top flake contributors and recovered tests.
Metrics to Export Before Your Next Incident Review
Executives ask for green percentages; reliability engineers need distributions. Schedule a weekly job that writes the following aggregates to your warehouse so quarantine decisions stay data-driven instead of political. Correlating these metrics with runner hostname and Xcode build ID usually exposes a single bad node long before developers open tickets.
- Retry-adjusted duration:Wall-clock time including all attempts; compare against first-attempt duration to quantify retry tax.
- Intermittency index:Count of jobs that flipped from red to green without a new commit; aim to drive this below5%of macOS jobs per sprint.
- 격리 백로그 기간: __분할__ 건너뛴 각 테스트가 마지막으로 성공적으로 메인 브랜치를 실행한 이후의 일수입니다. 다음보다 오래된 것은 에스컬레이션하세요. __분할__ 시뮬레이터 부팅 p95: __분할__ 테스트 기관과 별도로 추적합니다. 부팅 시간이 늘어나면 SMART 경고가 발생하기 전에 스토리지 오류를 예측하는 경우가 많습니다. __분할__ 비밀 범위의 실패: __분할__ 잘못 구성된 재시도를 낭비하지 않도록 인증 오류를 별도로 추적합니다. __분할__ 배포 이벤트 옆에 메트릭이 표시되면 어떤 Mac이 특정 아티팩트를 건드렸는지, 급증 중에 어떤 Xcode 버전이 라이브였는지, 재시도가 회귀를 마스킹했는지 여부 등 감사 질문에 몇 분 안에 답할 수 있습니다. __분할__ . 고객 계약에 내부 개발자 플랫폼에 대한 가동 시간 조항이 포함되어 있는 경우 해당 설명은 원시 합격률만큼 중요합니다. __분할__ FAQ __분할__ 분기된 풀 요청은 릴리스 빌드와 동일한 Mac 레이블을 사용해야 합니까? __분할__ 신뢰할 수 없는 코드 경로와 서명 가능 레이블을 공유하지 마십시오. 포크를 신뢰할 수 없는 테넌트처럼 취급하십시오. 별도의 실행자 풀, 별도의 비밀 범위 및 더 좁은 재시도 예산을 사용하여 악성 워크플로가 인프라를 조사할 수 없도록 합니다. __분할__ 지리는 플레이크 비율과 어떻게 상호 작용합니까? __분할__ 네트워크 종속 테스트(푸시 알림, CDN 엣지 케이스)는 사용자에게 가장 가까운 지역에서 실행되어야 합니다. NodeMac은 홍콩, 일본, 한국, 싱가포르 및 미국에 노드를 제공합니다. 매월 각 지역에 카나리아 작업을 배치하여 DNS 또는 TLS 드리프트가 모든 개발자에게 영향을 미치기 전에 이를 포착합니다. __분할__ 격리된 제품군에 대해 격리된 실행기를 추가할 준비가 되면 다음을 비교하십시오.Days since each skipped test last had a successful main-branch run; escalate anything older than14 days.
- Simulator boot p95:Track separately from test bodies—rising boot times often predict storage failure before SMART alerts fire.
- Secret-scoped failures:Track authentication errors separately so you do not waste retries on misconfigured
APP_STORE_CONNECTkeys.
When metrics live next to deployment events, you can answer audit questions in minutes: which Mac touched a given artifact, which Xcode versions were live during a spike, and whether retries masked a regression onmain. That narrative is as important as the raw pass rate when your customer contracts include uptime clauses for internal developer platforms.
FAQ
Should forked pull requests use the same Mac labels as release builds?
Never share signing-capable labels with untrusted code paths. Treat forks like untrusted tenants: separate runner pools, separate secrets scopes, and narrower retry budgets so malicious workflows cannot probe your infrastructure.
How does geography interact with flake rates?
Network-dependent tests (push notifications, CDN edge cases) should run in the region closest to your users. NodeMac offers nodes in Hong Kong, Japan, Korea, Singapore, and the United States—place canary jobs in each region monthly to catch DNS or TLS drift before it hits every developer.
When you are ready to add isolated runners for quarantined suites, compareNodeMac 가격 __분할__ 잘못된 빨간색으로 팀의 검토 시간을 소모하는 비용에 대비합니다. __분할__ Mac mini M4 하드웨어는 이 플레이북에 적합합니다. 왜냐하면 Apple Silicon이 Xcode 오케스트레이션을 위한 빠른 단일 스레드 성능과 실행자가 풀 요청 버스트 사이에 있을 때 효율적인 유휴 전력을 결합하기 때문입니다. NodeMac 소모품 __분할__ 전용 물리적 Mac mini __분할__ 초과 구독된 VM이 아닌 머신에 SSH와 VNC가 모두 포함되어 데스크 머신에서와 동일한 방식으로 정지된 시뮬레이터를 디버깅할 수 있습니다. 홍콩, 도쿄, 서울, 싱가포르 또는 미국에서 임대하면 앱이 실제로 보는 네트워크 조건과 불안정한 UI 재생산을 함께 배치하는 동시에 Mac의 두 번째 "격리 전용" 옷장에 대한 초기 투자 비용을 피할 수 있습니다. __분할__ Stand Up 검역 친화적인 Mac 실행기 __분할__ HK·JP·KR·SG·US에 전용 Mac mini M4 노드를 추가하고, 컴파일과 UI에 대한 라벨 풀을 지정하고, 실제 버그를 가리기 위한 무한 재시도를 중지합니다. __분할__ 가격 보기 __분할__ 러너 설정 도움말against the cost of burning your team’s review hours on false reds.
Mac mini M4 hardware fits this playbook because Apple Silicon combines fast single-thread performance for Xcode orchestration with efficient idle power when runners sit between pull-request bursts. NodeMac suppliesdedicated physical Mac minimachines—not oversubscribed VMs—with both SSH and VNC so you can debug stuck simulators the same way you would on a desk machine. Renting in Hong Kong, Tokyo, Seoul, Singapore, or the United States lets you colocate flaky UI reproduction with the network conditions your app actually sees, while avoiding upfront CapEx for a second “quarantine-only” closet of Macs.